直擊SIGGRAPH 2019：相芯科技的虛擬形象“夢工廠”

2019年7月31日，第46屆國際計算機圖形與交互技術(shù)大會SIGGRAPH正在美國洛杉磯如火如荼進行中。這是全球規(guī)模最大、影響最廣，同時也是最權(quán)威的一個集科學(xué)、藝術(shù)、商業(yè)于一體的CG展示、學(xué)術(shù)研討會。

從148篇技術(shù)論文、12場主題會議到185家世界著名企業(yè)現(xiàn)場展示技術(shù)，該大會的每一項成果，都代表著計算機圖形學(xué)與交互的最新突破。

戴上NVIDIA的最新的Prescription AR和Foveated AR頭顯，可以透過眼鏡清晰地看到自己漂浮于現(xiàn)實世界的光學(xué)投影；躺在麻省理工學(xué)院媒體實驗室的沙發(fā)上，戴上頭顯，就可以得到舒服的放松和體驗；佩戴臺北科技大學(xué)的面部VR裝備，還能實時感受到冷熱液體在面部的流動感……

雖然現(xiàn)場眾多AR、VR設(shè)備已足以抓人眼球，但記者的注意力還是被一個以3D虛擬形象為主題的展臺所深深吸引。這個名為“FaceUnity”（杭州相芯科技有限公司）的展臺被人群擠得滿滿當(dāng)當(dāng)，記者還未走近，就聽到了一陣陣的“oh my god”驚呼聲，讓人不由得好奇滿滿，急切地想一睹真容。

到底是什么樣的先進技術(shù)，具有如此神奇的魅力？帶著這份好奇，記者走進了該展臺，并現(xiàn)場采訪了該公司負(fù)責(zé)人。

再造一個“你”

步入該展臺，最先映入眼簾的就是一臺塞滿了虛擬形象的電視。而剛剛的驚呼聲，就由此而來。每個人只要走近電視，等上3秒，屏幕就能立即生成與你相似且Q萌的3D虛擬形象，且無論你離開多久，只要再次出現(xiàn)，它就能立即認(rèn)出“你”，并實時顯示出另一個“你”。

FaceUnity工作人員告訴記者，這是其自主研發(fā)的PTA（Photo-to-Avatar）技術(shù)，可以根據(jù)用戶上傳的自拍照片，在云端對其進行分析和重建，從而生成相似且美觀的3D虛擬形象。

該技術(shù)基于深度學(xué)習(xí)算法，融合了肖像神經(jīng)網(wǎng)絡(luò)和風(fēng)格化神經(jīng)網(wǎng)絡(luò)兩個組件。肖像網(wǎng)絡(luò)負(fù)責(zé)定位和提取人臉的特征信息，包括臉型、五官、皮膚、發(fā)型、胡子、眼鏡等，并通過和風(fēng)格化網(wǎng)絡(luò)的相互作用，重建具有本人特征的風(fēng)格化虛擬形象；風(fēng)格化網(wǎng)絡(luò)將真人形象進行風(fēng)格化定制。

相比市面上的其他產(chǎn)品用素材庫分析來匹配生成3D虛擬形象，F(xiàn)aceUnity的技術(shù)是通過神經(jīng)網(wǎng)絡(luò)來提取人臉特征，并實時生成3D虛擬形象，真正做到了“千人千面”。

從記者的現(xiàn)場體驗來看，無論人臉怎么運動，或嘟嘴，或張嘴，或大笑，或沮喪，屏幕中的“自己”都能實時呈現(xiàn)出一樣的狀態(tài)，且沒有任何遲滯感。同時，在3D虛擬形象生成與互動的基礎(chǔ)上，F(xiàn)aceUnity還提供不同維度的“捏臉”服務(wù)，換臉型、眼型、嘴型、鼻型不再話下，換發(fā)型、胡子、眼睛、帽子、衣服更是選擇多多，兼具科技感與趣味性。

此外，該產(chǎn)品還自帶AR濾鏡，并支持單人合影、多人合影和動畫場景，眼看著屏幕中的“自己”一會置身山水間熱情舞蹈，一會又跑到集裝箱前蹦蹦跳跳，記者差點笑到臉僵。

在SIGGRAPH現(xiàn)場親眼見證一鍵生成3D虛擬形象的高科技，讓人不由得地感嘆：3D虛擬世界真的要來了！

和“虛擬形象”對話

當(dāng)記者還沉浸在“虛擬形象”的互動體驗中時，旁邊的“Alice”早已與一位小哥聊得火熱了。要不是看到屏幕上方有英文引導(dǎo)問題，記者還以為是小哥開著視頻在與自己的“女朋友”聯(lián)絡(luò)感情呢！

“Alice”是一位長相甜美、專業(yè)十足的問答助手，記者現(xiàn)場與她進行了多輪對話，她都回答得很流暢，且面部與口型都極為吻合，毫無違和感，就像在與真人對話一樣。

談及“Alice”的實現(xiàn)原理，F(xiàn)aceUnity的工作人員立即就滔滔不絕了。這是基于FaceUnity自主研發(fā)的另一項新技術(shù)——STA（Speech-to-Animation）。這一技術(shù)結(jié)合了人工智能與計算機圖形學(xué)，可以實時解算語音對應(yīng)的發(fā)音口型，并精細(xì)驅(qū)動虛擬形象面部表情，實現(xiàn)動畫的音畫同步呈現(xiàn)。

有了這一技術(shù)，F(xiàn)aceUnity成功打造了一批卡通版和真人版的虛擬主播、虛擬助手、虛擬客服、虛擬偶像等一系列應(yīng)用場景。在現(xiàn)場，工作人員拿起一臺手機，向記者一一介紹起了不同形象的應(yīng)用場景。

比如虛擬主播可以應(yīng)用在傳媒行業(yè)，幫助該行業(yè)提高視頻制作效率，告別傳統(tǒng)視頻制作方式，迎來“只需輸入文本或語音就能實時生成播報視頻”的新時代。

比如，虛擬客服可以應(yīng)用至醫(yī)療行業(yè)，幫助該行業(yè)告別冷冰冰“你打字我回答”的服務(wù)方式，迎來“虛擬醫(yī)生7x24小時全天候線上線下專業(yè)咨詢”的全新服務(wù)方式；

比如，虛擬助手可以應(yīng)用至交通行業(yè)，幫助該該行業(yè)告別“只問其聲不見其人”的車載系統(tǒng)，迎來“既見其人更知其好”的全新駕乘體驗。

……

與“Alice”對話越久，記者越深刻地覺得，如果各行各業(yè)都能擁有一批獨具個性且專業(yè)十足的“員工”，那么人力成本高漲、缺乏人性化服務(wù)體驗、難以滿足不同用戶個性化需求等行業(yè)“共病”，終有一天將會消失在歷史的長河中。

用3D內(nèi)容“造夢”

除了讓3D虛擬形象走入各行各業(yè)外，F(xiàn)aceUnity還能用3D技術(shù)創(chuàng)造出什么不一樣的體驗?zāi)兀?/p>

看到展臺左邊的宣傳視頻，記者心中有了底。上一秒美顏，下一秒玩轉(zhuǎn)貼紙，再一回頭，又換上萌萌噠的小黃鴨“腦袋”……這些可不就是當(dāng)下潮爆的人臉特效玩法嗎？

FaceUnity工作人員說，這些都是基于人臉檢測與跟蹤技術(shù)的AR特效。表情識別、背景分割、手勢識別、海報換臉、音樂濾鏡等，足足有16款之多，分分鐘打破了記者對人臉特效玩法的認(rèn)知局限。

作為一名天然愛美又忙得難以收拾自己的女性，記者在體驗了各款人臉特效后，最愛的還是美妝。因為，它的效果真的太自然了。只要打開手機，切換美妝頁面，記者就瞬間完成了上妝，柳葉眉、丹鳳眼、雙色眼影、貓眼眼線……要多“性感”就有多性感。

如果不喜歡“性感”妝，還有硬漢、甜美、鄰家、歐美、嫵媚等各款妝容可隨意切換，足足有30款之多，這簡直就是21世紀(jì)人類的美妝“神器”！一個月，每天妝容都不重樣，想想都美好，有沒有！

記者了解到，目前FaceUnity還在開發(fā)新的人臉AR特效，且已著手在開發(fā)更多酷炫的各類特效玩法。相信未來，以3D內(nèi)容為載體，F(xiàn)aceUnity一定可以創(chuàng)造出更多有趣的玩法、新奇的體驗，及更美好的3D虛擬世界。

FaceUnity —— 讓創(chuàng)作更簡單，讓交互更自然

FaceUnity專注于智能圖形技術(shù)的創(chuàng)新與應(yīng)用，為移動互聯(lián)網(wǎng)、VR/AR等領(lǐng)域提供3D內(nèi)容生成與互動的行業(yè)解決方案，致力于好萊塢特效技術(shù)在消費級應(yīng)用中的普及。

FaceUnity目前擁有增強現(xiàn)實視頻SDK（AR Video SDK，包括表情識別/人臉AR濾鏡和道具/視頻美顏/視頻分割/手勢識別等）、虛擬化身創(chuàng)建服務(wù)PTA（Photo-to-Avatar，從一張照片生成虛擬形象/自主裝扮虛擬形象/與虛擬形象互動等）、語音動畫合成引擎STA（虛擬主播/虛擬客服/虛擬助手等）等多款產(chǎn)品，覆蓋了短視頻、直播、社交、新零售、智能家居、廣告、醫(yī)療、媒體等多個領(lǐng)域，已服務(wù)400余家客戶。

FaceUnity研發(fā)團隊由業(yè)內(nèi)重量級科學(xué)家領(lǐng)銜，在3D圖形、計算機視覺、VR/AR領(lǐng)域擁有20余年研發(fā)經(jīng)驗。2018年，F(xiàn)aceUnity與浙江大學(xué)合作成立“浙江大學(xué)—相芯科技智能圖形計算聯(lián)合實驗室”，深耕智能圖形技術(shù)創(chuàng)新，培養(yǎng)高端人才，形成對產(chǎn)業(yè)發(fā)展的引導(dǎo)力。