VR陀螺編譯/Frida.WS?

Facebook Reality Labs研發(fā)團(tuán)隊(duì)發(fā)表了一項(xiàng)關(guān)于超現(xiàn)實(shí)虛擬形象方法的詳細(xì)研究論文，擴(kuò)展了公司之前名為“編解碼器化身”的工作項(xiàng)目。

Facebook?Reality Labs創(chuàng)建了一個(gè)系統(tǒng)，從簡(jiǎn)潔硬件中能夠以目前最高的逼真度實(shí)時(shí)制作出動(dòng)畫版的虛擬化身。頭顯內(nèi)只有三個(gè)標(biāo)準(zhǔn)攝像頭，定位用戶的眼睛和嘴巴，系統(tǒng)能夠更準(zhǔn)確地辨別出個(gè)體復(fù)雜的面部表情中的細(xì)微差別。

這項(xiàng)研究的重點(diǎn)不僅僅是如何將攝像機(jī)固定在頭顯上，還包括如何利用圖片還原用戶虛擬形象的深層技術(shù)。

系統(tǒng)方案主要依賴于機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)。“我們的系統(tǒng)是實(shí)時(shí)運(yùn)行的，它可以識(shí)別各種各樣的表情，包括鼓臉頰、張大嘴咬人、動(dòng)舌頭，以及還原皺紋這樣的細(xì)節(jié)，在之前，這些細(xì)節(jié)很難精確地動(dòng)畫化，”一位作者說(shuō)。

實(shí)驗(yàn)小組還發(fā)表了他們的完整研究論文，深入論述了系統(tǒng)背后的方法論和數(shù)學(xué)。這項(xiàng)名為《通過(guò)多視圖圖像翻譯的VR面部動(dòng)畫》（VR Facial Animation via Multiview Image Translation）的研究成果發(fā)表在《ACM圖形學(xué)報(bào)》（ACM Transactions on Graphics）上，這家雜志自詡為“圖形領(lǐng)域最重要的同行評(píng)審期刊”。

1.帶有9個(gè)攝像頭的訓(xùn)練頭顯。

2.帶有三個(gè)攝像頭的追蹤頭顯；紅色圈起的攝像頭可以與訓(xùn)練頭顯共享。

這篇論文解釋了項(xiàng)目為何要?jiǎng)?chuàng)建兩個(gè)獨(dú)立的實(shí)驗(yàn)耳機(jī)，一個(gè)“訓(xùn)練”耳機(jī)和一個(gè)“追蹤”耳機(jī)。

這款訓(xùn)練耳機(jī)體積較大，裝有9個(gè)攝像頭，可以收集用戶面部和眼睛的更寬范圍的視圖。這樣做可以簡(jiǎn)化輸入圖像和先前捕獲的用戶數(shù)據(jù)掃描之間的對(duì)應(yīng)過(guò)程（分析輸入圖像與輸出化身之間的對(duì)應(yīng)部分）。論文稱，這一過(guò)程可以“通過(guò)帶有自查功能的多視圖圖像翻譯系統(tǒng)自動(dòng)匹配，不需要人工注釋或域間逐個(gè)對(duì)應(yīng)”。

一旦對(duì)應(yīng)完成，就可以使用更緊湊的“追蹤”頭顯。“追蹤”頭顯的三部相機(jī)恰好對(duì)應(yīng)著“訓(xùn)練”頭顯九部相機(jī)中的三部；根據(jù)“訓(xùn)練”頭顯收集的數(shù)據(jù)，這三部相機(jī)的視角可以得到更好的理解運(yùn)用，也就是說(shuō)，輸入圖像能夠準(zhǔn)確地驅(qū)動(dòng)動(dòng)畫化身。

論文著重研究了系統(tǒng)的精準(zhǔn)度。以前的輸出方式一到關(guān)鍵區(qū)域，用戶實(shí)際面部表情的準(zhǔn)確性就會(huì)下降，尤其是極端表情，以及眼部動(dòng)作和嘴部運(yùn)動(dòng)的關(guān)系。

與之前相比，新系統(tǒng)的精準(zhǔn)度明顯提升：對(duì)于臉基本被頭顯遮住的用戶來(lái)說(shuō)，近距離的鏡頭可以用來(lái)準(zhǔn)確地重建面部。

盡管功能進(jìn)步明顯，但現(xiàn)有方法仍然不容易被主流人群接受。因?yàn)榍捌谝獙?duì)用戶進(jìn)行詳細(xì)的初步掃描，以及使用專業(yè)的“訓(xùn)練”頭顯，這就需要“掃描中心”這類的機(jī)構(gòu)，用戶可以去那里掃描和練習(xí)使用虛擬化身效果（同時(shí)也會(huì)獲得一個(gè)定制的HRTF）?？墒窃谔摂M現(xiàn)實(shí)成為社會(huì)交流方式的重要組成部分之前，我們不太可能建立這樣的中心機(jī)構(gòu)。然而，先進(jìn)的傳感技術(shù)和不斷改進(jìn)的自動(dòng)通信建設(shè)或許可以讓我們?cè)诩抑型瓿蛇@一步驟。

來(lái)源：roadtovr