“甩開”手柄 愛奇藝正在通過高精度3D重建 讓用戶在虛擬世界也能擁有“一雙靈巧的手”
如何在沉浸環(huán)境中真正感受到沉浸式體驗？那就是，在虛擬場景中，依然可以實現(xiàn)與現(xiàn)實世界中一樣的交互。例如，在體驗一款游戲時，你可以直接使用你在虛擬世界的“數(shù)字化分手”，自然地與同伴打招呼、握手、擊掌，還能完成各種抓取動作…..隨著計算機(jī)視覺、AI等技術(shù)對自然肢體語言的識別, 不再僅通過手柄定義你在虛擬世界中的動作，正在成為可能。
這種通過手勢識別打破次元壁，獲得更佳臨場感的方式，已成為當(dāng)前VR、AR消費(fèi)級頭顯設(shè)備重點研究的方向之一，但如果手部識別精度不夠，則可能無法做到對真實雙手姿態(tài)的完美復(fù)刻。為達(dá)到更好的效果，如何以更精準(zhǔn)的方式同步還原人類雙手在物理世界的靈動姿態(tài)，完成比手柄控制更精細(xì)的操作，就顯得尤為重要。
近日，愛奇藝的深度學(xué)習(xí)云算法小組通過題為《I2UV-HandNet: Image-to-UV Prediction Network for Accurate and High-fidelity
3D Hand Mesh Modeling》（I2UV-HandNet：基于圖像到UV Map映射的3D手部高保真重建網(wǎng)絡(luò)）的論文，針對現(xiàn)有模型在手部姿態(tài)識別方面不夠精細(xì)等問題，提出一套I2UV-HandNet高精度手部重建系統(tǒng)，并依托愛奇藝在業(yè)內(nèi)首提的將點的超分轉(zhuǎn)化為圖像超分這一先進(jìn)技術(shù)思考，能夠做到識別21個關(guān)節(jié)點和26自由度的手部運(yùn)動信息，從而更有效地實現(xiàn)更高等級的手部還原。這將使得在VR、AR等使用場景下，用戶通過更精細(xì)的手勢追蹤與識別，更準(zhǔn)確、流暢地完成更多操作，享受在虛擬世界更佳的臨場感。基于該系統(tǒng)的行業(yè)首創(chuàng)性和卓越應(yīng)用價值，該篇論文成功被今年接收率僅為25.9%的國際計算機(jī)視覺大會（ICCV）成功收錄，并在業(yè)內(nèi)頗受認(rèn)可的HO3D以及Freihand 在線測評榜持續(xù)數(shù)月排名第一，超越目前的SOTA水平（若某篇論文能夠被稱為SOTA，就表明其提出的算法（模型）的性能在所在領(lǐng)域為最優(yōu)）。
通常而言，要讓手勢識別實現(xiàn)更高的精度，首先需要好的手部模型，只有好的模型才能預(yù)測出來更多3D點。同時需要有足夠的高精度數(shù)據(jù)，才能不斷訓(xùn)練重建模型?；诖罅渴植繑?shù)據(jù)對深度學(xué)習(xí)算法的“喂養(yǎng)”，愛奇藝自研的I2UV-HandNet高精度手部重建系統(tǒng)，能夠通過UV重建模塊AffineNet，完成由粗到精的人手3D模型重建。這樣一來，即使在大遮擋或多姿態(tài)狀態(tài)下，該系統(tǒng)仍可有效改善現(xiàn)有人手模型識別不準(zhǔn)確等問題，為手勢識別提供更為完整且精準(zhǔn)的參考。
同時，考慮到不同虛擬場景對手部3D模型的精度要求不一，該系統(tǒng)還可通過SRNet網(wǎng)絡(luò)實現(xiàn)對已有人手3D模型更高精度的重建。該系統(tǒng)基于落實“點的超分轉(zhuǎn)化為圖像的超分”的先進(jìn)技術(shù)思考，通過算法從低精度UV圖到高精度UV圖的學(xué)習(xí)，可完成MANO(778個點/1538個面)人手模型向高精度（3093個點/6152個面）乃至更精細(xì)（上萬點云）的人手模型的重建，這可以實現(xiàn)雙手的“虛擬分身”在不同背景色彩、景深下，表現(xiàn)得如物理世界雙手一樣靈活。
值得一提的是，未來該系統(tǒng)將應(yīng)用于下一代奇遇VR中，賦能愛奇藝VR更佳的沉浸感，讓用戶不僅僅是瀏覽內(nèi)容，更有機(jī)會“走進(jìn)內(nèi)容”?？梢灶A(yù)見，該系統(tǒng)基于更低成本的深度學(xué)習(xí)算法完成的高精度手勢識別，相比通過自帶深度信息識別的攝像頭，將更具性價比和規(guī)模化落地的商業(yè)潛力，也將為愛奇藝更多業(yè)務(wù)場景或硬件終端增強(qiáng)“沉浸體驗”帶來更為強(qiáng)大助力。