酷播亮新聞
最棒的知識補給站

逆天的雙融合技術:除非你裸奔,不然無法逃脫它的數字眼

文章摘要: 通過雙融合技術該技術能夠透視衣著下的人類身體動作

【獵雲網(微訊號:)】6月20日報道(編譯:羅伯特)

現在,各大廠商的旗艦手機相繼配備了具備AR深度追蹤的攝像頭;所以,是時候計算機也開始改進他們的動作追蹤技術了。近日,相關人員研發了一種新的機器視覺系統,能夠「脫掉」人們的衣服,直接看穿他們的動作。雖然聽起來還蠻嚇人的,但是它的確有一定的用途。

在電影或AR遊戲等場景裡,由於人們通常穿著衣服,所以系統捕捉他們的動作時,會有一種模糊感;這是現有技術面臨的最基本問題。這也就是為什麼那些動作演員要緊身衣的緣故。

裙子、揹包、夾克等身外物同樣會對動作捕捉造成一定的影響。簡單來說,除非你裸奔,否則電腦無法非常準確地捕捉到你的身體動作。

這一「透視」技術將會在鹽湖城的CVPR活動上進行展示,其將深度資料與智慧假設想結合,能夠預測身體的構成和動作。通過類似於X射線的視覺系統,該技術能夠透視衣著下的人類身體動作。即使實驗物件正在進行跳舞之類的高速運動,這一技術也同樣有效。

這一技術是建立在兩種已有的解決方案上,即動態融合(DynamicFusion)和身體融合(BodyFusion)。前者通過單攝像機的深度資料,預測人體的定點動作,但其無法在高速運動或是有遮擋物的情況下執行;後者主要運用的是人體的骨骼資料,但在高速運動的條件下仍會失真。研究人員主要是結合了這兩種解決方案,打造一種「雙融合」技術(DoubleFusion),從深度資料中建立了一個人體骨骼,然後進行距離收縮,為其覆蓋上一層面板。

如上圖所示,其對應的分別是動態融合、身體融合,以及雙融合。

結合後的技術方案會比任何的單一方案都要出色。

連帽衫、耳機、寬鬆的大衣…無論你穿什麼,都無法逃出雙融合技術的視線。

但是,這個技術仍有短板。當一個人穿了很多衣服的時候,系統沒辦法分辨這個人到底是肥胖,還是衣著過多;另外,如果一個人與單個物體接觸時(比如桌子,或是遊戲遙控器),系統也沒辦法識別,其可能會認為你的手腳特別長。團隊計劃會在未來解決這些問題。

這項技術論文的第一作者是來自清華大學的陶宇(音譯Tao Yu),北航、谷歌、南加州大學也參與了開發研究。

作者在論文結語中寫道:「我們相信,我們這一方案的魯棒性和準確性將使許多應用成為可能,尤其是在AR/VR、遊戲、娛樂等領域。通過雙融合技術,使用者將能夠真正地第一次把自己徹底數字化。」

如有侵權請來信告知:酷播亮新聞 » 逆天的雙融合技術:除非你裸奔,不然無法逃脫它的數字眼