虛幻的新iPhone應(yīng)用程序使用Face ID傳感器進行實時運動捕捉

這是iPhone的TrueDepth傳感器陣列的另一個罕見的殺手級應(yīng)用。

虛幻引擎開發(fā)商Epic Games發(fā)布了Live Link Face，這是一個iPhone應(yīng)用程序，它使用電話中的前置3D傳感器對視頻游戲，動畫或電影等3D項目中的面部動畫進行實時運動捕捉。

該應(yīng)用程序使用Apple的ARKit框架和iPhone的TrueDepth傳感器陣列中的工具，將觀看手機的演員將實時運動捕獲流傳輸?shù)礁浇ぷ髡旧线\行的虛幻引擎中的3D角色。它捕獲面部表情以及頭部和頸部的旋轉(zhuǎn)。

據(jù)Epic 宣布該應(yīng)用程序的博客稱，Live Link Face可以一次流傳輸?shù)蕉嗯_機器，并且“強大的時間碼支持和精確的幀精度可實現(xiàn)與其他舞臺組件(如攝像機和人體動作捕捉)的無縫同步” 。用戶可以從手機的前置攝像頭獲取帶有原始時間的CSV原始混合形狀數(shù)據(jù)和MOV，并帶有時間碼。

對于許多人來說，iPhone的TrueDepth傳感器陣列似乎是解決問題的一種解決方案-觸摸ID可以在大多數(shù)人的早期iPhone中正常使用，除了Face ID之外，該技術(shù)沒有很多明確的應(yīng)用。當然，有Animoji，很多人喜歡它們-但大多數(shù)人不會說他們單槍匹馬地證明了這項技術(shù)的合理性。

但這是一個明確的賣點，盡管是針對少數(shù)人群的：獨立游戲開發(fā)商和電影制片人可以在iPhone上使用類似的應(yīng)用程序進行動作捕捉，通過真實的人類演員的面部表情和其他動作來使虛擬角色栩栩如生。傳統(tǒng)上，這涉及到設(shè)備昂貴的工作室，除了大公司以外，其他人都無法企及。

當然，iPhone傳感器可以管理的動作捕捉不如AAA游戲開發(fā)工作室或大型電影所使用的動作捕捉準確，因此那些高端工作室不會將其裝備齊全的Mo-Cap錄音室用于iPhone。但是現(xiàn)在，個人創(chuàng)建者和較小的團隊可以做一些以前成本過高的事情。

但是，從本質(zhì)上講，這并不是真正的消費者用例。到目前為止，這些傳感器主要已被Apple和第三方應(yīng)用程序開發(fā)人員用來使AR應(yīng)用程序和照片濾鏡更準確。

10歲時團結(jié)一致：無論好壞，游戲開發(fā)從未如此簡單

蘋果最近在iPad Pro上增加了一個激光雷達傳感器，并且在互聯(lián)網(wǎng)上流傳著很多謠言，稱它也將成為頂級iPhone機型。盡管iPad Pro的后傳感器使用的技術(shù)與正面的TrueDepth陣列不同，但它可以產(chǎn)生相似的結(jié)果。蘋果已經(jīng)展示了iPad Pro的后部傳感器，可以記錄人的動作捕捉-盡管是人的整個身體，而不是他們的臉。

對于那些不熟悉的人來說，虛幻引擎作為一種圖形引擎開始使用，該圖形引擎被Triple-A視頻游戲工作室使用，用于戰(zhàn)爭機器和 質(zhì)量效應(yīng)之類的游戲 ，并且隨著時間的流逝，它被獨立開發(fā)者以及在電影制作，建筑等其他情況下使用和設(shè)計。它可以與另一個流