未來的蘋果Glass硬件可能會從平面視頻中擠出3D AR和VR內(nèi)容

蘋果公司正在開發(fā)一種系統(tǒng)，該系統(tǒng)可以從平面視頻內(nèi)容生成混合現(xiàn)實或虛擬現(xiàn)實環(huán)境，使用戶可以瀏覽并瀏覽只有二維的剪輯。

蘋果公司在該主題上的研究已于周四由專利商標局發(fā)布，主題為“用于生成平面視頻內(nèi)容的合成現(xiàn)實重建的方法和設(shè)備”。該專利通過將合成現(xiàn)實或SR定義為數(shù)字生成的對象和環(huán)境而開始。SR本質(zhì)上是Apple所說的廣泛類別，包括虛擬現(xiàn)實，增強現(xiàn)實和混合現(xiàn)實。

用戶可以在設(shè)備上參與SR體驗，無論是iPhone或iPad等手持設(shè)備還是傳聞中的“ Apple Glass ”等頭戴式設(shè)備。他們可以通過一種或多種感覺(包括視覺，味覺，嗅覺和觸覺)與SR環(huán)境互動。

但是，該專利的大部分集中在可以從平面視頻內(nèi)容生成SR字符，對象和環(huán)境的系統(tǒng)上。換句話說，它可以將電視節(jié)目變成VR環(huán)境，用戶可以使用上述設(shè)備進行瀏覽。

“用戶可能希望體驗視頻內(nèi)容(例如電視劇集或電影)，就像他/她和角色一起在場景中一樣。換句話說，用戶希望將視頻內(nèi)容視為SR體驗，而不是簡單地觀看電視或其他顯示設(shè)備上的視頻內(nèi)容。”

如Apple所述，大多數(shù)SR內(nèi)容是“精心制作”的，并已添加到用戶可以選擇的庫中。然而，該專利描述了一種用于通過“利用數(shù)字資產(chǎn)”以“無縫且快速地”將平面內(nèi)容移植到SR體驗中來生成視頻內(nèi)容的按需SR重建的方法。

該系統(tǒng)通過識別場景中的“情節(jié)效果器”，合成場景描述并通過“根據(jù)場景的場景描述來驅(qū)動與第一情節(jié)效果器相關(guān)聯(lián)的第一數(shù)字資產(chǎn)”來生成場景的重構(gòu)。 ”

正如蘋果公司指出的那樣，數(shù)字資產(chǎn)可能與“情節(jié)效應(yīng)者”的視頻游戲模型相對應(yīng)-它被定義為視頻內(nèi)容中的角色或演員。

雖然系統(tǒng)可以基于視頻內(nèi)容生成SR重建，但它也可以從關(guān)聯(lián)的文本內(nèi)容和外部數(shù)據(jù)中提取信息?？赡苁且曨l剪輯中演員的照片，演員的身高和尺寸，場景的各種視圖以及其他數(shù)據(jù)。

“在某些實現(xiàn)中，數(shù)字資產(chǎn)是至少部分基于視頻內(nèi)容和與視頻內(nèi)容相關(guān)聯(lián)的外部數(shù)據(jù)即時生成的。在一些實現(xiàn)中，與視頻內(nèi)容相關(guān)聯(lián)的外部數(shù)據(jù)對應(yīng)于演員的圖片，角色的高度和其他尺寸，布景和物體的各種視圖(例如，平面圖，側(cè)視圖，透視圖等視圖)等。”

有趣的是，蘋果公司還指出，類似的SR生成系統(tǒng)可以基于音頻和相關(guān)內(nèi)容(包括有聲讀物，廣播劇和其他純音頻內(nèi)容)創(chuàng)建交互式場景。

專利的幾個部分還詳細說明了動作對象(或角色與之交互的對象)與不動作對象之間的區(qū)別。這種區(qū)別可以使SR系統(tǒng)提前知道場景中需要交互的對象類型。

該專利列出了發(fā)明人Ian M. Richter，Daniel Ulbricht，Jean-Daniel E. Nahmias，Omar Elafifi和Peter Meier。其中，邁耶(Meier)負責實時涵蓋移動物體的AR專利，里希特(Richter)被任命為可識別頭部手勢的頭戴式系統(tǒng)的發(fā)明者。

蘋果每周都會申請大量專利，并且不能保證其中描述的技術(shù)會成功推向市場。同樣，專利申請沒有說明蘋果何時可以使用該技術(shù)發(fā)布新產(chǎn)品。