英偉達(dá)的研究人員是如何用真實世界的視頻制作虛擬世界的

英偉達(dá)的研究人員已經(jīng)建立了一個生成模型，可以利用來自YouTube等網(wǎng)站的真實視頻創(chuàng)建虛擬環(huán)境——這是一種生成圖形的方式，可能會對游戲和人工智能的未來產(chǎn)生影響。

“這是一種新的渲染技術(shù)，輸入基本上只是一個草圖，一個對象的高級表示，以及它們在虛擬環(huán)境中是如何交互的。Nvidia應(yīng)用深度學(xué)習(xí)的副總裁Bryan Catanzaro在接受VentureBeat的電話采訪時表示:“這個模型實際上會處理細(xì)節(jié)，細(xì)化紋理和燈光等，以做出一個完全渲染的圖像。”

該系統(tǒng)使用來自百度自動駕駛項目的阿波羅景觀視頻進(jìn)行了培訓(xùn)。在哪里可以找到東西的草圖——比如樹、建筑物、汽車和行人——被輸入到模型中。

卡坦扎羅、Nvidia的其他研究人員和麻省理工學(xué)院CSAIL的一名學(xué)生共同撰寫了一篇題為《視頻到視頻合成》的論文，詳細(xì)介紹了這種方法。

該模型可以使快速生成訓(xùn)練強(qiáng)化學(xué)習(xí)代理的合成環(huán)境成為可能，或幫助正在玩游戲的人感覺他們處于相同的位置。

“想象一下，如果你可以在電子游戲中扮演你自己。而僅僅從你拍的一段手機(jī)視頻中，就有足夠的信息添加你的角色作為你自己，作為一個穿著閃亮盔甲的騎士去做一些偉大的事情，”他說。“英偉達(dá)在圖形領(lǐng)域已經(jīng)有很長一段時間了，所以我們很高興能將圖形技術(shù)帶入人工智能時代，并使用人工智能來生成圖形，在那里我們可以從真實世界的視頻中了解事物是如何工作的，然后根據(jù)這些知識來合成內(nèi)容。”

系統(tǒng)能夠考慮對象的位置、對象之間的關(guān)系和映射來定義對象的邊緣。

Nvidia將在本周于蒙特利爾舉行的神經(jīng)信息處理系統(tǒng)會議(NeurIPS，前身為NIPS)上演示視頻，并分享這項技術(shù)的更多細(xì)節(jié)。

Nvidia的團(tuán)隊最初是受Alexei Efros和加州大學(xué)伯克利分校的其他研究人員的工作以及他們創(chuàng)造的Pix2Pix系統(tǒng)的啟發(fā)而采取這種方法的。Nvidia與加州大學(xué)伯克利分校的人工智能從業(yè)者合作，創(chuàng)造了Pix2PixHDin response。

今年早些時候，加州大學(xué)伯克利分校(UC Berkeley)的研究人員還制作了能夠跳舞、翻筋斗和其他20種雜技動作的模型。

“我認(rèn)為這是第一次交互式人工智能渲染，我們真的為我們?nèi)〉玫倪M(jìn)展感到自豪。但它還處于早期階段，我認(rèn)為會有很多進(jìn)展，使輸出質(zhì)量更高，更普遍，這樣我們就可以處理更多的場景。所以我對未來的發(fā)展方向感到非常興奮。”