英偉達(dá)的研究人員是如何用真實(shí)世界的視頻制作虛擬世界的

英偉達(dá)的研究人員已經(jīng)建立了一個(gè)生成模型，可以利用來(lái)自YouTube等網(wǎng)站的真實(shí)視頻創(chuàng)建虛擬環(huán)境——這是一種生成圖形的方式，可能會(huì)對(duì)游戲和人工智能的未來(lái)產(chǎn)生影響。

“這是一種新的渲染技術(shù)，輸入基本上只是一個(gè)草圖，一個(gè)對(duì)象的高級(jí)表示，以及它們?cè)谔摂M環(huán)境中是如何交互的。Nvidia應(yīng)用深度學(xué)習(xí)的副總裁Bryan Catanzaro在接受VentureBeat的電話采訪時(shí)表示:“這個(gè)模型實(shí)際上會(huì)處理細(xì)節(jié)，細(xì)化紋理和燈光等，以做出一個(gè)完全渲染的圖像。”

該系統(tǒng)使用來(lái)自百度自動(dòng)駕駛項(xiàng)目的阿波羅景觀視頻進(jìn)行了培訓(xùn)。在哪里可以找到東西的草圖——比如樹(shù)、建筑物、汽車和行人——被輸入到模型中。

卡坦扎羅、Nvidia的其他研究人員和麻省理工學(xué)院CSAIL的一名學(xué)生共同撰寫(xiě)了一篇題為《視頻到視頻合成》的論文，詳細(xì)介紹了這種方法。

該模型可以使快速生成訓(xùn)練強(qiáng)化學(xué)習(xí)代理的合成環(huán)境成為可能，或幫助正在玩游戲的人感覺(jué)他們處于相同的位置。

“想象一下，如果你可以在電子游戲中扮演你自己。而僅僅從你拍的一段手機(jī)視頻中，就有足夠的信息添加你的角色作為你自己，作為一個(gè)穿著閃亮盔甲的騎士去做一些偉大的事情，”他說(shuō)。“英偉達(dá)在圖形領(lǐng)域已經(jīng)有很長(zhǎng)一段時(shí)間了，所以我們很高興能將圖形技術(shù)帶入人工智能時(shí)代，并使用人工智能來(lái)生成圖形，在那里我們可以從真實(shí)世界的視頻中了解事物是如何工作的，然后根據(jù)這些知識(shí)來(lái)合成內(nèi)容。”

系統(tǒng)能夠考慮對(duì)象的位置、對(duì)象之間的關(guān)系和映射來(lái)定義對(duì)象的邊緣。

Nvidia將在本周于蒙特利爾舉行的神經(jīng)信息處理系統(tǒng)會(huì)議(NeurIPS，前身為NIPS)上演示視頻，并分享這項(xiàng)技術(shù)的更多細(xì)節(jié)。

Nvidia的團(tuán)隊(duì)最初是受Alexei Efros和加州大學(xué)伯克利分校的其他研究人員的工作以及他們創(chuàng)造的Pix2Pix系統(tǒng)的啟發(fā)而采取這種方法的。Nvidia與加州大學(xué)伯克利分校的人工智能從業(yè)者合作，創(chuàng)造了Pix2PixHDin response。

今年早些時(shí)候，加州大學(xué)伯克利分校(UC Berkeley)的研究人員還制作了能夠跳舞、翻筋斗和其他20種雜技動(dòng)作的模型。

“我認(rèn)為這是第一次交互式人工智能渲染，我們真的為我們?nèi)〉玫倪M(jìn)展感到自豪。但它還處于早期階段，我認(rèn)為會(huì)有很多進(jìn)展，使輸出質(zhì)量更高，更普遍，這樣我們就可以處理更多的場(chǎng)景。所以我對(duì)未來(lái)的發(fā)展方向感到非常興奮。”