Nvidia探索了如何訓練模型來繪制新世界

這是一個你可以思考的單詞串：AI交互式圖形。Nvidia是主要行為。GPU brainiacs完全支持圖形行業(yè)的下一章“AI”。當您根據(jù)視頻素材將神經網(wǎng)絡系統(tǒng)帶入虛擬世界的桌面時，會發(fā)生令人敬畏的事情。

創(chuàng)建逼真的數(shù)字場景通常需要很多(和很多)耐心。“現(xiàn)在我們可以將工作卸載到人工智能算法上，”威爾奈特在麻省理工學院技術評論中看到Nvidia正在研究的內容時說道。

Nvidia正在宣布它所說的第一個交互式AI呈現(xiàn)虛擬世界，并將其稱為“AI突破”。研究小組由負責深度學習的副總裁Bryan Catanzaro領導。“我們實際上正在教授模型如何基于真實視頻進行繪制，”他在麻省理工學院技術評論中說。

研究科學家王廷春表示，這些框架是由人工智能技術提供的。換句話說，該團隊已經訓練了一個神經網(wǎng)絡，在對現(xiàn)有視頻進行訓練后渲染3D環(huán)境。

突破從某人的問題開始。在Nvidia，假設問題是，如果我們能夠根據(jù)現(xiàn)實世界的視頻訓練AI模型來繪制新世界怎么辦?因此，它現(xiàn)在已經完成了顯示這種圖像生成的技術。

目標用戶是開發(fā)人員和藝術家。他們的想法是為汽車，游戲或虛擬現(xiàn)實創(chuàng)建交互式3D虛擬世界。

選擇城市環(huán)境視頻來訓練神經網(wǎng)絡。

“我們得到了不同城市的駕駛序列，”王廷春說。然后他們使用另一個分段網(wǎng)絡，從那些序列中提取高級語義。

UE4引擎幫助生成彩色布局 - 不同的對象被賦予不同的顏色。網(wǎng)絡又將表示轉換為圖像。

[UE4指虛幻引擎4 的邊緣將其描述為“用于標題例如Fortnite，PUBG，戰(zhàn)爭機器4，和許多其他流行的引擎”。虛幻引擎4網(wǎng)站稱它是“ 由游戲開發(fā)者為游戲開發(fā)者制作的一整套游戲開發(fā)工具。”]

Nvidia在加拿大蒙特利爾的NeurIPS會議上展示了它的進展，該會議專注于人工智能研究。

是的，但是，除了gee-whiz因素之外，重點是什么?內容創(chuàng)建很昂貴，這種AI路線可以節(jié)省資金并節(jié)省時間。新的Atlas觀察到“為了讓虛擬世界更加身臨其境，藝術家需要用建筑物，巖石，樹木和其他物體填充它們?？焖賱?chuàng)建和放置所有這些虛擬物體會增加相當高的開發(fā)時間和成本。 “

對于游戲開發(fā)或其他應用程序，Nvidia探索了一種方法，允許開發(fā)人員通過使用從現(xiàn)實世界中學習的AI來以較低的成本創(chuàng)建。新聞稿指出，由于輸出是綜合生成的，“可以輕松編輯場景以刪除，修改或添加對象。”

The Verge的James Vincent向讀者介紹了Nvidia的研究成果：

“問題是，如果深度學習算法以每秒25幀的速度為世界生成圖形，它們如何保持對象看起來一樣?Catanzaro說這個問題意味著系統(tǒng)的初始結果是'痛苦的'看看“顏色和紋理”每一幀都會改變。該團隊為系統(tǒng)提供了短期記憶，因此它可以將新框架與以前的框架進行比較。因此，它可以創(chuàng)建與屏幕上的內容一致的新框架。

Nvidia新聞稿稱“這項研究處于早期階段”。