計算機(jī)模型旨在將電影腳本轉(zhuǎn)換為動畫

卡內(nèi)基梅隆大學(xué)的研究人員開發(fā)了一種計算機(jī)模型，可以將描述物理運(yùn)動的文本直接轉(zhuǎn)換為簡單的計算機(jī)生成動畫，這是有朝一日直接從腳本生成電影的第一步。

科學(xué)家在使計算機(jī)理解自然語言以及生成一系列物理姿勢以創(chuàng)建逼真的動畫方面取得了巨大的飛躍。然而，這些能力可能存在于不同的世界中，因?yàn)槿鄙僮匀徽Z言和物理姿勢之間的聯(lián)系。

語言技術(shù)研究所(LTI)的副教授Louis-Philippe Morency和LTI博士的Chaitanya Ahuja 學(xué)生，正在努力使用他們稱之為聯(lián)合語言 - 姿勢或JL2P的神經(jīng)結(jié)構(gòu)將這些世界聚集在一起。JL2P模型可以將句子和物理運(yùn)動聯(lián)合嵌入，因此它可以學(xué)習(xí)語言與動作，手勢和動作的關(guān)系。

“我認(rèn)為我們處于這項研究的早期階段，但從建模，人工智能和理論的角度來看，這是一個非常激動人心的時刻，”Morency說。“現(xiàn)在，我們正在談?wù)搫赢嬏摂M角色。最終，語言和手勢之間的這種聯(lián)系可以應(yīng)用于機(jī)器人;我們或許可以簡單地告訴個人助理機(jī)器人我們想要它做什么。

“我們最終也可以采用其他方式 - 使用語言和動畫之間的這種聯(lián)系，這樣計算機(jī)就可以描述視頻中發(fā)生的事情，”他補(bǔ)充道。

Ahuja將于9月19日在加拿大魁北克市舉行的3-D Vision國際會議上展示JL2P。

為了創(chuàng)建JL2P，Ahuja使用了一種課程學(xué)習(xí)方法，側(cè)重于模型首先學(xué)習(xí)簡短的序列 - “一個人向前走” - 然后更長，更難的序列 - “一個人向前走，然后轉(zhuǎn)身再往前走，“或”一個人跑步時跳過障礙物。“

動詞和副詞描述動作的動作和速度/加速度，而名詞和形容詞描述位置和方向。Ahuja說，最終目標(biāo)是通過同時或按順序發(fā)生多種動作來制作復(fù)雜序列的動畫。

目前，動畫是貼圖。

更多的事情是，許多事情同時發(fā)生，即使是在簡單的序列中，Morency解釋說。

“ 身體部位之間的同步是非常重要的，”Morency說。“每當(dāng)你移動你的腿時，你也會移動你的手臂，你的軀干和你的頭部。身體動畫需要協(xié)調(diào)這些不同的組件，同時實(shí)現(xiàn)復(fù)雜的動作。在這個復(fù)雜的動畫環(huán)境中引入語言敘述既是具有挑戰(zhàn)性和令人興奮。這是一條更好地理解言語和手勢的道路。“