計(jì)算機(jī)科學(xué)家開發(fā)了一種系統(tǒng)來合成計(jì)算機(jī)動(dòng)畫的逼真聲音

計(jì)算機(jī)生成圖像的進(jìn)步為生活帶來了生動(dòng)逼真的動(dòng)畫，但是與我們?cè)谄聊簧夏M的內(nèi)容(例如兩個(gè)物體碰撞)相關(guān)的聲音通常是錄音。現(xiàn)在，斯坦福大學(xué)的研究人員開發(fā)出一種系統(tǒng)，可以自動(dòng)為各種動(dòng)畫現(xiàn)象提供準(zhǔn)確的聲音。

“計(jì)算能夠?yàn)槿祟惸M現(xiàn)實(shí)是一個(gè)圣杯。我們可以使用物理和計(jì)算機(jī)圖形為場(chǎng)景制作動(dòng)畫并進(jìn)行視覺渲染，但是，對(duì)于聲音，它們通常都會(huì)被制作出來，”Doug James教授說道。斯坦福大學(xué)的計(jì)算機(jī)科學(xué)。“目前沒有辦法為復(fù)雜的動(dòng)畫內(nèi)容生成逼真的同步聲音，例如自動(dòng)濺水或撞擊物體。這就填補(bǔ)了這個(gè)空白。”

研究人員將作為ACM SIGGRAPH 2018的一部分介紹他們?cè)谶@個(gè)聲音合成系統(tǒng)上的工作，這是計(jì)算機(jī)圖形學(xué)和交互技術(shù)的領(lǐng)先會(huì)議。研究人員說，除了活躍電影和虛擬現(xiàn)實(shí)世界外，該系統(tǒng)還可以幫助工程公司在物理生產(chǎn)之前對(duì)產(chǎn)品的聲音進(jìn)行原型設(shè)計(jì)，并希望鼓勵(lì)設(shè)計(jì)更安靜，更少刺激。

詹姆斯實(shí)驗(yàn)室和計(jì)算與數(shù)學(xué)工程研究所(ICME)的研究生 Jui-Hsien Wang表示：“我花了數(shù)年時(shí)間試圖解決偏微分方程 - 它控制聲音的傳播方式。” 該論文的第一作者。“這實(shí)際上是一個(gè)你不僅可以解決這個(gè)問題的地方，但是一旦你完成它就可以聽到它。這對(duì)我來說非常令人興奮，而且很有趣。”

通過幾何和物理運(yùn)動(dòng)，系統(tǒng)可以計(jì)算出每個(gè)物體的振動(dòng)，以及如何像揚(yáng)聲器那樣激發(fā)聲波。它計(jì)算由快速移動(dòng)和振動(dòng)的表面拋出的壓力波，但不會(huì)復(fù)制室內(nèi)聲學(xué)。因此，雖然它不能在宏偉的大教堂中重現(xiàn)回聲，但它可以解決諸如撞擊鈸，顛倒的碗旋轉(zhuǎn)到停止，玻璃填滿水或虛擬人物用擴(kuò)音器說話等場(chǎng)景中的詳細(xì)聲音。

與動(dòng)畫相關(guān)的大多數(shù)聲音依賴于預(yù)先錄制的剪輯，這需要大量的手動(dòng)操作來與屏幕上的動(dòng)作同步。這些片段也受限于存在的噪音 - 它們無法預(yù)測(cè)任何新的東西。產(chǎn)生和預(yù)測(cè)聲音的其他系統(tǒng)與詹姆斯及其團(tuán)隊(duì)的聲音一樣準(zhǔn)確，僅在特殊情況下工作，或者假設(shè)幾何體不會(huì)變形很多。對(duì)于每個(gè)單獨(dú)的對(duì)象，它們還需要很長(zhǎng)的預(yù)計(jì)算階段。

“我們基本上只是一個(gè)渲染按鈕，具有最少的預(yù)處理功能，可以在一個(gè)聲波模擬中將所有物體放在一起，”詹姆斯實(shí)驗(yàn)室的研究生，該論文的共同作者Ante Qu說。

由此方法產(chǎn)生的模擬聲音非常詳細(xì)。它考慮了動(dòng)畫中每個(gè)物體產(chǎn)生的聲波，但也根據(jù)它們與場(chǎng)景中其他物體和聲波的相互作用來預(yù)測(cè)這些波的彎曲，反彈或減弱情況。

未來的挑戰(zhàn)

在目前的形式中，該集團(tuán)的流程需要一段時(shí)間來創(chuàng)建成品。但是，現(xiàn)在他們已經(jīng)證明了這種技術(shù)的潛力，他們可以專注于性能優(yōu)化，例如在并行GPU硬件上實(shí)現(xiàn)他們的方法，這應(yīng)該會(huì)大大加快。

而且，即使在目前的狀態(tài)下，結(jié)果也值得等待。

“我們用系統(tǒng)生成的第一個(gè)水聲是我們模擬過的最好的水聲之一 - 水是計(jì)算機(jī)產(chǎn)生的聲音中的巨大挑戰(zhàn)，”詹姆斯說。“我們認(rèn)為我們可能會(huì)有所改善，但它比以前的方法要好得多，甚至開箱即用。這真的很引人注目。”

盡管該樂隊(duì)的作品忠實(shí)地呈現(xiàn)各種物體的旋轉(zhuǎn)，摔倒和撞擊聲，但更復(fù)雜的物體和相互作用 - 如斯特拉迪瓦里小提琴的回響音 - 仍然難以實(shí)際模擬。該組織表示，將不得不等待未來的解決方案。