研究人員首次將腦信號(hào)直接翻譯成語(yǔ)音

在“科學(xué)報(bào)告”雜志上發(fā)表的一項(xiàng)突破性研究中，來(lái)自紐約哥倫比亞大學(xué)(CU)的工程師描述了一種能夠監(jiān)測(cè)人的大腦活動(dòng)并將相關(guān)位翻譯成清晰，易于識(shí)別的語(yǔ)音的系統(tǒng)。

“我們的聲音有助于將我們與我們的朋友，家人和我們周?chē)氖澜缏?lián)系起來(lái)，這就是為什么由于受傷或疾病而失去一個(gè)人聲音的力量是如此具有破壞性，”該論文的高級(jí)作者，校長(zhǎng)Nima Mesgarani博士說(shuō)。 CU的Mortimer B. Zuckermann Mind Brain Behavior Institute的研究員。

通過(guò)進(jìn)一步的調(diào)整和更新，該系統(tǒng) - 使用當(dāng)前可用的語(yǔ)音合成器和人工智能構(gòu)建 - 可能很快成為那些由于中風(fēng)或肌萎縮側(cè)索硬化癥(ALS)等疾病而失去說(shuō)話能力的人的生命線。

此外，轉(zhuǎn)換與聽(tīng)說(shuō)和產(chǎn)生的語(yǔ)音相關(guān)的大腦模式的能力對(duì)于從事腦 - 計(jì)算機(jī)接口(BCI)應(yīng)用的研究人員來(lái)說(shuō)非常有用。

在這項(xiàng)研究中，Nima Mesgarani及其同事招募了一組接受腦外科手術(shù)的癲癇患者，當(dāng)研究小組測(cè)量他們的大腦活動(dòng)時(shí)，他們被要求聽(tīng)取不同人說(shuō)的句子。

接下來(lái)，參與者聆聽(tīng)講述0到9之間數(shù)字的人，同時(shí)記錄他們的大腦信號(hào)，然后將其輸入聲碼器 - 一種計(jì)算機(jī)算法，能夠在人們談話的錄音訓(xùn)練后合成語(yǔ)音(相同的技術(shù)是由Amazon Echo和Apple Siri使用)。

經(jīng)過(guò)一些清理后，多達(dá)75%的參與者成功識(shí)別出機(jī)器人發(fā)出的聲音，這超出了之前的嘗試范圍。

該團(tuán)隊(duì)現(xiàn)在計(jì)劃使用更多強(qiáng)制性句子進(jìn)行進(jìn)一步的實(shí)驗(yàn)，希望最終將該系統(tǒng)用作植入物的一部分，類(lèi)似于癲癇患者所使用的系統(tǒng)，這將直接在語(yǔ)音中轉(zhuǎn)換思想。

“在這種情況下，如果穿著者認(rèn)為'我需要一杯水'，我們的系統(tǒng)可以接受這種想法產(chǎn)生的大腦信號(hào)，并將它們變成合成的口頭語(yǔ)言，”Mesgarani博士說(shuō)。“這將改變游戲規(guī)則。它會(huì)讓任何失去講話能力的人，無(wú)論是受傷還是疾病，都有可能重新接觸周?chē)氖澜纭?ldquo;