Facebook研究人員使用數(shù)學(xué)來(lái)獲得更好的翻譯

機(jī)器翻譯工具的設(shè)計(jì)者仍然大多依靠字典來(lái)使外語(yǔ)易于理解。但是現(xiàn)在有了一種新方法：數(shù)字。

Facebook研究人員說(shuō)，將單詞變成數(shù)字并利用語(yǔ)言之間的數(shù)學(xué)相似性是一個(gè)有前途的途徑-即使“星際迷航”這樣的通用傳播者仍然遙不可及。

強(qiáng)大的自動(dòng)翻譯是互聯(lián)網(wǎng)巨頭的首要任務(wù)。在世界范圍內(nèi)允許盡可能多的人交流不僅是無(wú)私的目標(biāo)，而且還是一項(xiàng)好生意。

Facebook，Google和Microsoft以及俄羅斯的Yandex，的百度等都在不斷尋求改善其翻譯工具的方法。

Facebook在巴黎的一個(gè)研究實(shí)驗(yàn)室中聘用了人工智能專(zhuān)家。

歐洲社交網(wǎng)絡(luò)基礎(chǔ)AI研究的共同負(fù)責(zé)人Antoine Bordes說(shuō)，F(xiàn)acebook目前使用多達(dá)200種語(yǔ)言。

當(dāng)前，自動(dòng)翻譯是基于具有兩種語(yǔ)言的相同文本的大型數(shù)據(jù)庫(kù)來(lái)工作的。但是對(duì)于許多語(yǔ)言對(duì)來(lái)說(shuō)，沒(méi)有足夠的平行文本。

這就是為什么研究人員一直在尋找另一種方法的原因，例如Facebook開(kāi)發(fā)的系統(tǒng)可以創(chuàng)建單詞的數(shù)學(xué)表示形式。

每個(gè)單詞在數(shù)百個(gè)維度的空間中成為一個(gè)“向量”。在該向量空間中，口語(yǔ)中具有緊密關(guān)聯(lián)的單詞也發(fā)現(xiàn)自己彼此接近。

從巴斯克到亞馬孫?

“例如，如果您在語(yǔ)義上使用'cat'和'dog'一詞，它們是描述相似事物的詞，因此它們?cè)谙蛄靠臻g上會(huì)非常緊密地結(jié)合在一起，”該系統(tǒng)之一的Guillaume Lample說(shuō)。設(shè)計(jì)師。

“如果您使用馬德里，倫敦，巴黎等歐洲首都之類(lèi)的話，那就是同一主意。”

然后可以使用算法將這些語(yǔ)言映射相互鏈接-最初是粗略的，但最終會(huì)變得更加精致，直到可以匹配整個(gè)短語(yǔ)而沒(méi)有太多錯(cuò)誤為止。

蘭普爾說(shuō)，結(jié)果已經(jīng)很有希望。

蘭普爾說(shuō)，對(duì)于英語(yǔ)-羅馬尼亞語(yǔ)的語(yǔ)言對(duì)，F(xiàn)acebook當(dāng)前的機(jī)器翻譯系統(tǒng)比單詞矢量系統(tǒng)“相等或可能更差”。

他說(shuō)，但對(duì)于Facebook-傳統(tǒng)系統(tǒng)沒(méi)有很多雙語(yǔ)文本可供參考的英語(yǔ)-烏爾都語(yǔ)稀疏語(yǔ)言對(duì)來(lái)說(shuō)，單詞矢量系統(tǒng)已經(jīng)很出色了。

但是這種方法是否可以將巴斯克語(yǔ)翻譯成亞馬遜部落的語(yǔ)言?

蘭普爾說(shuō)，從理論上講，是的，但實(shí)際上，要映射該語(yǔ)言，需要大量書(shū)面文本，這是亞馬遜部落語(yǔ)言所缺乏的。

他說(shuō)：“如果您只有成千上萬(wàn)個(gè)短語(yǔ)，它將無(wú)法正常工作。您需要成千上萬(wàn)個(gè)短語(yǔ)。”

圣杯

法國(guó)CNRS科學(xué)中心的專(zhuān)家表示，Lample為Facebook采取的方法可能會(huì)產(chǎn)生有用的結(jié)果，即使它不能帶來(lái)完美的翻譯效果。

CNRS的萊迪思實(shí)驗(yàn)室的Thierry Poibeau也從事機(jī)器翻譯的研究，他稱(chēng)向量向量法為“概念性革命”。

他說(shuō)“沒(méi)有并行數(shù)據(jù)的翻譯”(兩種語(yǔ)言的詞典或相同文檔的版本)“是機(jī)器翻譯的圣杯”。

Poibeau說(shuō)：“但是問(wèn)題是，從單詞向量法可以期望達(dá)到什么水平的性能”。

該方法“可以給出原始文本的想法”，但是每次都能提供良好翻譯的能力仍未得到證實(shí)。

CNRS的機(jī)械與工程科學(xué)計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室的研究員Francois Yvon說(shuō)，當(dāng)語(yǔ)言之間的距離很遠(yuǎn)時(shí)，“語(yǔ)言的鏈接要困難得多”。

他補(bǔ)充說(shuō)：“用中文表示概念的方式與用法語(yǔ)完全不同。”

伊馮說(shuō)，然而，即使翻譯不完美也可能有用，并且可以證明足以追蹤仇恨言論，這是Facebook的首要任務(wù)。