技術闡明了處理語言的人工智能系統(tǒng)的內部工作原理

通過分析大量訓練數(shù)據(jù)來學習執(zhí)行計算任務的神經(jīng)網(wǎng)絡，已經(jīng)成為人工智能最令人印象深刻的最新進展，包括語音識別和自動翻譯系統(tǒng)。

然而，在訓練期間，神經(jīng)網(wǎng)絡不斷地以其創(chuàng)作者無法解釋的方式調整其內部設置。最近的許多計算機科學的工作重點是聰明的技術用于確定只是如何神經(jīng)網(wǎng)絡做他們做什么。

在最近的幾篇論文中，來自麻省理工學院計算機科學與人工智能實驗室(CSAIL)和卡塔爾計算研究所的研究人員使用了最近開發(fā)的解釋技術，該技術已應用于其他領域，用于分析經(jīng)過機器翻譯和語音培訓的神經(jīng)網(wǎng)絡。承認。

他們找到了關于網(wǎng)絡可能如何運作的一些常見直覺的經(jīng)驗支持。例如，在轉向更高級別的任務(例如轉錄或語義解釋)之前，系統(tǒng)似乎專注于較低級別的任務，例如聲音識別或詞性識別。

“在機器翻譯中，歷史上，有一種不同層次的金字塔，”CSAIL高級研究科學家吉姆·格拉斯說，他與麻省理工學院電子工程和計算機科學研究生Yonatan Belinkov一起完成了這個項目。“在最低層，有一個詞，表面形成，金字塔的頂部是某種語際表達，你有不同的層，你在做語法，語義。這是一個非常抽象的概念，但想法是你在金字塔中走得越高，翻譯成新語言就越容易，然后再次下降。因此，Yonatan正在做的一部分是試圖弄清楚這個概念的哪些方面正在網(wǎng)絡中被編碼。“

最近在國際自然語言處理聯(lián)合會議上的兩篇論文中介紹了機器翻譯的工作。一方面，Belinkov是第一作者，Glass是高級作者，另一方面，Belinkov是合著者。兩者都是卡塔爾計算研究所(QCRI)的研究人員，包括LluísMàrquez，Hassan Sajjad，Nadir Durrani，F(xiàn)ahim Dalvi和Stephan Vogel。Belinkov和Glass是分析語音識別系統(tǒng)的唯一作者，Belinkov上周在神經(jīng)信息處理研討會上發(fā)表了這一論文。

神經(jīng)網(wǎng)之所以如此命名是因為它們大致接近人腦的結構。通常，它們被排列成層，每層由許多簡單的處理單元組成 - 節(jié)點 - 每個節(jié)點連接到上下層中的幾個節(jié)點。數(shù)據(jù)被送入最低層，最低層的節(jié)點處理它并將其傳遞給下一層。層之間的連接具有不同的“權重”，其確定任何一個節(jié)點的輸出在下一個節(jié)點執(zhí)行的計算中的數(shù)量。

在訓練期間，不斷重新調整節(jié)點之間的權重。在網(wǎng)絡訓練之后，其創(chuàng)建者可以確定所有連接的權重，但是數(shù)千甚至數(shù)百萬個節(jié)點，以及它們之間甚至更多的連接，推斷這些權重編碼的算法幾乎是不可能的。

麻省理工學院和QCRI研究人員的技術包括采用訓練有素的網(wǎng)絡并使用每個層的輸出，以響應個別訓練樣例，訓練另一個神經(jīng)網(wǎng)絡執(zhí)行特定任務。這使他們能夠確定每個圖層的優(yōu)化任務。

在語音識別網(wǎng)絡的情況下，Belinkov和Glass使用單個層的輸出來訓練系統(tǒng)以識別“電話”，特定于口語的獨特語音單元。例如，“茶”，“樹”和“但是”這兩個詞中的“t”聽起來可能被歸類為單獨的電話，但語音識別系統(tǒng)必須使用字母“t”來轉錄它們。事實上，Belinkov和Glass發(fā)現(xiàn)，較低級別的網(wǎng)絡在識別手機方面比在較高級別上更好，其中可能的區(qū)別不那么重要。

同樣，在去年夏天在計算語言學協(xié)會年會上發(fā)表的早期論文中，Glass，Belinkov和他們的QCRI同事表明，較低級別的機器翻譯網(wǎng)絡特別擅長識別詞性和形態(tài)。 - 時態(tài)，數(shù)字和共軛等功能。