谷歌的實(shí)體作為專(zhuān)家AI回答基于文本的問(wèn)題與較少的數(shù)據(jù)

谷歌研究公司(Google Research)的合著者本周發(fā)表的一項(xiàng)預(yù)印研究將實(shí)體描述為專(zhuān)家(EAE)，這是一種新型的機(jī)器學(xué)習(xí)模型，可以訪問(wèn)樣本文本中提到的實(shí)體(例如，人、地點(diǎn)、組織、日期、時(shí)間和數(shù)字)的記憶。 他們聲稱(chēng)，它的性能優(yōu)于兩個(gè)最先進(jìn)的模型，數(shù)據(jù)少得多，同時(shí)捕捉更多的事實(shí)知識(shí)，并且比它所基于的變形金剛體系結(jié)構(gòu)更模塊化和更可解釋。

如果同行評(píng)審證實(shí)了研究人員對(duì)EAE的說(shuō)法，它可以解決一個(gè)長(zhǎng)期存在的自然語(yǔ)言處理挑戰(zhàn)：在不注入特定實(shí)體知識(shí)的情況下獲得回答世界問(wèn)題所需的知識(shí)。 在企業(yè)環(huán)境中，EAE可以為攝入特定領(lǐng)域信息語(yǔ)料庫(kù)的聊天機(jī)器人奠定基礎(chǔ)，并用最有可能相關(guān)的信息回答有關(guān)語(yǔ)料庫(kù)的問(wèn)題。

EAE包含神經(jīng)元(數(shù)學(xué)函數(shù))，它們排列在從輸入數(shù)據(jù)傳輸信號(hào)并調(diào)整每個(gè)連接的強(qiáng)度(權(quán)重)的層中，就像所有深層神經(jīng)網(wǎng)絡(luò)一樣。 這就是它如何提取特征并學(xué)會(huì)進(jìn)行預(yù)測(cè)，但是由于EAE是基于變壓器架構(gòu)的，所以它受到了關(guān)注。 這意味著每個(gè)輸出元素都連接到每個(gè)輸入元素，并且動(dòng)態(tài)計(jì)算它們之間的權(quán)重。

獨(dú)特的是，EAE還包含實(shí)體內(nèi)存層，使其能夠“理解”并以高度數(shù)據(jù)效率的方式回答有關(guān)文本的問(wèn)題。 該模型直接從文本中學(xué)習(xí)知識(shí)，以及其他模型參數(shù)(即從數(shù)據(jù)中估計(jì)的配置變量和模型在進(jìn)行預(yù)測(cè)時(shí)所需的配置變量)，并將內(nèi)存與特定實(shí)體或數(shù)據(jù)類(lèi)型(如標(biāo)題和數(shù)字表達(dá)式)聯(lián)系起來(lái)。