AI“黑箱”被打開 谷歌發(fā)現(xiàn)大模型能力涌現(xiàn)機制

前一段時間Open AI也做出了一系列神級的操作，利用GPT鋼4對于GPT-2出現(xiàn)的行為解釋，大型語言模型及涌現(xiàn)的能力和運作的方式像黑箱一樣，是沒有人能夠知曉如何出現(xiàn)的。語言模型在近期有著巨大的進步，通過上下文的學習對獲得的任務(wù)進行執(zhí)行。

上下文的學習是一種學習的過程，對沒有見過的樣品進行評估，執(zhí)行具體的任務(wù)前會對于輸入的標簽先接收并對應(yīng)，語言模型上下文在學習方面產(chǎn)生的能力會跟隨參數(shù)的變化而出現(xiàn)相應(yīng)的改變。大型大語言模型遵循上下文當中給出的范例，即使標簽與意義上并沒有相關(guān)聯(lián)的特點或者被翻轉(zhuǎn)，這樣的能力在小型的語言模型當中是根本不存在的現(xiàn)象。

模型之所以可以在上下文當中能夠?qū)W習，一方面在利用之前預先進行訓練的語文知識對標簽作出一定程度的預測，并且依據(jù)上下文給出具體模板的范例，而另一種就是在提供所有的例子當中，學習中的輸入-標簽映射出來。新所進行的研究及目標就是為了將這兩個因素對上下文中的作用解釋出來。覆蓋先前驗證的知識是模型，規(guī)模具備的能力，和上下文中學習到和寓意并沒有太相關(guān)聯(lián)的標簽具有的能力是一樣的。

研究人員在做實驗的時候，利用語義無關(guān)的標簽，將原本的標簽作為替代，在進行這種替換之后，語義無關(guān)的標簽，使得小型模型性能方面有較大幅度的下降， 而當語義標簽所具有的特性被移除掉之后，大模型可以在上下文當中對輸入標簽映射的能力具備相比于小型模型來說，上下文的范例對于大模型在使用性能上面改善是很大的。