腦啟發(fā)算法幫助AI系統(tǒng)實現多任務和記憶

在今天的大多數人工智能技術背后，從自動駕駛汽車到面部識別和虛擬助手，都是人工神經網絡。雖然松散地基于神經元在大腦中的通信方式，但這些“深度學習”系統(tǒng)仍然無法實現對靈長類動物和其他生物必不可少的許多基本功能。

然而，芝加哥大學神經科學家的一項新研究發(fā)現，適應眾所周知的大腦機制可以顯著提高人工神經網絡學習多項任務的能力，并避免持續(xù)的AI挑戰(zhàn)“災難性遺忘”。該研究發(fā)表在美國國家科學院院刊上，提供了一個獨特的例子，說明神經科學研究如何為新的計算機科學策略提供信息，相反，AI技術如何幫助科學家更好地理解人類大腦。

當結合先前報道的用于穩(wěn)定人工神經網絡中的突觸連接的方法時，新算法允許單個人工神經網絡以最小的精度損失來學習和執(zhí)行數百個任務，從而可能實現更強大和有效的AI技術。

“直觀地說，你可能認為你希望網絡知道的任務越多，網絡可能就越大，”UChicago神經生物學教授David Freedman說。“但是大腦認為可能有一種有效的方法可以將大量知識打包到一個相當小的網絡中。當你看到大腦中涉及更高認知功能的部分時，你往往會發(fā)現相同的區(qū)域，甚至是相同的細胞，參與許多不同的功能。這個想法是從大腦的作用中汲取靈感，以便用神經網絡解決挑戰(zhàn)。“

在人工神經網絡中，“災難性遺忘”指的是教導系統(tǒng)執(zhí)行新技能而不丟失先前學習的功能的困難。例如，如果最初訓練以區(qū)分狗和貓的照片的網絡然后被重新訓練以區(qū)分狗和馬，它將失去其早期的能力。

“如果你展示一個訓練有素的神經網絡是一項新任務，它將完全忘記它以前的任務，”AB'18的格雷戈里格蘭特說，他現在是弗里德曼實驗室的研究員。“它說，'我不需要那些信息'，并覆蓋它。這是災難性的遺忘。它發(fā)生得很快;只需幾次迭代，你的上一個任務就可以完全消失。”

相比之下，即使相同的神經元用于多個任務，大腦也能夠“不斷學習”，獲取新知識而不消除舊記憶。大腦用于這種學習挑戰(zhàn)的一種策略是針對不同任務選擇性激活細胞或細胞組分 - 基本上為每種個體技能或在不同環(huán)境下打開較小的，重疊的子網絡。

UChicago研究人員通過他們稱為“依賴于上下文的門控”的算法將這種神經科學機制應用于人工神經網絡。對于每個學到的新任務，只激活一個隨機20%的神經網絡。在對數百個不同任務進行網絡訓練之后，單個節(jié)點可能涉及數十個操作，但每個技能都有一組唯一的對等節(jié)點。

結合以前由Google和斯坦福大學研究人員開發(fā)的方法，依賴于上下文的門控允許網絡學習多達500個任務，但準確度只有很小的降低。

“這種簡單的工作做得有點令人驚訝，”Freedman實驗室的博士后研究員Nicolas Masse說。“但是通過這種方法，一個相當中等規(guī)模的網絡可以被分割成一堆方法，以便能夠在正確完成后學習許多不同的任務。”

因此，該方法可能在不斷發(fā)展的人工智能行業(yè)具有巨大潛力，其中開發(fā)自動駕駛汽車，機器人技術和其他智能技術的公司需要將復雜的學習能力打包到消費級計算機中。UChicago團隊目前正與Polsky創(chuàng)業(yè)與創(chuàng)新中心合作，探索該算法的商業(yè)化選擇。

計算研究還有益于實驗室最初的重點是通過記錄動物學習和行為的活動來更好地理解靈長類大腦。研究人員說，在計算機中實現學習，注意力，感官處理和其他功能的建模和測試策略可以激發(fā)和建議新的生物實驗，探索自然和人工智能的機制。

“將這一研究成果添加到實驗室中，確實為我們開啟了很多大門，讓我們能夠考慮新的問題，新的神經科學主題以及我們目前無法通過實驗技術解決的問題。我們可以在實驗室里找到，“弗里德曼說。“我們希望這是實驗室中更多工作的起點，既可以確定這些原則，又可以幫助創(chuàng)建人工網絡，繼續(xù)學習并利用先前的知識。”