一種新型的大腦啟發(fā)式AI學習方法可節(jié)省內存和能量

盡管經(jīng)常進行類比，但當今的AI的工作原理與人腦的原理截然不同?，F(xiàn)在，研究人員提出了一種與生物學聯(lián)系更緊密的新學習方法，他們認為這可以幫助我們達到大腦無與倫比的效率。

現(xiàn)代深度學習至少是受生物學啟發(fā)的，以被稱為神經(jīng)元的單個計算單元的大型網(wǎng)絡之間的連接強度來編碼信息。不過，最大的區(qū)別可能是這些神經(jīng)元相互交流的方式。

人工神經(jīng)網(wǎng)絡被組織成層，每個神經(jīng)元通常連接到下一層中的每個神經(jīng)元。信息以高度同步的方式在層之間傳遞，因為數(shù)字落在確定神經(jīng)對之間的連接強度的范圍內。

另一方面，生物神經(jīng)元通過發(fā)射稱為尖峰的電脈沖進行交流，每個神經(jīng)元都按照自己的時間表進行交流。連接并沒有整齊地分成幾層，并具有許多反饋回路，這意味著神經(jīng)元的輸出通常最終會影響其輸入。

這種基于峰值的方法在能源效率上要高得多，這就是為什么訓練最強大的AI需要幾千瓦的電能，而大腦只需要20瓦。這引起了人們對人工增幅神經(jīng)網(wǎng)絡以及所謂的神經(jīng)形態(tài)硬件(模仿大腦的物理組織和原理)的計算機芯片的開發(fā)的興趣，這種計算機芯片可以更有效地運行它們。

但是，我們對這些基于尖峰的方法的理解仍不完善，它們難以達到更常規(guī)的人工神經(jīng)網(wǎng)絡的性能。不過，如今，來自奧地利格拉茨工業(yè)大學的研究人員認為，他們可能已經(jīng)找到了一種利用與峰值神經(jīng)網(wǎng)絡一起工作的生物似然學習方法來發(fā)揮深度學習能力的方法。

在深度學習中，通過使網(wǎng)絡對數(shù)據(jù)進行預測然后評估距離有多遠來對網(wǎng)絡進行訓練。然后，該錯誤會通過網(wǎng)絡反饋回來，以指導神經(jīng)元之間連接強度的調整。此過程稱為反向傳播，經(jīng)過多次迭代將調整網(wǎng)絡，直到做出準確的預測為止。

可以將類似的方法應用于尖峰神經(jīng)網(wǎng)絡，但是它需要大量的內存。顯然，這不是大腦解決學習問題的方法，因為它要求錯誤信號在時間和空間上通過神經(jīng)元之間的突觸向后發(fā)送，這顯然是不可能的。

這促使研究人員，誰是人腦項目的一部分，來看看兩個特征，已成為實驗神經(jīng)科學中的數(shù)據(jù)清楚：每個神經(jīng)元保持小號先前活動的存儲器中的分子標志物的形式，隨著時間慢慢淡化;和大腦提供自上而下的使用像神經(jīng)遞質多巴胺調節(jié)學習信號S ^神經(jīng)元群的行為。

在紙張自然傳播，在奧地利隊描述了小號他們是如何創(chuàng)建d的這兩個特點的人工類似物來創(chuàng)建他們稱之為E-道具一個新的學習模式。盡管該方法的學習速度比基于反向傳播的方法要慢，但可以實現(xiàn)可比的性能。

更重要的是，它允許在線學習。這意味著，無需立即處理大量數(shù)據(jù)(這需要不斷地往返于內存進行傳輸，而這對機器學習的能源費用做出了重大貢獻)，該方法只是從可用的數(shù)據(jù)中學習。這極大地減少了所需的內存和能量，這使得在較小的移動設備中進行片上學習變得更加實用。