研究人員找到了用于大規(guī)模腦模擬的算法

一個(gè)國(guó)際研究小組已經(jīng)朝著創(chuàng)建技術(shù)邁出了決定性的一步，以便在億億級(jí)的未來(lái)超級(jí)計(jì)算機(jī)上實(shí)現(xiàn)大腦網(wǎng)絡(luò)的模擬。發(fā)表于神經(jīng)信息學(xué)前沿的這一突破，允許使用相同數(shù)量的計(jì)算機(jī)內(nèi)存來(lái)表示人類(lèi)大腦的更大部分。同時(shí)，新算法顯著加速了現(xiàn)有超級(jí)計(jì)算機(jī)上的大腦模擬。

人類(lèi)大腦是一個(gè)令人難以置信的復(fù)雜的器官，由1000億個(gè)相互關(guān)聯(lián)的神經(jīng)細(xì)胞組成。然而，即使在最強(qiáng)大的超級(jí)計(jì)算機(jī)的幫助下，目前也無(wú)法模擬這種大小網(wǎng)絡(luò)中神經(jīng)信號(hào)的交換。

“自2014年以來(lái)，我們的軟件可以模擬人腦中大約百分之一的神經(jīng)元與它們的所有聯(lián)系，”Jülich神經(jīng)科學(xué)與醫(yī)學(xué)研究所(INM-6)主任Markus Diesmann說(shuō)。為了實(shí)現(xiàn)這一令人印象深刻的壯舉，該軟件需要千萬(wàn)億次級(jí)超級(jí)計(jì)算機(jī)的整個(gè)主存儲(chǔ)器，例如Kobe的K計(jì)算機(jī)和Jülich的JUQUEEN。

Diesmann在仿真軟件NEST上工作了20多年 - 這是一個(gè)免費(fèi)的開(kāi)源仿真代碼，由神經(jīng)科學(xué)界和歐洲人腦項(xiàng)目的核心模擬器廣泛使用，他負(fù)責(zé)領(lǐng)導(dǎo)以下領(lǐng)域的項(xiàng)目。理論神經(jīng)科學(xué)和高性能分析和計(jì)算平臺(tái)。

使用NEST，網(wǎng)絡(luò)中每個(gè)神經(jīng)元的行為由少數(shù)數(shù)學(xué)方程表示。未來(lái)的exascale計(jì)算機(jī)，例如在Kobe計(jì)劃的K后計(jì)算機(jī)和Jülich的JUWELS，將超過(guò)當(dāng)今高端超級(jí)計(jì)算機(jī)的性能10到100倍。研究人員將首次擁有可用于模擬人類(lèi)大腦神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)功能。

看似死路一條

雖然目前的模擬技術(shù)使研究人員能夠開(kāi)始研究大型神經(jīng)元網(wǎng)絡(luò)，但它也代表著通往億億次級(jí)技術(shù)的死路。超級(jí)計(jì)算機(jī)由大約100,000臺(tái)稱(chēng)為節(jié)點(diǎn)的小型計(jì)算機(jī)組成，每臺(tái)計(jì)算機(jī)都配備了許多處理器進(jìn)行實(shí)際計(jì)算。

“在進(jìn)行神經(jīng)元網(wǎng)絡(luò)模擬之前，需要虛擬地創(chuàng)建神經(jīng)元及其連接，這意味著它們需要在節(jié)點(diǎn)的內(nèi)存中實(shí)例化。在模擬過(guò)程中，神經(jīng)元不知道它具有哪個(gè)節(jié)點(diǎn)因此，目標(biāo)神經(jīng)元需要將其短電脈沖發(fā)送到所有節(jié)點(diǎn)。然后每個(gè)節(jié)點(diǎn)檢查所有這些電脈沖中的哪一個(gè)與該節(jié)點(diǎn)上存在的虛擬神經(jīng)元相關(guān)，“KTH皇家理工學(xué)院的Susanne Kunkel解釋說(shuō)。斯德哥爾摩。

用于網(wǎng)絡(luò)創(chuàng)建的當(dāng)前算法是有效的，因?yàn)樗泄?jié)點(diǎn)同時(shí)構(gòu)建其網(wǎng)絡(luò)的特定部分。然而，將所有電脈沖發(fā)送到所有節(jié)點(diǎn)并不適合在exascale系統(tǒng)上進(jìn)行仿真。

“有效地檢查每個(gè)電脈沖的相關(guān)性需要每個(gè)處理器為整個(gè)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元提供一位信息。對(duì)于10億個(gè)神經(jīng)元的網(wǎng)絡(luò)，每個(gè)節(jié)點(diǎn)中的大部分內(nèi)存僅由這一個(gè)信息消耗。每個(gè)神經(jīng)元，“Markus Diesmann補(bǔ)充道。

這是模擬更大網(wǎng)絡(luò)時(shí)的主要問(wèn)題：每個(gè)神經(jīng)元的額外比特每個(gè)處理器所需的計(jì)算機(jī)內(nèi)存量隨著神經(jīng)網(wǎng)絡(luò)的大小而增加。在人腦的規(guī)模上，這將要求每個(gè)處理器可用的存儲(chǔ)器比現(xiàn)在的超級(jí)計(jì)算機(jī)大100倍。然而，在下一代超級(jí)計(jì)算機(jī)中不太可能出現(xiàn)這種情況。每個(gè)計(jì)算節(jié)點(diǎn)的處理器數(shù)量將增加，但每個(gè)處理器的內(nèi)存和計(jì)算節(jié)點(diǎn)的數(shù)量將保持不變。

新算法的突破

在神經(jīng)信息學(xué)前沿中發(fā)表的突破是在超級(jí)計(jì)算機(jī)中構(gòu)建神經(jīng)網(wǎng)絡(luò)的一種新方法。由于算法，每個(gè)節(jié)點(diǎn)上所需的內(nèi)存不再隨網(wǎng)絡(luò)大小而增加。在模擬開(kāi)始時(shí)，新技術(shù)允許節(jié)點(diǎn)交換有關(guān)誰(shuí)需要向其發(fā)送神經(jīng)元活動(dòng)數(shù)據(jù)的信息。一旦獲得該知識(shí)，就可以組織節(jié)點(diǎn)之間的神經(jīng)元活動(dòng)數(shù)據(jù)的交換，使得節(jié)點(diǎn)僅接收其所需的信息。不再需要網(wǎng)絡(luò)中每個(gè)神經(jīng)元的附加位。

有益的副作用

在測(cè)試他們的新想法時(shí)，科學(xué)家們提出了另一個(gè)重要的見(jiàn)解，Susanne Kunkel報(bào)告說(shuō)：“在分析新算法時(shí)，我們意識(shí)到我們的新技術(shù)不僅可以在exascale系統(tǒng)上進(jìn)行模擬，而且還可以在目前可用的超級(jí)計(jì)算機(jī)上更快地進(jìn)行模擬“。

事實(shí)上，隨著內(nèi)存消耗現(xiàn)在得到控制，模擬速度成為進(jìn)一步技術(shù)發(fā)展的主要焦點(diǎn)。例如，在Jülich的超級(jí)計(jì)算機(jī)JUQUEEN上運(yùn)行的5.8萬(wàn)億個(gè)突觸連接的0.52億個(gè)神經(jīng)元的大型模擬以前需要28.5分鐘來(lái)計(jì)算一秒的生物時(shí)間。通過(guò)改進(jìn)的數(shù)據(jù)結(jié)構(gòu)模擬，時(shí)間縮短為5.2分鐘。

“利用這項(xiàng)新技術(shù)，我們可以比以前更好地利用現(xiàn)代微處理器的并行性，這在億億次級(jí)計(jì)算機(jī)中將變得更加重要，”該研究的第一作者，來(lái)自ForschungszentrumJülich的評(píng)論說(shuō)。

Markus Diesmann補(bǔ)充說(shuō)：“exascale硬件和適當(dāng)?shù)能浖慕Y(jié)合帶來(lái)了對(duì)大腦功能的基本方面的研究，比如塑性和學(xué)習(xí)在我們能夠?qū)崿F(xiàn)的生物學(xué)時(shí)間內(nèi)展開(kāi)。”

通過(guò)模擬軟件NEST 的下一個(gè)版本之一，研究人員將把他們的成就作為開(kāi)源免費(fèi)提供給社區(qū)。

“我們一直在使用NEST模擬K計(jì)算機(jī)上健康和帕金森病的基底神經(jīng)節(jié)回路的復(fù)雜動(dòng)態(tài)。我們很高興聽(tīng)到新一代NEST的消息，這將使我們能夠運(yùn)行全腦 - 在K后計(jì)算機(jī)上進(jìn)行尺度模擬，以闡明運(yùn)動(dòng)控制和心理功能的神經(jīng)機(jī)制，“沖繩科學(xué)技術(shù)研究所(OIST)的Kenji Doya說(shuō)。

“這項(xiàng)研究是建立百億億次計(jì)算機(jī)的國(guó)際合作的一個(gè)很好的例子。重要的是我們準(zhǔn)備好應(yīng)用程序，從可用的第一天就可以使用這些珍貴的機(jī)器，”RIKEN高級(jí)研究所的Mitsuhisa Sato總結(jié)道。神戶(hù)計(jì)算機(jī)科學(xué)專(zhuān)業(yè)。