一種超維計算系統(tǒng)，可在內(nèi)存中執(zhí)行所有核心計算

超維計算(HDC)是一種新興的計算方法，受到人腦神經(jīng)活動模式的啟發(fā)。這種獨(dú)特的計算類型可以使人工智能系統(tǒng)根據(jù)以前遇到的數(shù)據(jù)或場景保留內(nèi)存并處理新信息。

過去開發(fā)的大多數(shù)HDC系統(tǒng)只能在特定任務(wù)上表現(xiàn)出色，例如自然語言處理(NLP)或時間序列問題。在《自然電子》上發(fā)表的一篇論文中，蘇黎世IBM研究中心和蘇黎世聯(lián)邦理工學(xué)院的研究人員介紹了一種新的HDC系統(tǒng)，該系統(tǒng)可以在內(nèi)存中執(zhí)行所有核心計算，并且可以應(yīng)用于各種任務(wù)。

這項研究的兩位主要研究人員Abu Sebastian和Abbas Rahimi對TechXplore說：“我們的工作是由內(nèi)存計算和超維計算這兩個概念之間的自然契合開始的。”“在蘇黎世的IBM研究中心，我們一直在開發(fā)基于相變存儲器(PCM)的內(nèi)存計算平臺，而在蘇黎世聯(lián)邦理工學(xué)院，我們一直在探索一種大腦啟發(fā)的計算范例，稱為超維計算。”

研究人員在過去的工作中觀察到，HDC涉及的主要操作，即編碼和關(guān)聯(lián)內(nèi)存搜索，都涉及對系統(tǒng)內(nèi)存中大型分布模式的操縱和比較。由于此特性，可以使用PCM交叉開關(guān)陣列有效地制造這些系統(tǒng)，從而實(shí)現(xiàn)模擬內(nèi)存計算的優(yōu)勢。

塞巴斯蒂安和拉希米解釋說：“這種量身定制的組合不僅避免了馮·諾伊曼的瓶頸(又名記憶墻)，而且還顯著提高了能源效率以及對可，噪聲和故障的魯棒性。”“大約兩年前，這一發(fā)現(xiàn)促使我們在ETH和IBM之間朝這個方向發(fā)起了一項聯(lián)合研究。”

為了對神經(jīng)活動模式進(jìn)行建模，HDC系統(tǒng)使用豐富的代數(shù)，該代數(shù)定義了一組規(guī)則來構(gòu)建，綁定和捆綁不同的超向量。超向量是具有獨(dú)立且分布相同的分量的全息10,000維(偽)隨機(jī)向量。通過使用這些超向量，HDC可以創(chuàng)建功能強(qiáng)大的計算系統(tǒng)，該系統(tǒng)可用于完成復(fù)雜的認(rèn)知任務(wù)，例如對象檢測，語言識別，語音和視頻分類，時間序列分析，文本分類和分析推理。

Sebastian，Rahimi及其同事在論文中提出了一個完整的內(nèi)存HDC系統(tǒng)，該系統(tǒng)可以處理各種任務(wù)。他們的系統(tǒng)有兩個關(guān)鍵組成部分：HDC編碼器和關(guān)聯(lián)存儲器。

Sebastian和Rahimi說：“我們的系統(tǒng)通過憶阻器件上的邏輯和點(diǎn)積運(yùn)算在內(nèi)存中執(zhí)行核心計算。”“由于HDC固有的魯棒性，有可能近似于與HDC相關(guān)的數(shù)學(xué)運(yùn)算，使其適合于硬件實(shí)現(xiàn)，并在不影響精度的情況下使用模擬內(nèi)存計算。”

過去開發(fā)的大多數(shù)內(nèi)存HDC體系結(jié)構(gòu)僅適用于有限的任務(wù)集，例如單語言識別或二進(jìn)制分類任務(wù)。此外，這些系統(tǒng)主要在仿真中進(jìn)行了評估，并使用了基于小型原型的緊湊型模型，帶有少量電阻裝置。

相比之下，由Sebastian和Rahimi開發(fā)的系統(tǒng)利用了700,000多個PCM設(shè)備。因此，它可以說是迄今為止提供的最大內(nèi)存內(nèi)HDC實(shí)驗演示之一。

該原型是最早被編程為支持不同的超向量表示，尺寸以及輸入符號和輸出類別的HDC系統(tǒng)之一。這使其適用于從NLP到新聞分類和生物信號處理的多種應(yīng)用。

塞巴斯蒂安和拉希米說：“我們的工作通過在嘈雜的硬件基板上執(zhí)行各種分類任務(wù)，同時達(dá)到與精確軟件實(shí)現(xiàn)相當(dāng)?shù)臏?zhǔn)確性，真正證明了模擬內(nèi)存計算的潛在優(yōu)勢。”“這種強(qiáng)大的模擬內(nèi)存計算是通過對數(shù)據(jù)表示，具有優(yōu)美近似值的關(guān)聯(lián)操作以及自然使它們能夠?qū)崿F(xiàn)的材料和基底提供新穎的外觀來實(shí)現(xiàn)的。”

研究人員通過一系列實(shí)驗對系統(tǒng)進(jìn)行了評估，測試了它們在AI技術(shù)通常解決的三個任務(wù)上的性能，這些任務(wù)是基于肌電信號分析的語言分類，新聞分類和手勢識別。在所有這些任務(wù)中，他們的HDC系統(tǒng)在任務(wù)的復(fù)雜性和分類精度之間實(shí)現(xiàn)了接近最佳的權(quán)衡。Sebastian，Rahimi及其同事使用760,000個相變存儲設(shè)備測試了他們的系統(tǒng)，該設(shè)備執(zhí)行了模擬內(nèi)存計算過程，發(fā)現(xiàn)該系統(tǒng)實(shí)現(xiàn)了與流行軟件技術(shù)類似的精度。

“我們通過實(shí)驗證明，與基于65納米CMOS技術(shù)的優(yōu)化數(shù)字系統(tǒng)相比，使用基于PCM的內(nèi)存計算的HDC平臺可以節(jié)省600%的能源。”

將來，在最近的這項研究中引入的HDC系統(tǒng)將可以創(chuàng)建具有高級存儲功能的新技術(shù)，從而可以完成許多不同的分類任務(wù)。該系統(tǒng)很快將在各種實(shí)際環(huán)境中實(shí)施和測試，這將使研究人員可以進(jìn)一步評估其性能。

塞巴斯蒂安和拉希米說：“在我們的HDC體系結(jié)構(gòu)中，信息的編碼和內(nèi)存的存儲在構(gòu)造上是分開的過程。”“最近在現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)中，人們認(rèn)識到這種關(guān)鍵的解開關(guān)系，以使它們擺脫災(zāi)難性的遺忘，并能實(shí)現(xiàn)短時學(xué)習(xí)和終身保留。我們的架構(gòu)和表示系統(tǒng)將在下一代AI的開發(fā)中發(fā)揮核心作用。提供可以快速學(xué)習(xí)的系統(tǒng)，在整個生命周期中保留信息，即使使用正確的材料和基材也可以有效地做到這一點(diǎn)。”