IBM增加了噪音以提高人工智能在模擬存儲(chǔ)器上的準(zhǔn)確性

在本周發(fā)表在《自然通訊》(Nature Communications)雜志上的一項(xiàng)研究中，IBM位于瑞士蘇黎世的實(shí)驗(yàn)室的研究人員聲稱，他們已經(jīng)開發(fā)出一種技術(shù)，可以利用相變存儲(chǔ)器在機(jī)器學(xué)習(xí)工作負(fù)載上實(shí)現(xiàn)節(jié)能和高精度。通過使用基于電阻的存儲(chǔ)設(shè)備開發(fā)內(nèi)存計(jì)算方法，他們的方法結(jié)合了用于存儲(chǔ)和計(jì)算數(shù)據(jù)的隔間，在此過程中顯著降低了有功功率消耗。

許多現(xiàn)有的人工智能推斷裝置在物理上拆分了內(nèi)存和處理單元，導(dǎo)致人工智能模型被存儲(chǔ)在芯片外的內(nèi)存中。這增加了計(jì)算開銷，因?yàn)閿?shù)據(jù)必須在單元之間重新分配，這一過程會(huì)減慢處理速度并影響電力使用。IBM的技術(shù)表面上用相變存儲(chǔ)器解決了這些問題，相變存儲(chǔ)器是一種非易失性存儲(chǔ)器，比常用的閃存技術(shù)更快。這項(xiàng)工作，如果被證明是可擴(kuò)展的，可能會(huì)為強(qiáng)大的硬件鋪平道路，在無人機(jī)、機(jī)器人、移動(dòng)設(shè)備和其他計(jì)算受限設(shè)備上運(yùn)行人工智能。

正如IBM團(tuán)隊(duì)所解釋的，相變內(nèi)存設(shè)備的挑戰(zhàn)在于它往往會(huì)引入計(jì)算上的不精確性。這是因?yàn)樗诒举|(zhì)上是相似的;由于可和讀寫電導(dǎo)噪聲的影響，其精度受到限制。

本研究提出的解決方案需要在人工智能模型的軟件訓(xùn)練過程中加入額外的噪聲，以提高模型的彈性。結(jié)果表明它是成功的——在繪制了訓(xùn)練后的權(quán)值(即權(quán)重)后，在流行的CIFAR-19數(shù)據(jù)集上訓(xùn)練一個(gè)帶噪聲的ResNet模型的準(zhǔn)確率達(dá)到了93.7%，在ImageNet上的準(zhǔn)確率達(dá)到了71.6%。轉(zhuǎn)換輸入數(shù)據(jù)的參數(shù))到相變存儲(chǔ)器組件。此外，將特定模型的權(quán)值映射到原型芯片中的723444個(gè)相變存儲(chǔ)設(shè)備上后，一天內(nèi)的準(zhǔn)確率保持在92.6%以上。研究人員稱這是一項(xiàng)記錄。

為了進(jìn)一步提高隨時(shí)間推移的準(zhǔn)確性，該研究的合作者還開發(fā)了一種補(bǔ)償技術(shù)，在推理過程中周期性地修正激活函數(shù)(決定模型輸出的方程)。他們說，這使得硬件的準(zhǔn)確率提高到了93.5%。

與此同時(shí)，該團(tuán)隊(duì)嘗試使用模擬相變存儲(chǔ)組件訓(xùn)練機(jī)器學(xué)習(xí)模型。在一個(gè)混合精度的架構(gòu)下，他們報(bào)告說，他們?cè)O(shè)法在幾種小尺度模型上獲得了“軟件等效”的精度，包括多層感知器、卷積神經(jīng)網(wǎng)絡(luò)、長(zhǎng)-短期記憶網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)。最近發(fā)表在《神經(jīng)科學(xué)前沿》(Frontiers in Neuroscience)雜志上的一項(xiàng)研究詳細(xì)介紹了這些訓(xùn)練實(shí)驗(yàn)。

IBM在該領(lǐng)域的最新工作是引進(jìn)該公司用于人工智能培訓(xùn)的相變存儲(chǔ)芯片。在研究階段，公司的研究人員展示了該系統(tǒng)可以以電荷的形式存儲(chǔ)重量數(shù)據(jù)，每平方毫米的計(jì)算量是顯卡的100倍，而耗電量是顯卡的280倍。

IBM在一份聲明中表示:“在越來越多地向基于人工智能的技術(shù)過渡的時(shí)代，包括物聯(lián)網(wǎng)電池驅(qū)動(dòng)的設(shè)備和自動(dòng)駕駛汽車，這些技術(shù)將極大地受益于快速、低功率、可靠準(zhǔn)確的DNN推理引擎。”“我們?cè)谘芯恐兄贫ǖ牟呗燥@示，在實(shí)現(xiàn)精確的人工智能硬件加速器架構(gòu)方面有巨大的潛力，以一種節(jié)能的方式支持DNN培訓(xùn)和推斷。”