一種減少?gòu)?fù)發(fā)神經(jīng)網(wǎng)絡(luò)中神經(jīng)元數(shù)量的方法

加拿大皇后大學(xué)的一個(gè)研究小組最近提出了一種縮小隨機(jī)遞歸神經(jīng)網(wǎng)絡(luò)(rRNN)的新方法，這是一類人工神經(jīng)網(wǎng)絡(luò)，通常用于根據(jù)數(shù)據(jù)進(jìn)行預(yù)測(cè)。他們的方法在預(yù)先發(fā)布在arXiv上的論文中提出，允許開(kāi)發(fā)人員最小化rRNN隱藏層中的神經(jīng)元數(shù)量，從而提高其預(yù)測(cè)性能。

“我們的實(shí)驗(yàn)室專注于為人工智能應(yīng)用設(shè)計(jì)硬件，”進(jìn)行這項(xiàng)研究的研究人員之一Bicky Marquez告訴TechXplore。“在這項(xiàng)研究中，我們一直在尋找理解神經(jīng)網(wǎng)絡(luò)運(yùn)行原理的策略，同時(shí)嘗試減少我們打算構(gòu)建的網(wǎng)絡(luò)中的神經(jīng)元數(shù)量，而不會(huì)在解決任務(wù)時(shí)對(duì)其性能產(chǎn)生負(fù)面影響。我們要解決的主要任務(wù)是預(yù)測(cè)，因?yàn)檫@一直是科學(xué)界和整個(gè)社會(huì)的極大興趣。“

開(kāi)發(fā)可以從數(shù)據(jù)預(yù)測(cè)未來(lái)模式的機(jī)器學(xué)習(xí)工具已成為全球眾多研究團(tuán)隊(duì)關(guān)注的焦點(diǎn)。這遠(yuǎn)非令人驚訝，因?yàn)轭A(yù)測(cè)未來(lái)事件可能在各個(gè)領(lǐng)域具有重要應(yīng)用，例如，預(yù)測(cè)天氣，預(yù)測(cè)庫(kù)存移動(dòng)或繪制某些人類病理的演變。

Marquez及其同事進(jìn)行的研究具有跨學(xué)科性質(zhì)，因?yàn)樗诤狭伺c非線性動(dòng)力系統(tǒng)，時(shí)間序列分析和機(jī)器學(xué)習(xí)相關(guān)的理論。研究人員的主要目標(biāo)是擴(kuò)展以前可用于神經(jīng)網(wǎng)絡(luò)分析的工具包，最小化隱藏的rRNN層中的神經(jīng)元數(shù)量，并部分消除這些網(wǎng)絡(luò)的黑盒屬性。

為實(shí)現(xiàn)這一目標(biāo)，他們引入了一種新方法，將預(yù)測(cè)理論和機(jī)器學(xué)習(xí)融合到一個(gè)框架中。他們的技術(shù)可用于提取和使用rNN輸入數(shù)據(jù)的相關(guān)特征，并指導(dǎo)其隱藏層的縮小過(guò)程，最終提高其預(yù)測(cè)性能。

研究人員利用他們研究中收集的見(jiàn)解開(kāi)發(fā)了一種名為Takens靈感處理器的新型人工神經(jīng)網(wǎng)絡(luò)模型。該模型由真實(shí)和虛擬神經(jīng)元組成，在諸如高質(zhì)量，長(zhǎng)期預(yù)測(cè)混沌信號(hào)等挑戰(zhàn)性問(wèn)題上實(shí)現(xiàn)了最先進(jìn)的性能。

“我們模型的主要優(yōu)勢(shì)在于它解決了構(gòu)成典型人工神經(jīng)網(wǎng)絡(luò)的大量神經(jīng)元所產(chǎn)生的問(wèn)題，”Marquez解釋說(shuō)。“當(dāng)考慮優(yōu)化這種網(wǎng)絡(luò)來(lái)解決任務(wù)時(shí)，這些模型中過(guò)多的神經(jīng)元通常會(huì)轉(zhuǎn)化為計(jì)算上昂貴的問(wèn)題。在我們的設(shè)計(jì)中包含虛擬神經(jīng)元的概念是減少物理量的一個(gè)非常方便的步驟。神經(jīng)元“。

在他們的研究中，Marquez和她的同事們還使用他們的混合處理器來(lái)穩(wěn)定神經(jīng)元興奮性的心律失常神經(jīng)模型，稱為Fitz-Hugh-Nagumo。與其他標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)相比，他們的方法允許他們將穩(wěn)定神經(jīng)網(wǎng)絡(luò)的大小縮小15倍。

“我們的方法使我們能夠發(fā)現(xiàn)在網(wǎng)絡(luò)空間內(nèi)創(chuàng)建的一些相關(guān)特征，這些特征是成功預(yù)測(cè)的基本代理，”Marquez說(shuō)。“如果我們能夠識(shí)別并消除這些重要功能周圍的噪音，我們就可以使用它們來(lái)提高我們網(wǎng)絡(luò)的性能。”

Marquez及其同事設(shè)計(jì)的方法是以前可用于rRNN開(kāi)發(fā)和分析工具的重要補(bǔ)充。將來(lái)，他們的方法可以為更有效的預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)提供信息，減少其中包含的節(jié)點(diǎn)和連接數(shù)量。他們的技術(shù)還可以使rRNN更加透明，允許用戶訪問(wèn)關(guān)于系統(tǒng)如何達(dá)到給定結(jié)論的關(guān)鍵洞察力。

“我們專注于神經(jīng)形態(tài)硬件，”馬克斯說(shuō)。“因此，我們接下來(lái)的步驟將與這種隨機(jī)循環(huán)網(wǎng)絡(luò)的物理實(shí)現(xiàn)相關(guān)。我們的最終目標(biāo)是設(shè)計(jì)能夠非常有效地解決人工智能問(wèn)題的大腦啟發(fā)計(jì)算機(jī)：超快速和低能耗。”