使用的能量少10倍來訓練深度神經(jīng)網(wǎng)絡

賴斯大學的“早起的鳥兒”對蠕蟲的關(guān)心較少。它正在尋找數(shù)百萬噸的溫室氣體排放量。

Early Bird是一種用于培訓深度神經(jīng)網(wǎng)絡(DNN)，無人駕駛汽車，智能助手，面部識別和許多其他高科技應用背后的人工智能(AI)形式的節(jié)能方法。

賴斯大學和得克薩斯州農(nóng)工大學的研究人員于4月29日在國際學習代表大會ICLR 2020上的聚焦論文中宣布了《早起的鳥兒》。賴斯高效智能計算(EIC)實驗室的主要作者尤浩然和李朝建的一項研究表明，“早起的鳥兒”可以將DNN訓練到相同的準確性水平，或者比典型訓練更好地消耗了10.7倍的能量。EIC實驗室的負責人Lin Yingyan和Rice的Richard Baraniuk和Texas A&M的Zhangyang Wang共同領(lǐng)導了這項研究。

Lin說：“最近AI突破的主要動力是引入更大，更昂貴的DNN。”“但是培訓這些DNN需要大量的精力。要揭示更多的創(chuàng)新，必須找到既能解決環(huán)境問題又能減少AI研究的財務障礙的'綠色'培訓方法。”

培訓最先進的DNN不僅成本高昂，而且成本越來越高。一個2019年的研究由艾倫研究所AI在西雅圖發(fā)現(xiàn)，培養(yǎng)第一流的所需的計算數(shù)量深層神經(jīng)網(wǎng)絡增加了30萬次二〇一二年至2018年之間，以及不同的2019研究在麻省大學的研究人員發(fā)現(xiàn)，碳訓練單個精英DNN的足跡大約等于五輛汽車的終身二氧化碳排放量。

DNN包含數(shù)百萬甚至數(shù)十億個學會執(zhí)行特定任務的人工神經(jīng)元。無需任何明確的編程，人造神經(jīng)元的深層網(wǎng)絡就可以通過“研究”大量先前的示例來學習做出類似于人的決策，甚至勝過人類專家。例如，如果DNN研究貓和狗的照片，它就會學會識別貓和狗。經(jīng)過深入研究的棋盤游戲Go深度網(wǎng)絡AlphaGo在研究了成千上萬的先前玩過的游戲之后，在2015年擊敗了職業(yè)人類玩家。

賴斯布朗工程學院的電氣和計算機工程助理教授林說：“進行DNN培訓的最先進方法稱為漸進式修剪和培訓。”“首先，您要訓練密集的大型網(wǎng)絡，然后刪除不重要的部分(例如修剪樹)。然后，對修剪的網(wǎng)絡進行重新培訓以恢復性能，因為修剪后性能會下降。實際上，您需要修剪和重新訓練多次獲得良好的性能。”

修剪是可能的，因為網(wǎng)絡中只有一小部分人造神經(jīng)元可以潛在地完成專門任務的工作。訓練會加強必要神經(jīng)元之間的聯(lián)系，并揭示哪些神經(jīng)元可以被修剪掉。修剪可減少模型大小和計算成本，使部署經(jīng)過全面培訓的DNN更加經(jīng)濟實惠，尤其是在內(nèi)存和處理能力有限的小型設備上。

林說：“第一步，訓練密集，龐大的網(wǎng)絡是最昂貴的。”“我們在這項工作中的想法是在這個昂貴的第一步的開始階段，確定最終的，功能齊全的修剪網(wǎng)絡，我們將其稱為“早鳥票”。

通過在訓練的早期階段尋找關(guān)鍵的網(wǎng)絡連接模式，Lin和同事們既發(fā)現(xiàn)了早鳥票的存在，又使用它們簡化了DNN訓練。在對各種基準數(shù)據(jù)集和DNN模型進行的實驗中，Lin及其同事發(fā)現(xiàn)，“早起的鳥兒”在訓練初期可能只出現(xiàn)十分之一或更少的時間。

林說：“我們的方法可以在密集的巨型網(wǎng)絡訓練的前10%或更少的時間內(nèi)自動識別早鳥票。”“這意味著您可以訓練DNN，以給定任務在大約傳統(tǒng)訓練所需時間的10%或更少的時間內(nèi)達到相同或什至更好的精度，這可以節(jié)省大量的計算和能源。”

開發(fā)使AI更環(huán)保的技術(shù)是Lin團隊的主要重點。關(guān)注環(huán)境是主要動機，但林說有很多好處。

她說：“我們的目標是使AI更加環(huán)保，更具包容性。”“復雜的AI問題的龐大規(guī)模使較小的參與者望而卻步。綠色AI可以打開大門，使研究人員可以用筆記本電腦或有限的計算資源來探索AI創(chuàng)新。”