芯片設計大大減少了用光計算所需的能量

麻省理工學院的研究人員開發(fā)出一種新型“光子”芯片，它使用光而不是電 - 并且在此過程中消耗相對較少的功率。該芯片可用于處理大規(guī)模神經(jīng)網(wǎng)絡的效率比現(xiàn)有的計算機高出數(shù)百萬倍。

神經(jīng)網(wǎng)絡是機器學習模型，廣泛用于諸如機器人對象識別，自然語言處理，藥物開發(fā)，醫(yī)學成像和為無人駕駛汽車供電等任務。使用光學現(xiàn)象加速計算的新型光學神經(jīng)網(wǎng)絡可以比其電子對應物更快更有效地運行。

但隨著傳統(tǒng)和光學神經(jīng)網(wǎng)絡變得越來越復雜，它們消耗了大量的能量。為了解決這個問題，研究人員和主要技術公司 - 包括谷歌，IBM和特斯拉 - 開發(fā)了“AI加速器”專用芯片，可提高培訓和測試神經(jīng)網(wǎng)絡的速度和效率。

對于電氣芯片，包括大多數(shù)AI加速器，存在理論上的能耗最小限制。最近，麻省理工學院的研究人員開始開發(fā)用于光學神經(jīng)網(wǎng)絡的光子加速器。這些芯片更有效地執(zhí)行數(shù)量級，但它們依賴于一些龐大的光學組件，這些組件限制了它們在相對較小的神經(jīng)網(wǎng)絡中的使用。

在物理評論X 發(fā)表的 一篇論文中 ，麻省理工學院的研究人員描述了一種新的光子加速器，它使用更緊湊的光學元件和光信號處理技術，大大降低了功耗和芯片面積。這使得芯片能夠擴展到比其對應物大幾個數(shù)量級的神經(jīng)網(wǎng)絡。

在MNIST圖像分類數(shù)據(jù)集上對神經(jīng)網(wǎng)絡進行模擬訓練表明，加速器理論上可以處理神經(jīng)網(wǎng)絡超過傳統(tǒng)電子加速器能耗限制1000萬倍以上，比光子加速器極限低1000倍。研究人員正在研究原型芯片，以實驗證明結果。

“人們正在尋找可以計算超出能源消耗基本限制的技術，”電子研究實驗室的博士后Ryan Hamerly說。“光子加速器很有前途......但我們的動機是建立一個可以擴展到大型神經(jīng)網(wǎng)絡的[光子加速器]。”

這些技術的實際應用包括減少數(shù)據(jù)中心的能耗。“對于運行大型神經(jīng)網(wǎng)絡的數(shù)據(jù)中心的需求不斷增長，隨著需求的增長，它在計算上越來越難以處理，”共同作者，電子研究實驗室的研究生Alexander Sludds說。其目標是“通過神經(jīng)網(wǎng)絡硬件來滿足計算需求......以解決能耗和延遲的瓶頸問題。”

加入Sludds和Hamerly的論文是：合著者，研究生Liane Bernstein，研究生; 麻省理工學院物理學教授Marin Soljacic; 和Dirk Englund，麻省理工學院電氣工程和計算機科學副教授，RLE研究員，量子光子實驗室負責人。

設計緊湊

神經(jīng)網(wǎng)絡通過包含互連節(jié)點(稱為“神經(jīng)元”)的許多計算層處理數(shù)據(jù)，以查找數(shù)據(jù)中的模式。神經(jīng)元從其上游鄰居接收輸入并計算輸出信號，該輸出信號被發(fā)送到更下游的神經(jīng)元。每個輸入也被賦予“權重”，該值基于其對所有其他輸入的相對重要性。隨著數(shù)據(jù)通過層“更深”地傳播，網(wǎng)絡逐漸學習更復雜的信息。最后，輸出層基于整個層的計算生成預測。

所有AI加速器都旨在減少在神經(jīng)網(wǎng)絡中特定線性代數(shù)步驟期間處理和移動數(shù)據(jù)所需的能量，稱為“矩陣乘法”。在那里，神經(jīng)元和權重被編碼到行和列的單獨表中，然后組合計算產(chǎn)出。

在傳統(tǒng)的光子加速器中，編碼有關于層中每個神經(jīng)元的信息的脈沖激光流入波導并通過分束器。產(chǎn)生的光信號被饋送到方形光學元件的網(wǎng)格中，稱為“Mach-Zehnder干涉儀”，其被編程以執(zhí)行矩陣乘法。利用關于每個權重的信息編碼的干涉儀使用信號干擾技術來處理光信號和權重值以計算每個神經(jīng)元的輸出。但是存在縮放問題：對于每個神經(jīng)元，必須有一個波導，并且對于每個重量，必須有一個干涉儀。由于重量的數(shù)量與神經(jīng)元的數(shù)量成正比，那些干涉儀占用了大量的空間。

“你很快意識到輸入神經(jīng)元的數(shù)量永遠不會超過100左右，因為你不能在芯片上安裝那么多組件，”哈默利說。“如果你的光子加速器每層不能處理超過100個神經(jīng)元，那么就很難將大型神經(jīng)網(wǎng)絡應用到該架構中。”

研究人員的芯片依賴于更緊湊，節(jié)能的“光電”方案，該方案利用光信號對數(shù)據(jù)進行編碼，但使用“平衡零差檢測”進行矩陣乘法。這是一種在計算兩個光信號的幅度(波高)的乘積之后產(chǎn)生可測量的電信號的技術。

利用關于每個神經(jīng)網(wǎng)絡層的輸入和輸出神經(jīng)元的信息編碼的光脈沖(其是訓練網(wǎng)絡所需的)流過單個信道。用矩陣乘法表中的整行權重信息編碼的單獨脈沖流過單獨的信道。攜帶神經(jīng)元和重量數(shù)據(jù)的光信號扇出到零差光電探測器的網(wǎng)格。光電探測器使用信號的幅度來計算每個神經(jīng)元的輸出值。每個探測器將每個神經(jīng)元的電輸出信號饋入調(diào)制器，調(diào)制器將信號轉換回光脈沖。該光信號成為下一層的輸入，依此類推。

該設計每個輸入和輸出神經(jīng)元只需要一個通道，并且只有與神經(jīng)元一樣多的零差光電探測器，而不是重量。因為神經(jīng)元總是遠遠少于重量，這節(jié)省了大量空間，因此芯片能夠擴展到每層超過一百萬個神經(jīng)元的神經(jīng)網(wǎng)絡。

找到最佳點

對于光子加速器，信號中存在不可避免的噪聲。饋入芯片的光越多，噪聲越小，精度越高 - 但效率卻相當?shù)汀］^少的輸入光會提高效率，但會對神經(jīng)網(wǎng)絡的性能產(chǎn)生負面影響。但伯恩斯坦說，這里有一個“最佳點”，它使用最小的光功率，同時保持準確性。

AI加速器的最佳位置是以執(zhí)行單個兩個數(shù)乘法運算所需的焦耳量來衡量的 - 例如在矩陣乘法期間?，F(xiàn)在，傳統(tǒng)的加速器以皮焦耳或千萬億焦耳來衡量。光子加速器以attojoules測量，效率高出一百萬倍。

在他們的模擬中，研究人員發(fā)現(xiàn)他們的光子加速器可以以低于焦耳的效率運行。“在失去準確性之前，你可以發(fā)送一些最小的光功率。我們的芯片的基本限制比傳統(tǒng)的加速器低得多......并且低于其他光子加速器，“伯恩斯坦說。