Cerebras推出人工智能超級(jí)計(jì)算機(jī)芯片

今天獨(dú)角獸創(chuàng)業(yè)公司Cerebras公布了一些關(guān)于晶圓級(jí)AI芯片的細(xì)節(jié)，它已經(jīng)保持了三年。盡管仍有許多懸而未決的問題，但新方法可能標(biāo)志著半導(dǎo)體行業(yè)的一個(gè)重要里程碑，其中芯片歷來受到單芯片掩模尺寸的限制。基本上，Cerebras設(shè)計(jì)了一個(gè)由84個(gè)互連芯片組成的晶圓，作為計(jì)算和存儲(chǔ)器的一個(gè)設(shè)備，通過超快速的片上結(jié)構(gòu)互連。雖然在芯片上構(gòu)建超級(jí)計(jì)算機(jī)聽起來像個(gè)好主意，但是建立一個(gè)晶圓級(jí)芯片陣列并不適合膽小的人才。

此外，如果Cerebras是正確的，AI可能只是晶圓級(jí)集成的開始; 應(yīng)用程序越來越需要比CPU更好的性能。例如，我認(rèn)為Cerebras的晶圓級(jí)方法可以完全改變高性能計(jì)算，如果它在完成第一個(gè)專注于AI的實(shí)現(xiàn)后將其注意力轉(zhuǎn)向浮點(diǎn)核心。

Cerebras由硬件架構(gòu)師Sean Lie和首席執(zhí)行官Andrew Feldman共同創(chuàng)立，他是微服務(wù)器創(chuàng)新者Sea Micro的前創(chuàng)始人兼首席執(zhí)行官(被收購 AMD 在2011年)。費(fèi)爾德曼先生的新創(chuàng)業(yè)公司目前擁有近200名工程師，其中許多是Sea Micro校友，已籌資超過1.2億美元，最近的估值為8.6億美元。雖然大多數(shù)AI半導(dǎo)體初創(chuàng)公司都致力于構(gòu)建更高效的核心陣列和片上存儲(chǔ)器，以進(jìn)行深度神經(jīng)網(wǎng)絡(luò)所需的矩陣和矢量處理，但Cerebras決定不再優(yōu)化數(shù)學(xué)。相反，它努力實(shí)現(xiàn)極端的可擴(kuò)展性。

如果您想知道是否確實(shí)需要這種性能水平，請(qǐng)考慮Google和NVIDIA最近發(fā)布的mlperf AI基準(zhǔn)測(cè)試使用耗資數(shù)千萬美元的AI超級(jí)計(jì)算機(jī)實(shí)現(xiàn)了約2小時(shí)的培訓(xùn)記錄。正如百度高級(jí)研究員Greg Daimos所說，“在非常大的數(shù)據(jù)集上訓(xùn)練大型模型需要數(shù)月或數(shù)年的關(guān)鍵路徑計(jì)算時(shí)間，這使得這些訓(xùn)練對(duì)現(xiàn)有系統(tǒng)中的任何現(xiàn)實(shí)問題都不切實(shí)際。”得出結(jié)論，該行業(yè)距離接近深度神經(jīng)網(wǎng)絡(luò)交互式訓(xùn)練的任何事物仍然是2-4個(gè)數(shù)量級(jí)。這符合Cerebras的目標(biāo)，即提供1000倍的最先進(jìn)的性能。與此同時(shí)，正在開發(fā)和培訓(xùn)的新網(wǎng)絡(luò)越來越復(fù)雜和深入。