以超過56倍的NVIDIA V100尺寸迎接Cerebras WSE

雖然我們友好的芯片巨頭正在爭奪兩位數(shù)的性能提升，但是一家名為Cerebras Systems的初創(chuàng)公司已經(jīng)展示了一款原型，與目前最好的芯片：NVIDIA V100相比，它提供了絕對令人難以置信的晶體管數(shù)量增加5600%。這家初創(chuàng)公司將晶體管數(shù)量從211億增加到2.1萬億，成功解決了其他人無法做到的關(guān)鍵技術(shù)挑戰(zhàn)，從而成為世界上第一個晶圓級處理器。

Cerebras Systems的晶圓級引擎(WSE)：世界首個萬億級晶體管計(jì)數(shù)芯片

Cerebras Wafer Scale Engine是世界上第一款晶圓級處理器。您可能想知道為什么沒有其他人做過如此明顯的事情，原因是跨劃線通信的關(guān)鍵技術(shù)挑戰(zhàn)從未被其他任何人克服過。請參閱，目前的光刻設(shè)備旨在蝕刻晶圓上的微小處理器;他們不能在晶圓上制造整個處理器。這意味著劃線將以某種方式存在，并且各個塊必須能夠以某種方式跨越這些線進(jìn)行通信，這就是Cerebras已經(jīng)解決的能夠聲稱第一萬億晶體管數(shù)處理器的寶座。

Cerebras WSE占地面積46,225mm²，擁有1.2萬億個晶體管。所有內(nèi)核均針對AI工作負(fù)載進(jìn)行了優(yōu)化，芯片功耗高達(dá)15 KW。由于所有這些動力也需要冷卻，因此該冷卻系統(tǒng)需要與其動力系統(tǒng)一樣具有革命性?；谒麄儗Υ怪崩鋮s的評論，我認(rèn)為一個帶有快速移動的氟利昂的浸入式冷卻系統(tǒng)可能是唯一可以馴服這種野獸的東西。電力系統(tǒng)也需要非常強(qiáng)大。根據(jù)Cerebras的說法，該芯片比傳統(tǒng)系統(tǒng)快1000倍，因?yàn)橥ㄐ趴梢栽趧澗€上發(fā)生，而不是跳過環(huán)(互連，DIMM等)。

WSE包含400,000個稀疏線性代數(shù)(SLA)內(nèi)核。每個核心都是靈活的，可編程的，并針對支撐大多數(shù)神經(jīng)網(wǎng)絡(luò)的計(jì)算進(jìn)行了優(yōu)化?？删幊绦源_保內(nèi)核可以在不斷變化的機(jī)器學(xué)習(xí)領(lǐng)域中運(yùn)行所有算法。WSE上的400,000個核心通過Swarm通信結(jié)構(gòu)連接在一個帶有100 Pb / s帶寬的2D網(wǎng)格中。Swarm是一種巨大的片上通信結(jié)構(gòu)，可提供突破性帶寬和低延遲，而功耗僅為用于集成圖形處理單元的傳統(tǒng)技術(shù)的一小部分。它完全可配置;軟件配置WSE上的所有核心，以支持培訓(xùn)用戶指定模型所需的精確通信。對于每個神經(jīng)網(wǎng)絡(luò)，Swarm提供獨(dú)特且優(yōu)化的通信路徑。

WSE具有18 GB的片上存儲器，可在單個時鐘周期內(nèi)訪問，并提供9 PB / s的存儲器帶寬。與領(lǐng)先的競爭對手相比，這是3000倍的容量和10,000倍的帶寬。更多內(nèi)核，更多本地內(nèi)存可實(shí)現(xiàn)快速，靈活的計(jì)算，更低的延遲和更少的能源。

這將允許AI應(yīng)用程序的大規(guī)模加速，并將訓(xùn)練時間從幾個月減少到幾個小時。這是真正的革命性，毫無疑問，假設(shè)他們能夠履行承諾并盡快開始向客戶提供。Cerebras WSE采用他們的16nm工藝在臺積電300mm晶圓上制造，這意味著這是最先進(jìn)的技術(shù)，只有NVIDIA等巨頭背后的一個節(jié)點(diǎn)。當(dāng)然，由于84個互連的模塊可容納超過400,000個核心，因此制造的過程無關(guān)緊要。

Cerebras WSE的產(chǎn)量和分級將非常有趣。例如，如果您將整個晶圓用作芯片，如果設(shè)計(jì)可以吸收缺陷，您將獲得100%的產(chǎn)量，如果不能，則要獲得0%。很明顯，由于原型制造，該設(shè)計(jì)能夠吸收缺陷。事實(shí)上，首席執(zhí)行官表示，設(shè)計(jì)預(yù)計(jì)功能表面區(qū)域的缺陷約為1%至1.5%，微架構(gòu)只需重新配置可用內(nèi)核。此外，冗余核心放置在整個芯片中，以最大限度地降低性能損失。目前沒有關(guān)于裝箱的信息，但不言而喻，這是世界上最容易裝箱的設(shè)計(jì)。

我們還被告知，該公司必須設(shè)計(jì)自己的制造和包裝科學(xué)，因?yàn)槟壳皼]有任何工具可用于處理晶圓級處理器。不僅如此，必須重寫軟件以在單個處理器中處理超過1萬億個晶體管。Cerebras Systems顯然是一家擁有令人難以置信的潛力的公司，看到他們在Hot Chips引起的飛濺，我們迫不及待地想看看這些Wafer Scale Engines的一些測試結(jié)果。