CerebrasCS2處理器可擴(kuò)展至1.63億個(gè)內(nèi)核以擊敗人腦的復(fù)雜性

具有 850,000 個(gè)內(nèi)核的單個(gè) CS-2 芯片現(xiàn)在可以處理 120 萬(wàn)億個(gè)參數(shù) AI 模型，這些模型比擁有 100 萬(wàn)億個(gè)突觸的人腦更復(fù)雜。通過(guò)引入配備高達(dá) 2.4 PB 閃存 + DRAM 內(nèi)存的 MemoryX 機(jī)柜，這成為可能，而且 Cerebras 還提供了一個(gè)擴(kuò)展解決方案，允許多達(dá) 192 個(gè)基于 CS-2 的系統(tǒng)通過(guò) SwarmX 結(jié)構(gòu)互連以實(shí)現(xiàn)總計(jì)1.632億核心處理能力。

Cerebras Systems 以世界上最大的處理器而聞名，每個(gè)芯片集成了數(shù)十萬(wàn)個(gè)內(nèi)核。這些內(nèi)核不是我們現(xiàn)在在計(jì)算機(jī)處理器中看到的常見 X86 內(nèi)核。相反，它們是類似于 Nvidia 的 Tensor 核心的 AI 優(yōu)化核心，因此這些芯片旨在處理可與人腦的復(fù)雜性相媲美的復(fù)雜計(jì)算模型。現(xiàn)在，Cerebras CS-2目前保持世界上最大和最快單芯片處理器記錄的處理器是幾年前推出的，但該公司一直致力于提高其吞吐量，現(xiàn)在能夠提供基于 CS-2 的系統(tǒng)可以處理 120 萬(wàn)億個(gè)參數(shù)的 AI 模型，理論上擊敗了可以激發(fā) 100 萬(wàn)億個(gè)突觸的人腦。作為參考，當(dāng)前的超級(jí)計(jì)算機(jī) GPU 集群最高可達(dá) 1 萬(wàn)億個(gè)參數(shù)。

顯然，具有 850,000 個(gè)內(nèi)核的單個(gè) CS-2 處理器現(xiàn)在可以擊敗人腦，但 Cerebras 還提供了一種擴(kuò)展解決方案，允許多達(dá) 192 個(gè) CS-2 系統(tǒng)串聯(lián)工作，并通過(guò)多達(dá) 162百萬(wàn)個(gè) AI 優(yōu)化內(nèi)核。CS-2 芯片有一塊大平板電腦那么大，是在臺(tái)積電的 7 nm 節(jié)點(diǎn)上生產(chǎn)的，具有 40 GB 的片上 SRAM。對(duì)于大腦級(jí)模型而言，這種內(nèi)存量是不夠的，因此 Cerebras 提出了外部 MemoryX 機(jī)柜，可提供更多內(nèi)存并在片外存儲(chǔ)模型參數(shù)，從而為模型本身釋放片上內(nèi)存。這種方法與新的 SwarmX Fabric 相結(jié)合，使 Cerebras 能夠在 192 個(gè) CS-2 系統(tǒng)中近乎線性地?cái)U(kuò)展性能。

SwarmX Fabric 在 PHY 級(jí)別集成以太網(wǎng)并壓縮數(shù)據(jù)以在多達(dá) 32 個(gè) CS-2 系統(tǒng)的現(xiàn)有節(jié)點(diǎn)之間更快地傳輸數(shù)據(jù)，每個(gè)節(jié)點(diǎn)的帶寬約為 1 Tb。所有 SwarmX Fabric 交換機(jī)都直接連接到 MemoryX 盒，該盒可以在閃存和 DRAM 的混合中支持高達(dá) 2.4 PB 的內(nèi)存。該盒子具有完整的內(nèi)存容量，能夠存儲(chǔ)多達(dá) 120 萬(wàn)億個(gè)參數(shù)。

這些系統(tǒng)很可能成本太高，以至于 Cerebras 的客戶名單中只包括、情報(bào)和科學(xué)實(shí)體，如阿貢實(shí)驗(yàn)室。