Nvidia推出具有高達(dá)20倍AI性能的Ampere GPU

Nvidia的第一款基于Ampere的圖形卡A100 GPU在826mm 2 的硅上封裝了540億個(gè)晶體管，成為世界上最大的7納米芯片。今天，在Nvidia首席執(zhí)行長(zhǎng)黃仁勛(Jensen Huang)的預(yù)先錄制的“廚房主題演講”中推出了Ampere架構(gòu)，該架構(gòu)沿襲了前輩Volta的腳步，一個(gè)巨型GPU開(kāi)啟了晶體管，AI專(zhuān)業(yè)化和整體性能的表盤(pán)。12nm Volta和7nm Ampere均由臺(tái)積電制造。

加上TensorFloat-32(TF32)張量核心，峰值單精度性能比哥哥的Volta(V100)理論上提高了10-20倍。HPC工作負(fù)載受益于峰值雙精度浮點(diǎn)性能提高250%，這歸功于用于HPC處理的新的符合IEEE的張量核心指令。

其他新功能包括：

•多實(shí)例GPU(又稱(chēng)MIG)，可將單個(gè)A100 GPU劃分為多達(dá)七個(gè)獨(dú)立的GPU。

•第三代Nvidia NVLink結(jié)構(gòu)，將GPU之間的高速連接性提高了一倍。

•結(jié)構(gòu)稀疏性，它在Tensor核心中引入了對(duì)稀疏矩陣運(yùn)算的支持，并將其加速了兩倍。

Ampere將Nvidia的單一通用GPU策略加倍，該策略是由支持HPC，AI和圖形的Volta架構(gòu)引入的。“在[使用Ampere A100]時(shí)，無(wú)需擁有一堆Volta GPU服務(wù)器，一堆T4 GPU服務(wù)器和CPU服務(wù)器，所有這些現(xiàn)在都可以在一個(gè)統(tǒng)一的Ampere服務(wù)器上運(yùn)行，”黃在為昨天的媒體。

Huang補(bǔ)充說(shuō)：“毫無(wú)疑問(wèn)，這是我們首次將整個(gè)數(shù)據(jù)中心的加速工作負(fù)載整合到一個(gè)平臺(tái)中。” “您知道，從視頻分析到圖像處理再到語(yǔ)音再到訓(xùn)練再到推理的一切，數(shù)據(jù)處理現(xiàn)在是一臺(tái)統(tǒng)一服務(wù)器。”

Huang在這里指的是今天也推出的新型DGX機(jī)器。DGX A100由八個(gè)A100 GPU供電，它們一起提供320GB的內(nèi)存和每秒12.4TB的帶寬。六個(gè)具有第三代NVLink結(jié)構(gòu)的NVSwitch連接GPU，每秒提供4.8TB的雙向帶寬。每個(gè)DGX 100系統(tǒng)都提供9個(gè)Mellanox ConnectX-6 200Gb / s網(wǎng)絡(luò)接口和15TB Gen4 NVMe存儲(chǔ)。

對(duì)于第三代“ DGX”，英偉達(dá)做出了另一項(xiàng)改變，只有昨天的簡(jiǎn)報(bào)或其他新聞材料沒(méi)有強(qiáng)調(diào)。最新的DGX取代了兩個(gè)Broadwell Intel Xeon，而是配備了兩個(gè)64核AMD Epyc Rome CPU。此舉可能預(yù)示著英偉達(dá)(Nvidia)會(huì)推遲英特爾正在涌現(xiàn)的GPU業(yè)務(wù)，或者可能是受AMD的性?xún)r(jià)比故事激勵(lì)。

現(xiàn)在還可以選擇Arm CPU選項(xiàng)，并且圍繞GPU加速的Arm正在進(jìn)行大量的開(kāi)發(fā)活動(dòng)，因此看到第四代DGX中的另一次CPU升級(jí)也就不足為奇了。Nvidia可以選擇Marvell或Ampere(hmm)的Arm服務(wù)器芯片，也可以決定采用全孔技術(shù)，并將內(nèi)部開(kāi)發(fā)的Arm CPU添加到其不斷增長(zhǎng)的堆棧中。

說(shuō)到Nvidia的堆棧-四年前通過(guò)宣布(現(xiàn)已完成)收購(gòu)Mellanox引入DGX-1，Nvidia避開(kāi)了系統(tǒng)制造商的稱(chēng)號(hào)，意識(shí)到與OEM合作伙伴的潛在沖突。這種不情愿似乎已經(jīng)減少。

Nvdia數(shù)據(jù)中心和云平臺(tái)產(chǎn)品管理總監(jiān)Paresh Kharya在同一場(chǎng)媒體發(fā)布會(huì)上表示：“我們開(kāi)發(fā)了垂直完全集成的系統(tǒng)，以開(kāi)拓計(jì)算機(jī)的新外形。” “我們也打開(kāi)了整個(gè)系統(tǒng)，并將它們變成了基本的組成部分。因此，我們的生態(tài)系統(tǒng)，整個(gè)行業(yè)都可以購(gòu)買(mǎi)，甚至整個(gè)都可以買(mǎi)到。”他繼續(xù)說(shuō)道，并引用了由合作伙伴云服務(wù)提供商和服務(wù)器制造商支持的HGX A100設(shè)計(jì)。

Huang隨后補(bǔ)充說(shuō)：“ Nvidia確實(shí)是一家數(shù)據(jù)中心規(guī)模的計(jì)算公司。30年前我們?cè)?jīng)是一家PC公司，然后我們成為了工作站公司，然后又成為了服務(wù)器公司，最終我們進(jìn)入了數(shù)據(jù)中心。但是計(jì)算的未來(lái)：數(shù)據(jù)中心是計(jì)算單元。計(jì)算的未來(lái)確實(shí)是數(shù)據(jù)中心規(guī)模。應(yīng)用程序?qū)⑼瑫r(shí)在整個(gè)數(shù)據(jù)中心中運(yùn)行。”

英偉達(dá)還宣布創(chuàng)建DGX A100 Superpod，該產(chǎn)品跨越140個(gè)DGX A100系統(tǒng)(1,120個(gè)GPU)，170個(gè)Mellanox Quantum 200G IB交換機(jī)，280 TB / s的網(wǎng)絡(luò)結(jié)構(gòu)(超過(guò)15公里的光纜)和4個(gè)全閃存聯(lián)網(wǎng)的petabyes存儲(chǔ)。Nvidia表示，整個(gè)系統(tǒng)提供了近22 petaflops的峰值雙精度性能(700 petaflops的“ AI計(jì)算”)，并在不到三周的時(shí)間內(nèi)建成。

Nvidia已在其內(nèi)部超級(jí)計(jì)算機(jī)Saturn-V中添加了四個(gè)Superpods，從而將其“ AI超級(jí)計(jì)算”總?cè)萘刻岣叩浇? exaflops，Nvidia稱(chēng)這使Saturn-V成為世界上最快的AI超級(jí)計(jì)算機(jī)。所有這些GPU的總雙精度容量達(dá)到了約93個(gè)峰值petaflops，但Jensen澄清說(shuō)Saturn-V并不是真正的一個(gè)系統(tǒng)。它位于一個(gè)管理界面下的四個(gè)不同位置。Nvidia將該系統(tǒng)用于與計(jì)算機(jī)圖形學(xué)，機(jī)器人技術(shù)，自動(dòng)駕駛汽車(chē)，醫(yī)療保健及其新推薦系統(tǒng)Merlin有關(guān)的軟件開(kāi)發(fā)。

DGX A100的價(jià)格為199,000美元，現(xiàn)已開(kāi)始發(fā)售。第一份訂單送給了能源部的阿貢實(shí)驗(yàn)室，該實(shí)驗(yàn)室正在使用該集群進(jìn)行AI和計(jì)算，以更好地理解和對(duì)抗。HPC研究社區(qū)的其他早期采用者包括印第安納大學(xué)，朱利希超級(jí)計(jì)算中心，卡爾斯魯厄技術(shù)學(xué)院，馬克斯·普朗克計(jì)算和數(shù)據(jù)設(shè)施以及能源部伯克利實(shí)驗(yàn)室的NERSC。Huang說(shuō)：“如果我們是一家數(shù)據(jù)中心規(guī)模的公司，以數(shù)據(jù)中心規(guī)模開(kāi)發(fā)芯片，系統(tǒng)和軟件，那是我們應(yīng)該自己構(gòu)建它的理由。”

有強(qiáng)大的合作伙伴支持。有望集成A100的云服務(wù)提供商和系統(tǒng)構(gòu)建商的名單包括阿里云，亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)，Atos，百度云，思科，戴爾技術(shù)，富士通，技嘉科技，谷歌云，H3C，惠普企業(yè)，浪潮，聯(lián)想，Microsoft Azure，Oracle，Quanta / QCT，Supermicro和騰訊云。

HGX A100參考設(shè)計(jì)是DGX A100的骨干，具有四GPU和八GPU配置。四個(gè)GPU的HGX A100提供了具有NVLink的GPU之間的完全互連，而八個(gè)GPU的版本通過(guò)NVSwitch提供了完整的GPU到GPU帶寬。w ^ 第i個(gè)新的多實(shí)例GPU(MIG)架構(gòu)，安培服務(wù)器，因?yàn)槲覀兟?tīng)到黃打電話給他們，可配置為56個(gè)小GPU來(lái)推理或八個(gè)GPU的培訓(xùn)或HPC工作負(fù)載一起工作。