Facebook用于AI模型培訓(xùn)和推理的開源硬件

每個(gè)月在一個(gè)應(yīng)用程序和服務(wù)系列中為27億人提供服務(wù)并不容易 - 只需問問Facebook。近年來，門洛帕克科技巨頭已經(jīng)從通用硬件轉(zhuǎn)移到了專用加速器，這些加速器可以保證其數(shù)據(jù)中心的性能，功耗和效率提升，特別是在人工智能領(lǐng)域。為此，它今天宣布了用于AI模型培訓(xùn)的“下一代”硬件平臺(tái) - 錫安 - 以及針對(duì)AI推理優(yōu)化的定制專用集成電路(ASIC) - Kings Canyon - 以及視頻轉(zhuǎn)碼 - Mount Shasta。

Facebook表示，三個(gè)平臺(tái) - 它向開放計(jì)算項(xiàng)目捐贈(zèng)，這是一個(gè)在其成員之間共享數(shù)據(jù)中心產(chǎn)品設(shè)計(jì)的組織 - 將大大加速人工智能培訓(xùn)和推理。“人工智能用于各種服務(wù)，以幫助人們進(jìn)行日?；?dòng)，并為他們提供獨(dú)特的個(gè)性化體驗(yàn)，”Facebook工程師Kevin Lee，Vijay Rao和William Christie Arnold在博客文章中寫道。“在整個(gè)Facebook的基礎(chǔ)設(shè)施中使用人工智能工作負(fù)載，使我們的服務(wù)更具相關(guān)性，并改善使用我們服務(wù)的人們的體驗(yàn)。”

Zion - 專為處理包括CNN，LSTM和SparseNN在內(nèi)的神經(jīng)網(wǎng)絡(luò)架構(gòu)的“頻譜”而量身定制 - 包括三個(gè)部分：一個(gè)帶有八個(gè)NUMA CPU插槽的服務(wù)器，一個(gè)八加速器芯片組，以及Facebook與供應(yīng)商無關(guān)的OCP加速器模塊( OAM)。它擁有高內(nèi)存容量和帶寬，這得益于兩個(gè)高速結(jié)構(gòu)(連接所有CPU的連貫結(jié)構(gòu)，以及連接所有加速器的結(jié)構(gòu))，以及靈活的架構(gòu)，可以使用頂部擴(kuò)展到單個(gè)機(jī)架中的多個(gè)服務(wù)器機(jī)架式(TOR)網(wǎng)絡(luò)交換機(jī)。

“由于加速器具有高內(nèi)存帶寬但內(nèi)存容量低，我們希望通過對(duì)模型進(jìn)行分區(qū)來有效地使用可用的聚合內(nèi)存容量，使得更頻繁訪問的數(shù)據(jù)駐留在加速器上，而訪問頻率較低的數(shù)據(jù)駐留在關(guān)于帶有CPU的DDR內(nèi)存，“Lee，Rao和Arnold解釋道。“所有CPU和加速器的計(jì)算和通信都是平衡的，并通過高速和低速互連有效地發(fā)生。”

至于專為推理任務(wù)而設(shè)計(jì)的Kings Canyon，它分為四個(gè)部分：Kings Canyon推理M.2模塊，Twin Lakes單插槽服務(wù)器，Glacier Point v2載卡和Facebook的Yosemite v2機(jī)箱。Facebook表示正在與世界語，哈瓦那，英特爾，Marvell和高通公司合作開發(fā)支持INT8和高精度FP16工作負(fù)載的ASIC芯片。

Kings Canyon中的每臺(tái)服務(wù)器都結(jié)合了M.2 Kings Canyon加速器和一個(gè)連接Twin Lakes服務(wù)器的Glacier Point v2載卡; 其中兩個(gè)被安裝到Y(jié)osemite v2雪橇(其具有比第一代優(yōu)勝美地更多的PCIe通道)并通過NIC鏈接到TOR開關(guān)。Kings Canyon模塊包括ASIC，內(nèi)存和其他支持組件--CPU主機(jī)通過PCIe通道與加速器模塊通信 - 而Glacier Point v2包含一個(gè)集成的PCIe交換機(jī)，允許服務(wù)器同時(shí)訪問所有模塊。

“通過適當(dāng)?shù)哪Ｐ蛣澐?，我們可以運(yùn)行非常大的深度學(xué)習(xí)模型。例如，對(duì)于SparseNN模型，如果單個(gè)節(jié)點(diǎn)的內(nèi)存容量對(duì)于給定模型來說不夠，我們可以進(jìn)一步在兩個(gè)節(jié)點(diǎn)之間對(duì)模型進(jìn)行分片，從而增加模型可用的內(nèi)存量，“Lee，Rao和Arnold說過。“這兩個(gè)節(jié)點(diǎn)通過多主機(jī)NIC連接，允許高速交易。”

那么沙斯塔山呢?它是與Broadcom和Verisilicon合作開發(fā)的ASIC，專為視頻轉(zhuǎn)碼而開發(fā)。在Facebook的數(shù)據(jù)中心內(nèi)，它將被安裝在帶有集成散熱器的M.2模塊上，位于可容納多個(gè)M.2模塊的Glacier Point v2(GPv2)載板中。

該公司表示，平均而言，它預(yù)計(jì)這些芯片的效率會(huì)比目前的服務(wù)器“高出許多倍”。它的目標(biāo)是在10W功率范圍內(nèi)以60fps輸入流編碼至少兩倍4K。

“我們希望我們的Zion，Kings Canyon和Mount Shasta設(shè)計(jì)能夠分別解決我們在AI培訓(xùn)，AI推理和視頻轉(zhuǎn)碼方面日益增長的工作量，”Lee，Rao和Arnold寫道。“我們將通過硬件和軟件協(xié)同設(shè)計(jì)努力繼續(xù)改進(jìn)我們的設(shè)計(jì)，但我們不能單獨(dú)做到這一點(diǎn)。我們歡迎其他人加入我們加速這種基礎(chǔ)設(shè)施的過程。“