微軟剛剛為OpenAI打造了世界一流的超級計算機(jī)

去年，微軟宣布向OpenAI投資10億美元，該組織的使命是創(chuàng)造人工智能，并使其對人類安全。這里沒有終結(jié)者般的反烏托邦。沒有讓人類變成回形針的混亂機(jī)器。僅有具有一般智能的計算機(jī)才能幫助我們解決最大的問題。

一年過去了，我們?nèi)〉昧诉@種伙伴關(guān)系的第一個成果。在今年的Build 2020開發(fā)者大會上，微軟展示了微軟的最新和最偉大的產(chǎn)品。該公司表示，他們已經(jīng)完成了專門用于OpenAI機(jī)器學(xué)習(xí)研究的超級計算機(jī)。但這不是普通的超級計算機(jī)。這是一臺機(jī)器的野獸。該公司表示，每個GPU服務(wù)器具有285,000個CPU內(nèi)核，10,000個GPU和每秒400吉比特的網(wǎng)絡(luò)連接。

微軟表示，與全球最快的超級計算機(jī)相比，它排名第五。

該公司未發(fā)布性能數(shù)據(jù)，該計算機(jī)也未公開進(jìn)行基準(zhǔn)測試，也未列入被廣泛關(guān)注的Top500超級計算機(jī)列表。但是即使沒有官方排名，也可以肯定地說它是世界一流的機(jī)器。

“隨著我們越來越了解我們需要什么以及組成超級計算機(jī)的所有組件的不同限制，我們真的可以說，'如果我們可以設(shè)計我們的夢想系統(tǒng)，它會是什么樣?” ” OpenAI首席執(zhí)行官Sam Altman說。“然后，Microsoft得以構(gòu)建它。”

OpenAI將如何使用此夢想機(jī)?該公司正在構(gòu)建更大的狹窄AI算法-我們離AGI還很遙遠(yuǎn)-他們需要大量的計算能力才能做到這一點。

對超大型AI模型的追求

最先進(jìn)的AI模型(即機(jī)器學(xué)習(xí)算法中的神經(jīng)網(wǎng)絡(luò))的規(guī)模一直在快速增長。同時，根據(jù)OpenAI，訓(xùn)練這些模型所需的計算能力每3.4個月翻一番。

模型越大，您需要訓(xùn)練它的計算機(jī)越大。

這種增長部分歸因于每個模型中使用的參數(shù)數(shù)量。簡而言之，這些是對神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)進(jìn)行操作而得出的“神經(jīng)元”值。OpenAI的GPT-2算法從提示中生成令人信服的文本，包含近15億個參數(shù)。微軟的自然語言生成AI模型Turing NLG的大小超過10倍，具有170億個參數(shù)?，F(xiàn)在，據(jù)報道，周四剛剛宣布的OpenAI的GPT-3由驚人的1750億個參數(shù)組成。

還有另一個趨勢在發(fā)揮作用。

盡管許多機(jī)器學(xué)習(xí)算法都是在人類標(biāo)記的數(shù)據(jù)集上進(jìn)行訓(xùn)練的，但是Microsoft，OpenAI和其他公司也正在追求“無監(jiān)督”的機(jī)器學(xué)習(xí)。這意味著，有了足夠的原始，未標(biāo)記的數(shù)據(jù)，算法就會通過識別數(shù)據(jù)中的模式來進(jìn)行自我學(xué)習(xí)。

某些最新系統(tǒng)還可以在給定域中執(zhí)行多個任務(wù)。在數(shù)十億個互聯(lián)網(wǎng)頁面的原始文本(從Wikipedia條目到自行出版的書)上訓(xùn)練的算法，可以推斷單詞，概念和上下文之間的關(guān)系。它不僅可以像生成文本那樣僅做一件事，還可以將其學(xué)習(xí)轉(zhuǎn)移到同一領(lǐng)域的多個相關(guān)任務(wù)中，例如閱讀文檔和回答問題。

圖靈NLG和GPT-3算法屬于此類。

微軟首席技術(shù)官凱文·斯科特(Kevin Scott)說：“這些模型令人興奮的是它們將實現(xiàn)的功能廣泛。“這是關(guān)于能夠一次在自然語言處理中完成一百項令人興奮的事情，以及在計算機(jī)視覺中完成一百項令人興奮的事情，當(dāng)您開始看到這些感知領(lǐng)域的組合時，您將擁有很難的新應(yīng)用程序甚至現(xiàn)在就可以想象。”