富士通開發(fā)自動(dòng)調(diào)整計(jì)算精度以加速AI處理10倍的技術(shù)

富士通實(shí)驗(yàn)室有限公司日前宣布了一項(xiàng)新的“內(nèi)容感知計(jì)算”技術(shù)的開發(fā)，該技術(shù)可以在提高計(jì)算速度的同時(shí)控制準(zhǔn)確性。該技術(shù)是為響應(yīng)AI技術(shù)的發(fā)展和普及對(duì)計(jì)算能力的不斷增長(zhǎng)的需求而開發(fā)的。

將這項(xiàng)新技術(shù)應(yīng)用于深度學(xué)習(xí)任務(wù)有望將計(jì)算速度提高十倍，從而使將AI用于更廣泛的未來應(yīng)用程序變得更加容易。

發(fā)展背景

近年來，人工智能技術(shù)在圖像識(shí)別和語音翻譯等領(lǐng)域的廣泛應(yīng)用導(dǎo)致對(duì)處理能力的需求不斷增加，使現(xiàn)有技術(shù)難以承受極限。為響應(yīng)這種趨勢(shì)，已經(jīng)開發(fā)了針對(duì)這種性質(zhì)的AI應(yīng)用進(jìn)行了優(yōu)化的新型GPU和專用處理器。根據(jù)特定的應(yīng)用程序，可以在各種環(huán)境中計(jì)算AI任務(wù)，范圍從云環(huán)境到邊緣計(jì)算上下文。提供穩(wěn)定性和快速處理能力的技術(shù)將越來越有必要提供處理苛刻的AI任務(wù)所需的計(jì)算能力。

問題

圖形處理單元(GPU)和專用處理器提高了計(jì)算性能，但是還沒有趕上AI的計(jì)算需求。作為進(jìn)一步簡(jiǎn)化AI任務(wù)性能的一種手段，人們對(duì)減輕計(jì)算負(fù)擔(dān)和提高速度的技術(shù)的興趣日益濃厚。

例如，在深度學(xué)習(xí)中計(jì)算神經(jīng)網(wǎng)絡(luò)算法時(shí)，一種實(shí)現(xiàn)更高性能速度的方法是將運(yùn)算精度從32位降低到8位，并執(zhí)行4次并行運(yùn)算。不幸的是，如果均勻地降低操作精度，則操作結(jié)果也會(huì)惡化。

因此，受過訓(xùn)練的專家必須努力確定應(yīng)該通過反復(fù)試驗(yàn)來降低哪個(gè)區(qū)域的計(jì)算精度。這種方法證明調(diào)整很耗時(shí)，每當(dāng)輸入數(shù)據(jù)或執(zhí)行環(huán)境發(fā)生變化時(shí)都需要重新調(diào)整。

關(guān)于最新技術(shù)

為了克服這些挑戰(zhàn)，富士通開發(fā)了“內(nèi)容感知計(jì)算”技術(shù)，該技術(shù)可自動(dòng)控制并加快計(jì)算精度。這可以在包括GPU，CPU，云和邊緣在內(nèi)的各種執(zhí)行環(huán)境中實(shí)現(xiàn)更快的AI處理。該技術(shù)的特征如下。

1.自動(dòng)減少技術(shù)

神經(jīng)網(wǎng)絡(luò)通常具有數(shù)值范圍，其中隨著學(xué)習(xí)的進(jìn)行，每一層都收斂到相似的數(shù)值。根據(jù)計(jì)算過程中神經(jīng)網(wǎng)絡(luò)中每一層數(shù)值范圍的分布，根據(jù)學(xué)習(xí)情況確定計(jì)算精度的應(yīng)用程度，例如分布寬時(shí)位寬，而分布寬時(shí)位寬。學(xué)習(xí)是先進(jìn)的和融合的(圖1)。這使得深度學(xué)習(xí)的速度比以前快三倍，同時(shí)減少了計(jì)算結(jié)果的下降。

2.同步緩解技術(shù)，可在并行環(huán)境中以性能波動(dòng)實(shí)現(xiàn)高速執(zhí)行

在云環(huán)境或許多應(yīng)用程序共享CPU的其他環(huán)境中，由于通信沖突，處理中斷等，對(duì)某些節(jié)點(diǎn)的響應(yīng)可能會(huì)存在明顯的延遲。另一方面，在并行處理的每個(gè)操作中，估計(jì)終止處理時(shí)的處理時(shí)間的減少以及對(duì)操作結(jié)果的影響程度，并且控制每個(gè)操作的終止時(shí)間，使得可以最大程度地減少處理時(shí)間而不會(huì)惡化操作結(jié)果。這可實(shí)現(xiàn)更快的并行處理，從而使深度學(xué)習(xí)計(jì)算中的確認(rèn)性能快3.7倍。

特效

最終，新開發(fā)的技術(shù)“ Content-Aware Computing”可以將AI任務(wù)的處理速度提高多達(dá)10倍。通過將此技術(shù)整合到AI框架和庫中，可以使用具有內(nèi)置低位計(jì)算功能的GPU和CPU加快云環(huán)境和數(shù)據(jù)中心中的AI處理。

未來的計(jì)劃

展望未來，富士通的目標(biāo)是將該技術(shù)整合到一個(gè)廣泛使用的AI框架中，并將成為使用深度學(xué)習(xí)執(zhí)行AI服務(wù)的基礎(chǔ)。