AI和摩爾定律的后指數(shù)時代

我的MacBook Pro已有3年歷史了，這是我一生中第一次擁有3年歷史的主計算機，感覺就像沒有危機，必須立即解決。沒錯，部分原因是我在等待蘋果公司解決其鍵盤故障，部分原因是我仍然無法忍受Touch Bar。但這也是因為三年的性能增長已不再是過去。

毫不夸張地說，摩爾定律是過去五十年來世界上最重要的力量，它是世界計算能力令人難以置信的指數(shù)增長。因此，它的緩慢減速和/或消亡是一件大事，不僅僅是因為后果正在波及每個家庭和每個口袋。

我們所有人都寄希望于其他領域會成倍增長，這當然給了我們另一個相似的時代。人工智能/機器學習是一個巨大的希望，尤其是機器學習反饋循環(huán)的遙遠夢想，人工智能數(shù)十年來以指數(shù)級的速度改善了人工智能?，F(xiàn)在看來似乎不太可能。

實際上，它總是如此。幾年前，我正與一家AI公司的首席執(zhí)行官交談，他認為AI進度基本上是S曲線，我們在聲音處理方面已經(jīng)達到了頂峰，在圖像和視頻方面已經(jīng)接近頂峰，但還只是一半向上彎曲文本。猜猜他的公司專門從事哪一家公司都沒有獎品，但似乎是完全正確的。

本周早些時候，OpenAI發(fā)布了他們?nèi)ツ觋P于AI1使用的計算能力如何增加的分析的更新。結果?它“以3.4個月的倍增時間呈指數(shù)增長(相比之下，摩爾定律有2年的倍增期)。自2012年以來，該指標已增長了300,000倍(兩年的翻倍期只會產(chǎn)生7倍的增長)。”

那是……改善AI技術狀態(tài)的大量計算能力，很明顯，這種計算增長無法持續(xù)。不是“不會”;可不行。令人遺憾的是，與摩爾定律的指數(shù)級增長的減少幾乎同時發(fā)生了訓練人工智能的計算能力需求的指數(shù)級增長。將更多的錢投入到這個問題上將無濟于事-再次，我們在這里談論的是指數(shù)增長率，線性費用調(diào)整不會動搖針。

得出的結論是，即使我們假設在效率方面取得了重大突破并提高了性能以降低翻倍率，但在我們計算能力的集體增長開始步履蹣跚之時，人工智能的進步似乎越來越受到計算機的限制。也許會有某種突破，但是如果沒有突破，這聽起來很像是我們正在尋找AI /機器學習進度，并且從現(xiàn)在開始不久，并且在可預見的將來趨于平穩(wěn)。