人工超級智能的興起將如何影響人類

汽車沿著我們的街道行駛。飛機(jī)在我們的天空中飛翔。醫(yī)療技術(shù)可以診斷疾病，推薦治療計(jì)劃并挽救生命。

人工智能系統(tǒng)已經(jīng)在我們中間，它們已經(jīng)存在了一段時間。然而，世界尚未看到人工超級智能(ASI) - 一種具有超越我們自己的所有相關(guān)指標(biāo)的認(rèn)知能力的合成系統(tǒng)。但技術(shù)進(jìn)步很快，許多人工智能研究人員認(rèn)為，人工超級智能的時代可能正在快速逼近。一旦它到來，研究人員和政治家都無法預(yù)測會發(fā)生什么。

幸運(yùn)的是，許多人已經(jīng)在努力確保這種人工超級智能的興起不會導(dǎo)致人類墮落。

Seth Baum是全球?yàn)?zāi)難風(fēng)險研究所的執(zhí)行主任，該研究所專注于防止全球文明遭到破壞。

當(dāng)鮑姆討論他的工作時，他用實(shí)事求是的語氣概述了GCRI的使命，考慮到該項(xiàng)目的巨大性質(zhì)，這不僅有點(diǎn)刺耳。“我們所有的工作都是為了保護(hù)世界的安全，”鮑姆指出，他繼續(xù)解釋說，GCRI專注于一系列威脅，這些威脅使我們物種的生存處于危險之中。從氣候變化到核戰(zhàn)爭，從外星智能到人工智能--GCRI涵蓋了所有這些。

在人工智能方面，GCRI有幾項(xiàng)舉措。然而，他們的主要AI項(xiàng)目獲得了生命未來研究所的資助，其中心是與人工超級智能相關(guān)的風(fēng)險?；蛘?，正如Baum所說，它們“對計(jì)算機(jī)接管全世界并殺死所有人進(jìn)行風(fēng)險分析。”具體而言，Baum表示，GCRI正致力于“開發(fā)結(jié)構(gòu)化風(fēng)險模型，以幫助人們了解風(fēng)險可能是什么，并且，這里有一些減少這種風(fēng)險的最佳機(jī)會。“

不出所料，這項(xiàng)任務(wù)并不容易。

根本問題源于這樣一個事實(shí)，即不像更常見的威脅，例如車禍中死亡的風(fēng)險或患癌癥的風(fēng)險，從事ASI風(fēng)險分析的研究人員在制作模型時沒有可靠的案例研究和預(yù)測。正如鮑姆所說，“計(jì)算機(jī)從未接管過世界并殺死過所有人。這意味著我們不能只看數(shù)據(jù)，這是我們?yōu)樵S多其他風(fēng)險所做的事情。而且這種技術(shù)不僅沒有發(fā)生過，技術(shù)甚至還沒有存在。如果它是建成的，我們不確定它是如何建造的。“

那么，研究人員如何確定人工超級智能所帶來的風(fēng)險，如果他們不確切地知道這些情報會是什么樣子并且他們沒有真正的數(shù)據(jù)可以使用呢?

幸運(yùn)的是，當(dāng)談到人工超級智能時，AI專家并不完全處于未知領(lǐng)域。鮑姆聲稱有一些想法和一些相關(guān)證據(jù)，但這些事情是分散的。為了解決這個問題，鮑姆和他的團(tuán)隊(duì)創(chuàng)建了模型。他們獲取可用信息，構(gòu)建信息，然后以有組織的方式分發(fā)結(jié)果，以便研究人員能夠更好地理解主題，可能影響手頭問題結(jié)果的各種因素，并最終更好地了解與ASI相關(guān)的各種風(fēng)險。

例如，當(dāng)試圖計(jì)算設(shè)計(jì)AI以使其安全行動是多么容易時，需要建模的子細(xì)節(jié)之一是人類是否能夠觀察AI并在它離開之前對其進(jìn)行測試?？刂?。換句話說，AI研究人員是否能夠認(rèn)識到AI具有危險的設(shè)計(jì)并將其關(guān)閉。為了對這種情況進(jìn)行建模并確定風(fēng)險和最可能的情景，Baum和他的團(tuán)隊(duì)掌握了可用的信息 - 人工智能研究人員的觀點(diǎn)和意見，人工智能技術(shù)的知識及其運(yùn)作方式等等 - 并且他們建模通過構(gòu)造上述信息以及參數(shù)或數(shù)據(jù)集中的任何不確定性來討論該主題。

這種建模和風(fēng)險分析最終使團(tuán)隊(duì)能夠更好地理解問題的范圍，并通過以明確的方式構(gòu)建信息，推進(jìn)超級智能研究社區(qū)中的持續(xù)對話。建模并沒有讓我們?nèi)媪私鈱l(fā)生什么，但它確實(shí)讓我們能夠更好地理解我們在ASI的興起，可能發(fā)生的事件和結(jié)果以及可能發(fā)生的事件時所面臨的風(fēng)險。政策制定者和AI研究人員應(yīng)采取的具體步驟，以確保ASI有益于人類。

當(dāng)然，當(dāng)涉及人工超級智能的風(fēng)險時，我們是否能夠觀察和測試我們的AI只是更大型號的一小部分。

模擬災(zāi)難

為了理解實(shí)現(xiàn)ASI大災(zāi)難需要什么，以及我們?nèi)绾慰赡茏柚顾?，Baum和他的團(tuán)隊(duì)創(chuàng)建了一個模型，從許多有利位置調(diào)查以下問題：

第1步：是否有可能建立一個人工超級智能?

第2步：人類會建立超級智能嗎?

第3步：人類是否會失去對超級智能的控制?

該模型的前半部分以如何構(gòu)建ASI的細(xì)節(jié)為中心。該模型的后半部分深入研究了與創(chuàng)建有害的ASI相關(guān)的風(fēng)險分析，并著眼于以下內(nèi)容：

第1步：人類會設(shè)計(jì)一種有害的人工超級智能嗎?

第2步：超級智能會自行發(fā)展有害行為嗎?

第3步：是否有某些事情阻止超級智能以有害的方式行動(例如另一個人工智能或某些人類行動)?

本系列中的每一步都模擬了許多不同的可能性，以揭示我們面臨的各種風(fēng)險以及這些威脅的重要性和可能性。盡管該模型仍在不斷完善，但鮑姆表示已經(jīng)取得了實(shí)質(zhì)性進(jìn)展。“風(fēng)險開始變得有意義了。我開始明白看到這種類型的災(zāi)難到底需要什么，“鮑姆說。然而，他很快澄清說這項(xiàng)研究仍然有點(diǎn)太年輕，無法明確地說，“我們這些研究超級智能及其所有風(fēng)險和政策方面的人，我們并不確定我們想要什么樣的政策是正確的現(xiàn)在?，F(xiàn)在正在發(fā)生的事情更多的是關(guān)于人工智能的通用對話。

最終，Baum希望這些對話，加上他目前與他的團(tuán)隊(duì)一起開發(fā)的模型的理解，將使GCRI能夠更好地為決策??者和科學(xué)家們準(zhǔn)備一種新的(超級)情報的興起。