優(yōu)化人工智能安全研究：采訪Owen Cotton-Barratt

人工智能給人類帶來(lái)了無(wú)數(shù)的風(fēng)險(xiǎn)。從隱私問(wèn)題到算法偏見和“黑匣子”決策，更廣泛的價(jià)值調(diào)整問(wèn)題，遞歸自我改進(jìn)以及超級(jí)智能的存在風(fēng)險(xiǎn) - 人工智能安全問(wèn)題并不缺乏。

人工智能安全研究旨在解決所有這些問(wèn)題。但由于資金有限且研究人員太少，研究中的權(quán)衡取舍是不可避免的。為了確保AI安全社區(qū)解決最重要的問(wèn)題，研究人員必須優(yōu)先考慮其原因。

Owen Cotton-Barratt與人類未來(lái)研究所(FHI)和有效利他主義中心(CEA)的同事一起研究了人工智能安全社區(qū)的“事業(yè)優(yōu)先級(jí)”。他們分析哪些項(xiàng)目更有可能幫助緩解來(lái)自高度先進(jìn)的AI系統(tǒng)的災(zāi)難性或存在性風(fēng)險(xiǎn)，尤其是人工一般智能(AGI)。通過(guò)模擬不同類型研究之間的權(quán)衡，Cotton-Barratt希望引導(dǎo)科學(xué)家們進(jìn)行更有效的人工智能安全研究項(xiàng)目。

技術(shù)和戰(zhàn)略工作

事業(yè)優(yōu)先排序的第一步是了解已經(jīng)完成的工作。從廣義上講，人工智能安全研究分為兩個(gè)領(lǐng)域：技術(shù)工作和戰(zhàn)略工作。

AI的技術(shù)安全挑戰(zhàn)是保持機(jī)器安全可靠，因?yàn)樗鼈冏兊酶心芰蛣?chuàng)造力。通過(guò)使AI系統(tǒng)更可預(yù)測(cè)，更透明，更符合我們的目標(biāo)和價(jià)值觀，我們可以顯著降低傷害風(fēng)險(xiǎn)。技術(shù)安全工作包括Stuart Russell關(guān)于強(qiáng)化學(xué)習(xí)的研究和Dan Weld關(guān)于可解釋機(jī)器學(xué)習(xí)的研究，因?yàn)樗麄冋诟倪M(jìn)AI系統(tǒng)中的實(shí)際編程。

此外，機(jī)器智能研究所(MIRI)最近發(fā)布了一項(xiàng)技術(shù)安全議程，旨在長(zhǎng)期協(xié)調(diào)機(jī)器智能與人類利益，而另一家非營(yíng)利性人工智能研究公司OpenAI正在研究“圍繞確保的許多研究問(wèn)題”現(xiàn)代機(jī)器學(xué)習(xí)系統(tǒng)按預(yù)期運(yùn)行，“遵循開創(chuàng)性的人工智能安全具體問(wèn)題的建議。

戰(zhàn)略安全工作范圍更廣，并詢問(wèn)社會(huì)如何最好地準(zhǔn)備和減輕強(qiáng)大人工智能的風(fēng)險(xiǎn)。這項(xiàng)研究包括分析圍繞人工智能發(fā)展的政治環(huán)境，促進(jìn)研究領(lǐng)域之間的公開對(duì)話，阻止軍備競(jìng)賽，以及從博弈論和神經(jīng)科學(xué)中學(xué)習(xí)人工智能的可能結(jié)果。耶魯大學(xué)教授艾倫·達(dá)福最近專注于戰(zhàn)略工作，研究人工智能的國(guó)際政治，并為政府，人工智能實(shí)驗(yàn)室和非營(yíng)利組織提供有關(guān)人工智能風(fēng)險(xiǎn)的咨詢。而耶魯生物倫理學(xué)家溫德爾·瓦拉赫(Wendell Wallach)除了研究“筒倉(cāng)破壞”之外，正在研究人工智能的全球治理形式。

原因確定優(yōu)先順序也是戰(zhàn)略工作。Cotton-Barratt解釋說(shuō)，“戰(zhàn)略工作包括分析安全領(lǐng)域本身，并考慮我們認(rèn)為我們將會(huì)有更多的工作，我們將擁有更少的工作，從而幫助我們引導(dǎo)資源和更多我們的工作目標(biāo)。“

誰(shuí)需要更多資金?

如上圖所示，自2015年以來(lái)，人工智能安全支出大幅增長(zhǎng)。雖然更多的資金并不總能轉(zhuǎn)化為改善的結(jié)果，但資金模式很容易評(píng)估，可以說(shuō)很多關(guān)于研究重點(diǎn)。Cotton-Barratt的CEA同事Seb Farquhar今年早些時(shí)候撰寫了一篇文章，分析人工智能安全資金，并提出了更好地分配未來(lái)投資的方法。

首先，他建議技術(shù)研究團(tuán)隊(duì)獲得更多的個(gè)人調(diào)查員來(lái)參加研究議程，詳見“人工智能安全的具體問(wèn)題”。OpenAI已經(jīng)在這方面起了帶頭作用。此外，社區(qū)應(yīng)該盡力確保新興的人工智能安全中心雇用最佳候選人，因?yàn)檫@些研究人員將在未來(lái)幾年內(nèi)塑造每個(gè)中心的成功。

總的來(lái)說(shuō)，F(xiàn)arquhar指出，戰(zhàn)略，外展和政策工作跟不上人工智能安全研究的總體增長(zhǎng)。他建議更多人關(guān)注改善人工智能安全研究團(tuán)隊(duì)之間，人工智能安全社區(qū)與更廣泛的人工智能社區(qū)之間以及政策制定者與研究人員之間長(zhǎng)期戰(zhàn)略的溝通。他補(bǔ)充說(shuō)，建立更多關(guān)于人工智能戰(zhàn)略和政策的博士和碩士課程可以建立一條填補(bǔ)這一空白的渠道。

為了補(bǔ)充Farquhar的數(shù)據(jù)，Cotton-Barratt的同事Max Dalton創(chuàng)建了一個(gè)數(shù)學(xué)模型來(lái)跟蹤更多的資金和更多的安全問(wèn)題人員如何轉(zhuǎn)化為有用的進(jìn)展或解決方案。該模型試圖回答以下問(wèn)題：如果我們想要降低AI的存在風(fēng)險(xiǎn)，那么我們通過(guò)在戰(zhàn)略研究和技術(shù)研究上投入資金可以獲得多少效果?

總的來(lái)說(shuō)，技術(shù)研究比數(shù)學(xué)模型中的戰(zhàn)略工作更容易跟蹤。例如，在戰(zhàn)略倫理研究上花費(fèi)更多可能對(duì)人工智能安全至關(guān)重要，但很難量化這種影響。然而，改進(jìn)強(qiáng)化學(xué)習(xí)模型可以產(chǎn)生更安全，更穩(wěn)健的機(jī)器。通過(guò)更清晰的反饋循環(huán)，這些技術(shù)項(xiàng)目最適合道爾頓的模型。

近視和AGI

但這些模型也面臨著重大的不確定性。沒有人真正知道什么時(shí)候開發(fā)AGI，這使得很難確定最重要的研究。如果AGI將在五年內(nèi)開發(fā)出來(lái)，研究人員應(yīng)該只關(guān)注最基本的安全工作，例如提高AI系統(tǒng)的透明度。但如果我們有三十年的時(shí)間，研究人員可能會(huì)負(fù)擔(dān)得起更多的理論工作。

而且，沒有人真正知道AGI將如何運(yùn)作。機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)引領(lǐng)了新的AI革命，但AGI可能會(huì)在與AlphaGo和Watson截然不同的架構(gòu)上開發(fā)。

這使得一些長(zhǎng)期安全研究成為一項(xiàng)風(fēng)險(xiǎn)投資，即使正如許多人認(rèn)為的那樣，這是我們可以做的最重要的研究。例如，研究人員可能花費(fèi)數(shù)年時(shí)間使深度神經(jīng)網(wǎng)絡(luò)安全透明，但只有當(dāng)AGI在完全不同的編程架構(gòu)上發(fā)展時(shí)才會(huì)發(fā)現(xiàn)他們的工作浪費(fèi)。

Cotton-Barratt將這個(gè)問(wèn)題歸結(jié)為“近視”，并在今年夏天有效利他主義全球最近的一次演講中進(jìn)行了討論。人類通常無(wú)法預(yù)料到破壞性變化，人工智能研究人員也不例外。

“我們可能會(huì)為長(zhǎng)期情景所做的工作可能會(huì)完全混淆，因?yàn)槲覀儧]有考慮正確的事物類型，”他解釋道。“我們對(duì)近期情景有更多的影響力，因?yàn)槲覀兏茉u(píng)估它們的樣子。”

任何額外的人工智能安全研究總比沒有好，但考慮到未知的時(shí)間表和人工智能對(duì)人類的威脅的潛在嚴(yán)重性，我們最好盡可能地追求最有效的人工智能安全研究。

通過(guò)幫助人工智能研究組合向更有效和全面的方向發(fā)展，Cotton-Barratt和他的同事們希望確保當(dāng)機(jī)器最終超越我們時(shí)，我們會(huì)問(wèn) - 并且有希望回答 - 正確的問(wèn)題。

本文是關(guān)于人工智能安全研究資助的未來(lái)生活系列的一部分，該系列資金由Elon Musk和開放慈善項(xiàng)目的慷慨捐贈(zèng)資助。如果您有興趣申請(qǐng)我們的2018年撥款競(jìng)賽，請(qǐng)看此鏈接。

文明的大部分好處都源于智力，那么我們?nèi)绾尾拍芡ㄟ^(guò)人工智能增強(qiáng)這些好處，而不是在就業(yè)市場(chǎng)上取而代之，而且可能完全取而代之?