我們研究和評估了兩種使AI系統(tǒng)符合道德原則的方法

在可能發(fā)生意外情況的場景中部署的AI代理越多，則實現(xiàn)目標(biāo)就需要更多的靈活性，適應(yīng)性和創(chuàng)造性。因此，為了使AI足夠健壯和靈活到可以在實際場景中成功部署，必須有一定程度的自由選擇特定目標(biāo)的最佳路徑。

當(dāng)AI系統(tǒng)解決難以解決的問題時，傳統(tǒng)的基于規(guī)則的方法無法準(zhǔn)確地定義解決方案，而AI中越來越多地使用數(shù)據(jù)驅(qū)動和/或?qū)W習(xí)方法時，尤其如此。實際上，數(shù)據(jù)驅(qū)動的AI系統(tǒng)(例如使用機器學(xué)習(xí)的 AI系統(tǒng))在準(zhǔn)確性和靈活性方面非常成功，并且它們在解決問題，尋找可能給人類帶來驚喜的解決方案方面非常“有創(chuàng)意”，并可以教給他們創(chuàng)新的方法解決挑戰(zhàn)。

但是，無國界的創(chuàng)造力和自由有時會導(dǎo)致不期望的行動：人工智能系統(tǒng)可能會以受災(zāi)社區(qū)的價值觀和規(guī)范認(rèn)為不可接受的方式實現(xiàn)其目標(biāo)。因此，越來越需要了解如何通過提供系統(tǒng)必須在其中操作的邊界來約束AI系統(tǒng)的動作。這通常稱為“值對齊”問題，因為此類邊界應(yīng)為特定AI應(yīng)用程序場景所需的值和原理建模。

在IBM Research，我們研究和評估了兩種使AI系統(tǒng)符合道德原則的方法：

第一種使用相同的形式主義來建模和組合主觀偏好(以實現(xiàn)服務(wù)個性化)和道德優(yōu)先級(以實現(xiàn)價值一致)。偏好與道德優(yōu)先級之間的距離的概念用于決定是否可以僅由偏好來決定行動，或者當(dāng)偏好與這些優(yōu)先級過于不同時，是否需要考慮其他道德優(yōu)先級。

第二種方法采用強化學(xué)習(xí)方法(在匪徒問題范圍內(nèi))以實現(xiàn)報酬最大化，并從正面和負(fù)面的例子中學(xué)習(xí)道德準(zhǔn)則。我們在父母的指導(dǎo)下在電影推薦中測試了這種方法，并從生活質(zhì)量的角度選擇了藥物劑量。

描述我們的整體方法以及解決價值一致性問題的兩種可能方法的論文將在即將舉行的AAAI 2019大會上發(fā)表，并將獲得AAAI 2019藍(lán)天創(chuàng)意獎。在這里能找到它。

這項工作是長期工作的一部分，旨在了解如何與MIT合作將道德原則嵌入到AI系統(tǒng)中。盡管在研究中將倫理優(yōu)先事項建模為義務(wù)論約束，但I(xiàn)BM-MIT團(tuán)隊目前正在收集人類偏好數(shù)據(jù)，以模擬人類如何遵循并在不同的倫理學(xué)理論(如功利主義，義務(wù)論和契約論)之間切換。然后將倫理學(xué)理論和適當(dāng)適應(yīng)的轉(zhuǎn)換機制設(shè)計到AI系統(tǒng)中。這樣，這樣的系統(tǒng)將能夠更好地與人們推理和遵循道德行為的方式保持一致 同時做出決策，從而可以更好地適應(yīng)以增強的人工智能方法與人類自然而緊湊地互動。