闡明人工智能系統(tǒng)如何做出選擇

人工智能(AI)和機(jī)器學(xué)習(xí)架構(gòu)(如深度學(xué)習(xí))已成為我們?nèi)粘Ｉ钪胁豢苫蛉钡慕M成部分 - 它們可實現(xiàn)數(shù)字語音助理或翻譯服務(wù)，改善醫(yī)療診斷，是未來技術(shù)(如自動駕駛)不可或缺的一部分?；诓粩嘣黾拥臄?shù)據(jù)量和強(qiáng)大的新型計算機(jī)體系結(jié)構(gòu)，學(xué)習(xí)算法似乎接近人類的能力，有時甚至超越它們。然而，到目前為止，用戶通常不知道AI系統(tǒng)究竟是如何得出他們的結(jié)論的。因此，人們常常不清楚人工智能的決策行為是否真正智能，或者程序是否只是平均成功。

來自TU Berlin，F(xiàn)raunhofer Heinrich Hertz Institute HHI和新加坡科技與設(shè)計大學(xué)(SUTD)的研究人員已經(jīng)解決了這個問題，并提供了對當(dāng)前AI系統(tǒng)中觀察到的各種“智能”頻譜的一瞥，特別是用小說分析這些AI系統(tǒng)允許自動化分析和量化的技術(shù)。

這項新技術(shù)最重要的先決條件是TU Berlin和Fraunhofer HHI早期開發(fā)的方法，即所謂的分層相關(guān)傳播(LRP)算法，該算法允許根據(jù)AI系統(tǒng)做出決策的輸入變量進(jìn)行可視化。擴(kuò)展LRP，新穎的頻譜相關(guān)性分析(SpRAy)可以識別和量化廣泛的學(xué)習(xí)決策行為。以這種方式，現(xiàn)在即使在非常大的數(shù)據(jù)集中也可以檢測到不期望的決策。

據(jù)柏林工業(yè)大學(xué)機(jī)器學(xué)習(xí)教授Klaus-RobertMüller博士稱，這種所謂的“可解釋人工智能”已成為人工智能實際應(yīng)用的最重要步驟之一。“特別是在醫(yī)療診斷或安全關(guān)鍵系統(tǒng)中，不應(yīng)使用采用片狀甚至作弊問題解決策略的AI系統(tǒng)。”

通過使用他們新開發(fā)的算法，研究人員終于能夠?qū)⑷魏维F(xiàn)有的AI系統(tǒng)進(jìn)行測試并獲得有關(guān)它們的定量信息：從幼稚的問題解決行為開始，到欺騙策略到高度精細(xì)的“智能”戰(zhàn)略解決方案。觀察到了。

Fraunhofer HHI的組長Wojciech Samek博士說：“我們對廣泛的學(xué)習(xí)問題解決策略感到非常驚訝。即使是現(xiàn)代人工智能系統(tǒng)也并非總能找到一個從人類角度看起來有意義的解決方案，但有時會使用被稱為聰明的漢斯戰(zhàn)略。“

聰明的漢斯是一匹可以算數(shù)的馬，在20世紀(jì)初被認(rèn)為是一種科學(xué)感受。正如后來發(fā)現(xiàn)的那樣，漢斯并沒有掌握數(shù)學(xué)，但在大約90%的案例中，他能夠從提問者的反應(yīng)中得出正確的答案。

Klaus-RobertMüller和Wojciech Samek周圍的團(tuán)隊也在各種AI系統(tǒng)中發(fā)現(xiàn)了類似的“聰明漢斯”策略。例如，幾年前贏得多個國際圖像分類競賽的人工智能系統(tǒng)采用了一種從人類的角度來看可以被認(rèn)為是天真的策略。它主要根據(jù)背景對圖像進(jìn)行分類。當(dāng)圖片中有大量的水時，圖像被分配到“船”類別。如果有鐵軌，其他圖像被歸類為“火車”。還通過其版權(quán)水印為其他圖片分配了正確的類別。因此，人工智能系統(tǒng)無法解決真正的任務(wù)，即檢測船舶或火車的概念，即使它確實對大多數(shù)圖像進(jìn)行了正確分類。

研究人員還能夠在一些最先進(jìn)的人工智能算法中找到這些類型的錯誤解決問題的策略，即所謂的深度神經(jīng)網(wǎng)絡(luò)算法，這種算法被認(rèn)為可以免受這種失誤的影響。這些網(wǎng)絡(luò)的分類決策部分基于在準(zhǔn)備圖像期間創(chuàng)建的工件，并且與實際圖像內(nèi)容無關(guān)。

“這種人工智能系統(tǒng)在實踐中沒有用。它們在醫(yī)療診斷或安全關(guān)鍵領(lǐng)域的使用甚至?xí)砭薮蟮奈ｋU，”Klaus-RobertMüller說。“可以想象，目前使用的大約一半AI系統(tǒng)隱含或明確地依賴于這種Clever Hans戰(zhàn)略。現(xiàn)在是時候系統(tǒng)地檢查它，以便開發(fā)安全的AI系統(tǒng)。”

通過他們的新技術(shù)，研究人員還確定了意外學(xué)習(xí)“智能”策略的人工智能系統(tǒng)。例子包括學(xué)會玩Atari游戲Breakout和Pinball的系統(tǒng)。“在這里，人工智能清楚地理解了游戲的概念，并找到了一種以有針對性和低風(fēng)險的方式收集大量積分的智能方式。系統(tǒng)有時甚至以真正的玩家不會干預(yù)的方式進(jìn)行干預(yù)，”Wojciech說。薩梅克。

“除了理解AI策略之外，我們的工作為迭代數(shù)據(jù)集設(shè)計建立了可解釋AI的可用性，即用于移除數(shù)據(jù)集中的人工制品，這會導(dǎo)致AI學(xué)習(xí)有缺陷的策略，以及幫助確定哪些未標(biāo)記的示例需要注釋和SUTD助理教授Alexander Binder表示，人工智能系統(tǒng)的故障可以減少。

“我們的自動化技術(shù)是開源的，可供所有科學(xué)家使用。我們認(rèn)為我們的工作是使AI系統(tǒng)在未來更加強(qiáng)大，可解釋和安全的重要的第一步，并且必須遵循更多。這是一般必不可少的先決條件。使用AI，“Klaus-RobertMüller說。