暴雪和DeepMind發(fā)布了星際爭霸II AI工具集

谷歌的人工智能(AI)實驗室DeepMind和游戲開發(fā)工作室暴雪宣布推出一系列旨在通過即時戰(zhàn)略游戲星際爭霸II加速人工智能研究的工具。

標(biāo)有SC2LE的工具集包括暴雪的機器學(xué)習(xí)API; DeepMind的PySC2工具集的開源迭代; 一個65,000個匿名游戲重放的數(shù)據(jù)集，在接下來的幾周內(nèi)將擴展到超過500,000個，并將有助于模擬學(xué)習(xí)序列預(yù)測和長期記憶; 一套迷你游戲，用于測試特定星際爭霸II任務(wù)的AI性能，例如收集礦物質(zhì)，編制氣體和選擇單位; 以及一份概述環(huán)境和人工智能績效初步基線結(jié)果的聯(lián)合文件。

根據(jù)DeepMind研究科學(xué)家Oriol Vinyals，項目經(jīng)理Stephen Gaffney和軟件工程師Timo Ewalds 的博客文章，在非專為此類研究設(shè)計的游戲中測試人工智能，以及人類玩家優(yōu)秀的“對于基準代理性能至關(guān)重要”。

“星際爭霸的部分長壽歸功于豐富的多層次游戲，這也使其成為人工智能研究的理想環(huán)境，”博客文章稱。

“例如，雖然游戲的目標(biāo)是擊敗對手，但玩家還必須執(zhí)行和平衡一些子目標(biāo)，例如收集資源或建筑結(jié)構(gòu)。

“此外，游戲可能需要幾分鐘到一個小時才能完成，這意味著游戲早期采取的行動可能無法在很長一段時間內(nèi)獲得回報。最后，地圖只是部分被觀察到，這意味著代理商必須使用組合記憶和計劃成功。“

他們補充說，星際爭霸游戲中有大約1億個可能的動作，而在Atari游戲中 - DeepMind也用于人工智能研究 - 只有300個基本動作。根據(jù)DeepMind的說法，游戲的受歡迎程度也意味著需要學(xué)習(xí)大量的重播數(shù)據(jù)，以及人工智能玩的大量反對者。

DeepMind表示它具有孤立的元素，包括單位類型，健康狀況和地圖可見性，將游戲分解為“功能層”，迷你游戲有助于為AI提供可管理的塊來學(xué)習(xí)基本操作。

“我們最初的調(diào)查表明，我們的代理商在這些迷你游戲中表現(xiàn)良好。但是當(dāng)涉及到整個游戲時，即使是最強大的內(nèi)置AI，即使是強大的基線代理商，如A3C也無法贏得單一游戲，”博客帖子說，并補充說，一個代理人未能完成瑣碎的任務(wù)，如保持其工人采礦。

“我們希望這些新工具的發(fā)布將建立在AI社區(qū)已經(jīng)在星際爭霸中完成的工作的基礎(chǔ)上，鼓勵更多的DeepRL研究，并使研究人員更容易專注于我們領(lǐng)域的前沿。”

DeepMind在11月份宣布它將使用星際爭霸II作為人工智能和機器學(xué)習(xí)研究的測試平臺，在全球范圍內(nèi)開放環(huán)境。

“我們與星際爭霸II團隊密切合作，開發(fā)了一個支持類似于之前使用'腳本'界面編寫的機器人的API，允許對各個單元進行編程控制并訪問完整的游戲狀態(tài)(還有一些新選項) )，“ DeepMind當(dāng)時說道。

“最終，代理將直接從像素中播放，所以為了讓我們在那里，我們開發(fā)了一個新的基于圖像的界面，輸出簡化的低分辨率RGB圖像數(shù)據(jù)用于地圖和小地圖，以及將功能分解為單獨的選項'層'，如地形高度場，單位類型，單位健康等。“

因此，AI引擎必須利用記憶，繪圖，長??期規(guī)劃的技能，并使用不斷收集的信息來適應(yīng)計劃的變化，這轉(zhuǎn)化為分層規(guī)劃和強化學(xué)習(xí)。

DeepMind還使用Go等復(fù)雜游戲來測試AI，其中AI AlphaGo在5月?lián)魯×耸澜绻谲娍平堋?/p>

Go，一個源自的古老棋盤游戲，與10 ^ 120種可能的國際象棋游戲相比，有10 ^ 761種可能的游戲。

然后，DeepMind 退出AlphaGo，轉(zhuǎn)而專注于使用AI創(chuàng)建先進的算法，以幫助科學(xué)家開發(fā)治療疾病，減少能量消耗和發(fā)明新材料。

DeepMind正與英國Moorfields眼科醫(yī)院和倫敦大學(xué)學(xué)院(UCLH)信托基金會合作，通過算法閱讀掃描。它還與衛(wèi)生服務(wù)部門合作，嘗試使用機器學(xué)習(xí)計劃對個別頭頸癌患者使用放射治療，這可以改善手術(shù)的等待時間，并為全國的醫(yī)生騰出更多時間。