微軟發(fā)布DialogGPT AI對(duì)話模型

微軟研究院的 自然語言處理小組發(fā)布了對(duì)話生成式預(yù)訓(xùn)練轉(zhuǎn)換器(DialoGPT)，這是一種用于自動(dòng)對(duì)話響應(yīng)生成的預(yù)訓(xùn)練深度學(xué)習(xí)自然語言處理(NLP)模型。該模型經(jīng)過了超過1.47億次對(duì)話的培訓(xùn)，并在多個(gè)基準(zhǔn)測(cè)試中獲得了最新的結(jié)果。

該團(tuán)隊(duì)在arXiv上發(fā)表的一篇論文中介紹了該系統(tǒng)的詳細(xì)信息。DialoGPT建立在GPT-2轉(zhuǎn)換器架構(gòu)上，并使用從Reddit注釋線程中抓取的數(shù)據(jù)集進(jìn)行了訓(xùn)練。使用兩個(gè)測(cè)試數(shù)據(jù)集對(duì)模型進(jìn)行了評(píng)估，這兩個(gè)數(shù)據(jù)集是Dialog System Technology Challenges(DSTC-7)數(shù)據(jù)集，還從Reddit中提取了一個(gè)新的6k示例數(shù)據(jù)集。對(duì)于這兩個(gè)數(shù)據(jù)集，該團(tuán)隊(duì)使用機(jī)器翻譯指標(biāo)(例如BLEU和Meteor)來評(píng)估DialoGPT與微軟的Personality Chat相比的性能。以及DSTC-7冠軍“ B隊(duì)”。DialoGPT在所有指標(biāo)上均優(yōu)于其他模型。該團(tuán)隊(duì)還利用人類裁判對(duì)DialoGPT的輸出與真實(shí)人類的反應(yīng)進(jìn)行排名。法官們約有50%的時(shí)間喜歡DialoGPT的回應(yīng)。

該變壓器的架構(gòu)已經(jīng)成為NLP任務(wù)流行的深學(xué)習(xí)模型。這些模型通常使用無監(jiān)督學(xué)習(xí)在大型數(shù)據(jù)集(例如Wikipedia的內(nèi)容)上進(jìn)行預(yù)訓(xùn)練。通過預(yù)訓(xùn)練，模型可以在針對(duì)特定任務(wù)的數(shù)據(jù)集(例如DSTC-7數(shù)據(jù)集)上進(jìn)行微調(diào)之前，學(xué)習(xí)自然的語言結(jié)構(gòu)。即使沒有微調(diào)，大型的預(yù)訓(xùn)練模型也可以實(shí)現(xiàn)最新的結(jié)果在NLP基準(zhǔn)上。但是，DialoGPT團(tuán)隊(duì)指出，這些模型中的許多都是“臭名昭著的，因?yàn)樗鼈兩傻臉颖镜?，?nèi)容不詳。” 為了解決這個(gè)問題，他們實(shí)施了最大互信息(MMI)評(píng)分功能，該功能對(duì)模型的輸出進(jìn)行重新排名，對(duì)“平淡”的輸出進(jìn)行懲罰。研究小組還研究了使用強(qiáng)化學(xué)習(xí) 來改善模型結(jié)果的方法，但發(fā)現(xiàn)這樣做通常會(huì)導(dǎo)致回答只是重復(fù)了源句。

由于缺乏用于對(duì)話任務(wù)的高質(zhì)量訓(xùn)練數(shù)據(jù)集，預(yù)訓(xùn)練模型對(duì)于會(huì)話系統(tǒng)特別有吸引力。但是，使用來自Reddit或Twitter之類的Internet網(wǎng)站的自然對(duì)話信息會(huì)帶來風(fēng)險(xiǎn)，該模型可能會(huì)暴露于攻擊性言論并可以從中學(xué)習(xí)。在與Twitter用戶交談之后，微軟較早的實(shí)驗(yàn)聊天機(jī)器人Tay 產(chǎn)生的輸出 “ 絕對(duì)不合適且應(yīng)受到譴責(zé)”。微軟的個(gè)性聊天云服務(wù)試圖解決這個(gè)問題通過使用一系列機(jī)器學(xué)習(xí)分類器在自動(dòng)生成響應(yīng)之前過濾掉令人反感的輸入。作為預(yù)防措施，DialoGPT團(tuán)隊(duì)選擇不發(fā)布將模型輸出轉(zhuǎn)換為實(shí)際文本字符串的解碼器。同樣，由于擔(dān)心“技術(shù)的惡意應(yīng)用” ，OpenAI 最初保留了其經(jīng)過全面訓(xùn)練的模型。