個性化的機器學(xué)習(xí)模型捕捉面部表情的微妙變化

麻省理工學(xué)院媒體實驗室的研究人員開發(fā)了一種機器學(xué)習(xí)模型，它使計算機更接近于像人類一樣自然地解釋我們的情緒。

在“情感計算”這個不斷發(fā)展的領(lǐng)域，正在開發(fā)機器人和計算機來分析面部表情，解釋我們的情緒，并做出相應(yīng)的反應(yīng)。例如，應(yīng)用程序包括監(jiān)控個人的健康和福祉，衡量學(xué)生對課堂的興趣，幫助診斷某些疾病的跡象，以及開發(fā)有用的機器人伴侶。

然而，挑戰(zhàn)在于人們根據(jù)許多因素表達情緒的方式完全不同。在文化，性別和年齡組中可以看到一般差異。但是其他差異甚至更細微：一天中的時間，你睡了多少，甚至你對會話伙伴的熟悉程度都會導(dǎo)致你在某一特定時刻表達幸?；虮瘋姆绞桨l(fā)生微妙的變化。

人類的大腦本能地捕捉到這些偏差，但機器卻在掙扎。近年來開發(fā)了深度學(xué)習(xí)技術(shù)以幫助捕捉微妙之處，但它們?nèi)匀徊槐M可能準(zhǔn)確或適應(yīng)不同人群。

媒體實驗室的研究人員開發(fā)了一種機器學(xué)習(xí)模型，該模型在捕捉這些小的面部表情變化方面優(yōu)于傳統(tǒng)系統(tǒng)，可以在訓(xùn)練數(shù)千張面部圖像時更好地衡量情緒。此外，通過使用一些額外的訓(xùn)練數(shù)據(jù)，該模型可以適應(yīng)全新的一組人，具有相同的功效。目的是改進現(xiàn)有的情感計算技術(shù)。

“這是監(jiān)控我們心情的一種不引人注目的方式，”媒體實驗室研究員，合著作者Oggi Rudovic在一篇描述該模型的論文中說，該論文于上周在機器學(xué)習(xí)與數(shù)據(jù)挖掘會議上發(fā)表。“如果你想要具有社交智能的機器人，你必須聰明地做出這些機器人并自然地回應(yīng)我們的情緒和情緒，更像人類。”

該論文的共同作者是：第一作者Michael Feffer，電氣工程和計算機科學(xué)的本科生; 和Rosalind Picard，媒體藝術(shù)和科學(xué)教授，情感計算研究小組的創(chuàng)始主任。

傳統(tǒng)的情感計算模型使用“一刀切”的概念。他們訓(xùn)練一組圖像描繪各種面部表情，優(yōu)化特征 - 例如唇部在微笑時如何卷曲 - 并將這些一般特征優(yōu)化映射到整個新圖像集。

相反，研究人員將一種名為“專家混合物”(MoE)的技術(shù)與模型個性化技術(shù)結(jié)合起來，這種技術(shù)幫助從個體中挖掘出更細粒度的面部表情數(shù)據(jù)。Rudovic說，這是第一次將這兩種技術(shù)結(jié)合起來用于情感計算。

在MoE中，許多稱為“專家”的神經(jīng)網(wǎng)絡(luò)模型都經(jīng)過培訓(xùn)，專門從事單獨的處理任務(wù)并產(chǎn)生一個輸出。研究人員還整合了一個“門控網(wǎng)絡(luò)”，它可以計算出哪位專家能夠最好地檢測看不見的科目情緒的概率。“基本上，網(wǎng)絡(luò)可以辨別出個人并說'這是給定圖像的合適專家'，”Feffer說。

對于他們的模型，研究人員通過將每個專家與RECOLA數(shù)據(jù)庫中18個單獨視頻錄制中的一個進行匹配來對MoE進行個性化，RECOLA數(shù)據(jù)庫是一個人們在為情感計算應(yīng)用設(shè)計的視頻聊天平臺上進行交談的公共數(shù)據(jù)庫。他們使用9個科目訓(xùn)練模型，并在其他9個科目上對其進行評估，所有視頻分解為單獨的幀。

每個專家和門控網(wǎng)絡(luò)在剩余網(wǎng)絡(luò)(“ResNet”)的幫助下跟蹤每個人的面部表情，該網(wǎng)絡(luò)是用于對象分類的神經(jīng)網(wǎng)絡(luò)。在這樣做時，模型基于效價水平(愉快或不愉快)和喚醒(興奮)對每個幀進行評分 - 通常使用的度量來編碼不同的情緒狀態(tài)。另外，六名人類專家根據(jù)-1(低水平)到1(高水平)的等級標(biāo)記每個框架的價格和喚醒，該模型也用于訓(xùn)練。

然后，研究人員進行了進一步的模型個性化，他們從剩余的主體視頻的某些幀中提供訓(xùn)練的模型數(shù)據(jù)，然后在這些視頻的所有看不見的幀上測試模型。結(jié)果顯示，只有5%到10%的數(shù)據(jù)來自新的人口，該模型大大優(yōu)于傳統(tǒng)模型 - 這意味著它在看不見的圖像上獲得了價值和喚醒，更接近人類專家的解釋。

Rudovic說，這表明模型有可能從人口到人口，或從個人到個人，只有極少的數(shù)據(jù)。“這是關(guān)鍵，”他說。“當(dāng)你有一個新的人口，你必須有辦法解釋數(shù)據(jù)分布的變化[微妙的面部變化]。想象一個模型集來分析一個文化中的面部表情，需要適應(yīng)不同的文化。對于這種數(shù)據(jù)轉(zhuǎn)換，這些模型將會表現(xiàn)不佳。但是如果你只是從一種新的文化中抽取一些來適應(yīng)我們的模型，這些模型可以做得更好，特別是在個人層面。這就是模型個性化的重要性最好的地方可見。”

目前可用于這種情感計算研究的數(shù)據(jù)在膚色方面并不是很多，因此研究人員的訓(xùn)練數(shù)據(jù)是有限的。但是當(dāng)這些數(shù)據(jù)可用時，可以訓(xùn)練模型以用于更多不同的人群。Feffer說，下一步是將模型訓(xùn)練為“一個更具多元文化的更大數(shù)據(jù)集”。

更好的機器 - 人機交互

研究人員說，另一個目標(biāo)是訓(xùn)練模型，幫助計算機和機器人自動從少量變化的數(shù)據(jù)中學(xué)習(xí)，更自然地檢測我們的感受，更好地滿足人類的需求。

例如，它可以在計算機或移動設(shè)備的背景中運行，以跟蹤用戶的基于視頻的對話，并在不同的環(huán)境下學(xué)習(xí)細微的面部表情變化。“你可以讓智能手機應(yīng)用程序或網(wǎng)站之類的東西能夠說明人們的感受，并建議應(yīng)對壓力或疼痛的方法，以及其他對他們的生活產(chǎn)生負面影響的事情，”Feffer說。

這也可能有助于監(jiān)測抑郁癥或癡呆癥，因為人們的面部表情往往因這些條件而微妙地改變。“能夠被動地監(jiān)控我們的面部表情，”Rudovic說，“隨著時間的推移，我們可以將這些模型個性化給用戶，并監(jiān)控他們每天有多少偏差 - 偏離平均表情的平均水平 - 并使用它關(guān)于福祉和健康的指標(biāo)。“

Rudovic說，一個很有前途的應(yīng)用是人機器人互動，例如用于教育目的的個人機器人或機器人，機器人需要適應(yīng)這些機器人來評估許多不同人的情緒狀態(tài)。例如，一個版本被用于幫助機器人更好地解釋自閉癥兒童的情緒。

貝爾法斯特女王大學(xué)心理學(xué)榮譽退休教授，情感計算學(xué)者羅迪·考伊說，麻省理工學(xué)院的作品“說明了我們在這個領(lǐng)域的實際位置”。他說：“我們正在走向可以大致放置的系統(tǒng)，從人們的臉部照片，他們躺在從非常積極到非常消極，從非?；钴S到非常被動的等級。” “一個人給出的情感符號與另一個人給出的符號不一樣，這似乎很直觀，因此情感識別在個性化時更有效，這很有意義。個性化的方法反映了另一個有趣的觀點，即它訓(xùn)練多個“專家”并匯總他們的判斷比訓(xùn)練一個超級專家更有效。兩者一起制作了令人滿意的包裝。“