個性化的機器學習模型捕捉面部表情的微妙變化

麻省理工學院媒體實驗室的研究人員開發(fā)了一種機器學習模型，它使計算機更接近于像人類一樣自然地解釋我們的情緒。

在“情感計算”這個不斷發(fā)展的領域，正在開發(fā)機器人和計算機來分析面部表情，解釋我們的情緒，并做出相應的反應。例如，應用程序包括監(jiān)控個人的健康和福祉，衡量學生對課堂的興趣，幫助診斷某些疾病的跡象，以及開發(fā)有用的機器人伴侶。

然而，挑戰(zhàn)在于人們根據許多因素表達情緒的方式完全不同。在文化，性別和年齡組中可以看到一般差異。但是其他差異甚至更細微：一天中的時間，你睡了多少，甚至你對會話伙伴的熟悉程度都會導致你在某一特定時刻表達幸福或悲傷的方式發(fā)生微妙的變化。

人類的大腦本能地捕捉到這些偏差，但機器卻在掙扎。近年來開發(fā)了深度學習技術以幫助捕捉微妙之處，但它們仍然不盡可能準確或適應不同人群。

媒體實驗室的研究人員開發(fā)了一種機器學習模型，該模型在捕捉這些小的面部表情變化方面優(yōu)于傳統(tǒng)系統(tǒng)，可以在訓練數千張面部圖像時更好地衡量情緒。此外，通過使用一些額外的訓練數據，該模型可以適應全新的一組人，具有相同的功效。目的是改進現有的情感計算技術。

“這是監(jiān)控我們心情的一種不引人注目的方式，”媒體實驗室研究員，合著作者Oggi Rudovic在一篇描述該模型的論文中說，該論文于上周在機器學習與數據挖掘會議上發(fā)表。“如果你想要具有社交智能的機器人，你必須聰明地做出這些機器人并自然地回應我們的情緒和情緒，更像人類。”

該論文的共同作者是：第一作者Michael Feffer，電氣工程和計算機科學的本科生; 和Rosalind Picard，媒體藝術和科學教授，情感計算研究小組的創(chuàng)始主任。

傳統(tǒng)的情感計算模型使用“一刀切”的概念。他們訓練一組圖像描繪各種面部表情，優(yōu)化特征 - 例如唇部在微笑時如何卷曲 - 并將這些一般特征優(yōu)化映射到整個新圖像集。

相反，研究人員將一種名為“專家混合物”(MoE)的技術與模型個性化技術結合起來，這種技術幫助從個體中挖掘出更細粒度的面部表情數據。Rudovic說，這是第一次將這兩種技術結合起來用于情感計算。

在MoE中，許多稱為“專家”的神經網絡模型都經過培訓，專門從事單獨的處理任務并產生一個輸出。研究人員還整合了一個“門控網絡”，它可以計算出哪位專家能夠最好地檢測看不見的科目情緒的概率。“基本上，網絡可以辨別出個人并說'這是給定圖像的合適專家'，”Feffer說。

對于他們的模型，研究人員通過將每個專家與RECOLA數據庫中18個單獨視頻錄制中的一個進行匹配來對MoE進行個性化，RECOLA數據庫是一個人們在為情感計算應用設計的視頻聊天平臺上進行交談的公共數據庫。他們使用9個科目訓練模型，并在其他9個科目上對其進行評估，所有視頻分解為單獨的幀。

每個專家和門控網絡在剩余網絡(“ResNet”)的幫助下跟蹤每個人的面部表情，該網絡是用于對象分類的神經網絡。在這樣做時，模型基于效價水平(愉快或不愉快)和喚醒(興奮)對每個幀進行評分 - 通常使用的度量來編碼不同的情緒狀態(tài)。另外，六名人類專家根據-1(低水平)到1(高水平)的等級標記每個框架的價格和喚醒，該模型也用于訓練。

然后，研究人員進行了進一步的模型個性化，他們從剩余的主體視頻的某些幀中提供訓練的模型數據，然后在這些視頻的所有看不見的幀上測試模型。結果顯示，只有5%到10%的數據來自新的人口，該模型大大優(yōu)于傳統(tǒng)模型 - 這意味著它在看不見的圖像上獲得了價值和喚醒，更接近人類專家的解釋。

Rudovic說，這表明模型有可能從人口到人口，或從個人到個人，只有極少的數據。“這是關鍵，”他說。“當你有一個新的人口，你必須有辦法解釋數據分布的變化[微妙的面部變化]。想象一個模型集來分析一個文化中的面部表情，需要適應不同的文化。對于這種數據轉換，這些模型將會表現不佳。但是如果你只是從一種新的文化中抽取一些來適應我們的模型，這些模型可以做得更好，特別是在個人層面。這就是模型個性化的重要性最好的地方可見。”

目前可用于這種情感計算研究的數據在膚色方面并不是很多，因此研究人員的訓練數據是有限的。但是當這些數據可用時，可以訓練模型以用于更多不同的人群。Feffer說，下一步是將模型訓練為“一個更具多元文化的更大數據集”。

更好的機器 - 人機交互

研究人員說，另一個目標是訓練模型，幫助計算機和機器人自動從少量變化的數據中學習，更自然地檢測我們的感受，更好地滿足人類的需求。

例如，它可以在計算機或移動設備的背景中運行，以跟蹤用戶的基于視頻的對話，并在不同的環(huán)境下學習細微的面部表情變化。“你可以讓智能手機應用程序或網站之類的東西能夠說明人們的感受，并建議應對壓力或疼痛的方法，以及其他對他們的生活產生負面影響的事情，”Feffer說。

這也可能有助于監(jiān)測抑郁癥或癡呆癥，因為人們的面部表情往往因這些條件而微妙地改變。“能夠被動地監(jiān)控我們的面部表情，”Rudovic說，“隨著時間的推移，我們可以將這些模型個性化給用戶，并監(jiān)控他們每天有多少偏差 - 偏離平均表情的平均水平 - 并使用它關于福祉和健康的指標。“

Rudovic說，一個很有前途的應用是人機器人互動，例如用于教育目的的個人機器人或機器人，機器人需要適應這些機器人來評估許多不同人的情緒狀態(tài)。例如，一個版本被用于幫助機器人更好地解釋自閉癥兒童的情緒。

貝爾法斯特女王大學心理學榮譽退休教授，情感計算學者羅迪·考伊說，麻省理工學院的作品“說明了我們在這個領域的實際位置”。他說：“我們正在走向可以大致放置的系統(tǒng)，從人們的臉部照片，他們躺在從非常積極到非常消極，從非常活躍到非常被動的等級。” “一個人給出的情感符號與另一個人給出的符號不一樣，這似乎很直觀，因此情感識別在個性化時更有效，這很有意義。個性化的方法反映了另一個有趣的觀點，即它訓練多個“專家”并匯總他們的判斷比訓練一個超級專家更有效。兩者一起制作了令人滿意的包裝。“