一個(gè)情緒深度對(duì)齊網(wǎng)絡(luò) 用于對(duì)情緒進(jìn)行分類和可視化

波蘭 - 日本信息技術(shù)學(xué)院和華沙理工大學(xué)的研究人員開(kāi)發(fā)了一種深度對(duì)齊網(wǎng)絡(luò)(DAN)模型，用于對(duì)情緒進(jìn)行分類和可視化。他們的方法在兩個(gè)基準(zhǔn)數(shù)據(jù)集上的表現(xiàn)優(yōu)于最先進(jìn)的情緒分類方法。

開(kāi)發(fā)能夠識(shí)別和分類人類情感的模型是機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)領(lǐng)域的關(guān)鍵挑戰(zhàn)。大多數(shù)現(xiàn)有的情緒識(shí)別工具使用多層卷積網(wǎng)絡(luò)，其在分類階段沒(méi)有明確地推斷面部特征。

進(jìn)行最近研究的研究人員Ivona Tautkute和Tomasz Trzcinski最初正在為一家位于加利福尼亞州的初創(chuàng)公司開(kāi)發(fā)一個(gè)系統(tǒng)，該系統(tǒng)可以集成到自動(dòng)駕駛汽車中。該系統(tǒng)能夠根據(jù)從安裝在汽車內(nèi)部的單個(gè)攝像機(jī)提取的數(shù)據(jù)對(duì)乘客進(jìn)行計(jì)數(shù)。

在稍后階段，兩位研究人員開(kāi)始探索可能做得更多的模型，通過(guò)估計(jì)他們的年齡和性別來(lái)創(chuàng)建更廣泛的乘客統(tǒng)計(jì)數(shù)據(jù)。這個(gè)系統(tǒng)的一個(gè)明顯的擴(kuò)展是它也可以檢測(cè)面部表情和情緒。

“由于該系統(tǒng)將用于老年乘客，因此捕捉與駕駛員脫離相關(guān)的負(fù)面和積極情緒非常重要，”Tautkute解釋說(shuō)。“現(xiàn)有的情感識(shí)別方法遠(yuǎn)非完美，所以我們開(kāi)始尋找有趣的新方法來(lái)改進(jìn)。在與計(jì)算機(jī)視覺(jué)研究員Marek Kowalski討論之后，我們想到了一個(gè)想法，他正在與深度對(duì)齊網(wǎng)絡(luò)進(jìn)行面部對(duì)齊(DAN)。面部地標(biāo)的位置與表達(dá)的情感直接相關(guān)，因此我們很好奇我們是否可以建立一個(gè)將這兩個(gè)任務(wù)結(jié)合起來(lái)的系統(tǒng)。“

由Tautkute和Trzcinski設(shè)計(jì)的模型 EmotionalDAN 是Kowalski的DAN模型的改編版，其中包括與面部特征相關(guān)的術(shù)語(yǔ)。由于這種修改，他們的模型同時(shí)學(xué)習(xí)了面部地標(biāo)和表達(dá)情感的位置。

“我們通過(guò)一個(gè)負(fù)責(zé)情緒分類的術(shù)語(yǔ)擴(kuò)展了原來(lái)DAN的損失功能來(lái)實(shí)現(xiàn)這一目標(biāo)，”Tautkute說(shuō)。“神經(jīng)網(wǎng)絡(luò)在連續(xù)階段進(jìn)行訓(xùn)練，可以改善面部地標(biāo)和學(xué)習(xí)情緒。階段之間還有信息傳遞，跟蹤標(biāo)準(zhǔn)化的面部輸入，特征地圖和地標(biāo)熱圖。”

在初步評(píng)估中，EmotionalDAN 在兩個(gè)基準(zhǔn)數(shù)據(jù)集(即CK +和ISED)上的表現(xiàn)優(yōu)于最先進(jìn)的分類方法 5%。在做出決定時(shí)，研究人員還能夠通過(guò)模型分析圖像區(qū)域。他們的觀察表明，EmotionalDAN可以正確識(shí)別與人類情緒表達(dá)相關(guān)的面部標(biāo)志。

“我們的研究真正有趣的是，即使我們不向網(wǎng)絡(luò)提供任何與情緒相關(guān)的空間信息，該模型也能夠自己學(xué)習(xí)在嘗試?yán)斫饷娌勘砬闀r(shí)應(yīng)該看到哪些區(qū)域，”Tautkute說(shuō)過(guò)。“我們?nèi)祟愔庇^地看著一個(gè)人的眼睛和嘴巴注意到微笑或悲傷，但神經(jīng)網(wǎng)絡(luò)只能看到一個(gè)像素矩陣。驗(yàn)證哪些圖像區(qū)域被激活用于給定的分類決策使我們更接近理解模型及其如何做出決定。“

盡管EmotionalDAN和其他情感識(shí)別工具取得了非常有希望的結(jié)果，但理解人類情感仍然是一項(xiàng)非常復(fù)雜的任務(wù)。雖然現(xiàn)有系統(tǒng)已經(jīng)取得了顯著的成果，但是當(dāng)情緒在很大程度上得到表達(dá)時(shí)，它們主要能夠這樣做。

然而，在現(xiàn)實(shí)生活中，人類表達(dá)的情感線索往往更微妙。例如，一個(gè)人的幸?？赡懿⒉豢偸峭ㄟ^(guò)以寬闊的笑容展示所有牙齒來(lái)傳達(dá)，但可能僅僅需要唇角的輕微移動(dòng)。

“了解情感的更多主觀方面以及他們的表達(dá)在個(gè)體之間的差異將會(huì)非常有趣，”Tautkute說(shuō)。“為了更進(jìn)一步，人們可以嘗試將假情緒與真實(shí)情緒區(qū)分開(kāi)來(lái)。例如，神經(jīng)科醫(yī)生說(shuō)不同的面部肌肉涉及真實(shí)和假的微笑。特別是，眼睛肌肉在強(qiáng)迫表達(dá)中不收縮。這將是有趣的是使用從數(shù)據(jù)中學(xué)習(xí)的信息發(fā)現(xiàn)類似的關(guān)系。“