新穎的軟件可以識別日常情況下的眼神接觸

人眼接觸是重要的信息來源。然而，計(jì)算機(jī)系統(tǒng)在日常情況下識別眼神接觸的能力非常有限。薩爾大學(xué)和馬克斯普朗克信息學(xué)研究所的計(jì)算機(jī)科學(xué)家現(xiàn)已開發(fā)出一種方法，通過該方法可以檢測目光接觸，與目標(biāo)物體的類型和大小，攝像機(jī)的位置或環(huán)境無關(guān)。

“直到現(xiàn)在，如果你要在行人專區(qū)掛一張廣告海報(bào)，你就無法確定有多少人真正看過它，”薩爾蘭大學(xué)和馬克斯普朗克信息學(xué)研究所的Andreas Bulling解釋道。以前系統(tǒng)試圖通過測量凝視方向來捕獲該信息。這需要特殊的眼動追蹤設(shè)備，需要長達(dá)數(shù)分鐘的校準(zhǔn)，并且受試者必須佩戴跟蹤器?，F(xiàn)實(shí)世界的研究，例如在步行區(qū)，甚至只是與多人一起，在最好的情況下是非常復(fù)雜的，在最壞的情況下，是不可能的。

即使使用放置在目標(biāo)海報(bào)上的相機(jī)進(jìn)行機(jī)器學(xué)習(xí)，也只能識別相機(jī)本身。通常，訓(xùn)練數(shù)據(jù)與目標(biāo)環(huán)境中的數(shù)據(jù)之間的差異太大。在固定和移動情況下，跟蹤一個用戶或整個組，或在變化的照明條件下，開發(fā)適用于小型和大型目標(biāo)物體的通用眼接觸探測器是非常困難的。

與研究人員Xucong Zhang和Yusuke Sugano一起，Bulling開發(fā)了一種基于新一代算法的方法來估計(jì)注視方向。它們使用特殊類型的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，處于工業(yè)和商業(yè)的許多領(lǐng)域的最前沿。Bulling和他的同事已經(jīng)在這種方法上工作了兩年，并逐步推進(jìn)了這一方法。在他們現(xiàn)在呈現(xiàn)的方法中，進(jìn)行所謂的凝視方向的所謂聚類。通過這種策略，可以根據(jù)各種特征區(qū)分蘋果和梨，而無需明確說明兩者的不同之處。

在第二步驟中，系統(tǒng)識別最可能的聚類，并且所得到的凝視方向估計(jì)用于訓(xùn)練目標(biāo)對象特定的眼睛接觸檢測器。該過程的決定性優(yōu)點(diǎn)在于它可以在沒有用戶參與的情況下執(zhí)行，并且該方法得到改進(jìn)，相機(jī)保持在目標(biāo)對象旁邊并記錄數(shù)據(jù)的時間越長。“通過這種方式，我們的方法將普通相機(jī)變成了眼睛接觸探測器，而不必事先知道或指定目標(biāo)物體的大小或位置，”Bulling解釋說。

研究人員在兩種情況下測試了他們的方法：在工作空間中，攝像機(jī)安裝在目標(biāo)物體上; 在日常情況下，用戶佩戴體上相機(jī)。由于該方法為自身提供了知識，因此即使涉及的人數(shù)，照明條件，相機(jī)位置以及目標(biāo)對象的類型和大小不同，它也是健壯的。

然而，Bulling說，“原則上，我們可以只用一臺攝像機(jī)識別多個目標(biāo)物體上的目光接觸星團(tuán)，但是這些星團(tuán)的分配還不可能。我們的方法目前假設(shè)最近的星團(tuán)屬于目標(biāo)對象，并忽略其他集群。這個限制是我們接下來要解決的問題。“ 然而，他說，“我們提出的方法是向前邁出的一大步。它不僅為自動識別眼神接觸并對其作出反應(yīng)的新用戶界面鋪平了道路，而且還為日常情況下的眼神接觸測量鋪平了道路，例如室外廣告，以前不可能。“