檢查視頻隨時(shí)間的變化有助于標(biāo)記深度偽造

過(guò)去只有擁有雄厚資金的好萊塢制作公司和技術(shù)嫻熟的藝術(shù)家和技術(shù)人員團(tuán)隊(duì)才能制作出精心制作的視頻，逼真的制作工具似乎可以向人們展示和說(shuō)出他們從未真正做過(guò)或說(shuō)過(guò)的話。不再是 - 在線免費(fèi)提供的軟件可以讓任何擁有計(jì)算機(jī)和一些時(shí)間的人創(chuàng)建令人信服的假視頻。

無(wú)論是用于個(gè)人報(bào)復(fù)，騷擾名人還是影響公眾輿論，深淵都不符合“看見(jiàn)相信”這個(gè)古老的公理。

我的研究團(tuán)隊(duì)和我在南加州大學(xué)信息學(xué)院的大學(xué)正在開(kāi)發(fā)的方式來(lái)告訴逼真的假動(dòng)作和，顯示實(shí)際事件的發(fā)生，他們真正的視頻之間的區(qū)別。我們最近的研究發(fā)現(xiàn)了一種新的，更準(zhǔn)確的方法來(lái)檢測(cè)深度視頻。

一般而言，各種深度偽造算法通過(guò)使用機(jī)器學(xué)習(xí)技術(shù)來(lái)分析目標(biāo)的圖像，識(shí)別諸如鼻子，嘴角，眼睛位置等面部表情的關(guān)鍵元素。他們使用該信息來(lái)合成該人臉的新圖像，并將它們組合在一起，以創(chuàng)建一個(gè)看起來(lái)逼真但是假的目標(biāo)視頻。

目前大多數(shù)檢測(cè)深度探測(cè)的方法包括分別觀察視頻的每個(gè)幀，手動(dòng)或使用檢測(cè)算法，以發(fā)現(xiàn)圖像制作過(guò)程留下的微小缺陷。如果有足夠的證據(jù)表明有足夠的幀被篡改，則該視頻被認(rèn)為是偽造的。

然而，deepfake創(chuàng)作者已經(jīng)開(kāi)始使用大量的圖像和視頻壓縮來(lái)模糊他們的結(jié)果，隱藏任何可能揭示其虛假的文物。

算法從視頻中識(shí)別幀中的面部元素。Wael Abd-Almageed，CC BY-ND

看序列，而不是單幀

我們的方法試圖通過(guò)采用不同的方法來(lái)繞過(guò)這種欺騙。我們從視頻中提取所有幀并識(shí)別顯示目標(biāo)臉部的區(qū)域。然后，我們實(shí)際上將所有這些臉部圖像堆疊在一起，確保鼻子，眼睛和嘴巴在每一幀之間都是對(duì)齊的。這消除了視頻中頭部移動(dòng)或攝像機(jī)角度偏移的影響。

然后，我們不是單獨(dú)查看每個(gè)面部圖像，而是查找面部的不同部分隨時(shí)間在幀與幀之間移動(dòng)的不一致性。這有點(diǎn)像設(shè)置一個(gè)孩子的翻書(shū)，然后觀察序列中奇怪的跳躍。我們發(fā)現(xiàn)這種方法更準(zhǔn)確，部分原因是我們可以識(shí)別出比單獨(dú)觀察每一幀時(shí)更多的虛假證據(jù)。

具體來(lái)說(shuō)，我們?cè)?6%的時(shí)間內(nèi)檢測(cè)到了深度偽造，即使圖像和視頻被嚴(yán)重壓縮也是如此。到目前為止，我們已經(jīng)發(fā)現(xiàn)，只有大學(xué)數(shù)據(jù)庫(kù)可用于評(píng)估其深度檢測(cè)技術(shù)(稱(chēng)為FaceForensics ++)的唯一大規(guī)模數(shù)據(jù)庫(kù)。該數(shù)據(jù)集包含來(lái)自三個(gè)最著名的深度生成算法Face2Face，F(xiàn)aceSwap和DeepFake的視頻，但是fakers總是在改進(jìn)他們的方法。

Deepfake檢測(cè)是一場(chǎng)軍備競(jìng)賽，其中的騙子和真相尋求者將繼續(xù)推進(jìn)他們各自的技術(shù)。因此，限制其對(duì)整個(gè)社會(huì)的影響的工作不僅僅落在研究人員身上。當(dāng)然，學(xué)者和實(shí)驗(yàn)者必須繼續(xù)工作，但這不是全部。我相信社交網(wǎng)絡(luò)平臺(tái)也應(yīng)該致力于開(kāi)發(fā)軟件和政策，以減緩所有類(lèi)型的錯(cuò)誤信息的傳播 - 無(wú)論是操縱一個(gè)人的臉還是以他們從未有過(guò)的方式展示他們的整個(gè)身體。