檢查視頻隨時間的變化有助于標(biāo)記深度偽造

過去只有擁有雄厚資金的好萊塢制作公司和技術(shù)嫻熟的藝術(shù)家和技術(shù)人員團隊才能制作出精心制作的視頻，逼真的制作工具似乎可以向人們展示和說出他們從未真正做過或說過的話。不再是 - 在線免費提供的軟件可以讓任何擁有計算機和一些時間的人創(chuàng)建令人信服的假視頻。

無論是用于個人報復(fù)，騷擾名人還是影響公眾輿論，深淵都不符合“看見相信”這個古老的公理。

我的研究團隊和我在南加州大學(xué)信息學(xué)院的大學(xué)正在開發(fā)的方式來告訴逼真的假動作和，顯示實際事件的發(fā)生，他們真正的視頻之間的區(qū)別。我們最近的研究發(fā)現(xiàn)了一種新的，更準(zhǔn)確的方法來檢測深度視頻。

一般而言，各種深度偽造算法通過使用機器學(xué)習(xí)技術(shù)來分析目標(biāo)的圖像，識別諸如鼻子，嘴角，眼睛位置等面部表情的關(guān)鍵元素。他們使用該信息來合成該人臉的新圖像，并將它們組合在一起，以創(chuàng)建一個看起來逼真但是假的目標(biāo)視頻。

目前大多數(shù)檢測深度探測的方法包括分別觀察視頻的每個幀，手動或使用檢測算法，以發(fā)現(xiàn)圖像制作過程留下的微小缺陷。如果有足夠的證據(jù)表明有足夠的幀被篡改，則該視頻被認為是偽造的。

然而，deepfake創(chuàng)作者已經(jīng)開始使用大量的圖像和視頻壓縮來模糊他們的結(jié)果，隱藏任何可能揭示其虛假的文物。

算法從視頻中識別幀中的面部元素。Wael Abd-Almageed，CC BY-ND

看序列，而不是單幀

我們的方法試圖通過采用不同的方法來繞過這種欺騙。我們從視頻中提取所有幀并識別顯示目標(biāo)臉部的區(qū)域。然后，我們實際上將所有這些臉部圖像堆疊在一起，確保鼻子，眼睛和嘴巴在每一幀之間都是對齊的。這消除了視頻中頭部移動或攝像機角度偏移的影響。

然后，我們不是單獨查看每個面部圖像，而是查找面部的不同部分隨時間在幀與幀之間移動的不一致性。這有點像設(shè)置一個孩子的翻書，然后觀察序列中奇怪的跳躍。我們發(fā)現(xiàn)這種方法更準(zhǔn)確，部分原因是我們可以識別出比單獨觀察每一幀時更多的虛假證據(jù)。

具體來說，我們在96%的時間內(nèi)檢測到了深度偽造，即使圖像和視頻被嚴(yán)重壓縮也是如此。到目前為止，我們已經(jīng)發(fā)現(xiàn)，只有大學(xué)數(shù)據(jù)庫可用于評估其深度檢測技術(shù)(稱為FaceForensics ++)的唯一大規(guī)模數(shù)據(jù)庫。該數(shù)據(jù)集包含來自三個最著名的深度生成算法Face2Face，F(xiàn)aceSwap和DeepFake的視頻，但是fakers總是在改進他們的方法。

Deepfake檢測是一場軍備競賽，其中的騙子和真相尋求者將繼續(xù)推進他們各自的技術(shù)。因此，限制其對整個社會的影響的工作不僅僅落在研究人員身上。當(dāng)然，學(xué)者和實驗者必須繼續(xù)工作，但這不是全部。我相信社交網(wǎng)絡(luò)平臺也應(yīng)該致力于開發(fā)軟件和政策，以減緩所有類型的錯誤信息的傳播 - 無論是操縱一個人的臉還是以他們從未有過的方式展示他們的整個身體。