Categories
科技報導

使用“心跳”作為識別假臉的信號,視頻準確率高達97%



Deepfake確實讓人愛與恨。 眾所周知,基於深度學習模型的Deepfake軟件可以創建偽造的面部視頻或圖像。 它在電影,電視和娛樂等行業中具有廣泛的應用場景。 但是自2017年以來,Deepfake也被壞演員用來製作色情影片-《神奇女俠海事》。 據統計,社交網絡上的Deepfake視頻中有96%涉及色情內容,觀眾人數已超過1.3億。

此外,Deepfake也已開始涉足政治領域,並被用來偽造政客的虛假言論。 相關數據也在逐年增加。

使用“心跳”作為識別假臉的信號,視頻準確率高達97% 1

奧巴馬發表與他無關的言論

更重要的是,隨著Deepfake技術的不斷升級,這些假冒視頻越來越難以區分真假,對社會穩定構成了巨大威脅。

最近,在IEEE PAMI(模式分析和機器智能交易)上發表的一篇論文聲稱,有一種新方法可以識別Deepfake視頻,其準確率達97.29%,並且還可以發現製造Deepfake的生成模型。

使用“心跳”作為識別假臉的信號,視頻準確率高達97% 2

更有趣的是,與傳統的檢測方法不同,該論文強調它使用了生物信號心跳。

Deepfake“心跳”檢測方法

本文來自賓漢姆頓大學和英特爾公司組成的研究團隊。 研究小組表示,該AI工具稱為FakeCatcher,它可以通過檢測面部心跳的細微差別來區分真假視頻。

使用“心跳”作為識別假臉的信號,視頻準確率高達97% 3

我們知道血管遍布全身,包括面部。 當心臟跳動時,它將驅使血液流向全身,流動的血液將在面部表面產生微妙的變化,而這種變化是研究人員區分真假視頻的關鍵。

研究人員稱這種區分這種變化的方法為光電容積描記術(PPG)。 簡而言之,它利用光速的脈動變化將其轉換為與心率相對應的電信號。

此原理類似於醫用脈搏血氧儀,Apple Watch和可檢測運動狀態的可穿戴健身跟踪設備的心跳信號。

這項研究的假設是,生物信號是區分真假面孔的重要標誌。 換句話說,假視頻中顯示的“人物”不會顯示出與真實視頻中的人物相似的心跳模式。

基於此,研究人員通過實驗發現,由於血流引起的微弱變化,Deepfake臉不能正常。

英特爾資深研究科學家Ilke Demir表示,

我們從面部的不同部位提取了幾種PPG信號,並觀察了這些信號在空間和時間維度上的一致性。

這裡,空間維度是指面部區域,時間維度是指心跳頻率。 Demir意味著通過讀取PPG信號和增強技術,它可以恢復和放大面部的微弱變化,從而判斷視頻的真實性。

如果是Deepfake視頻,則產生的面部效果將非常不自然。 如下所示:

使用“心跳”作為識別假臉的信號,視頻準確率高達97% 4

具體來說,FakeCatcher的完整檢測過程如下:1)識別關鍵臉部區域; 2)提取生物信號(PPG); 3)使用信號轉換來計算空間和時間維度之間的相關性,並使用特徵集和PPG在映射中捕獲信號特徵並訓練概率; 4)根據真偽的可能性對真假視頻進行分類。

使用“心跳”作為識別假臉的信號,視頻準確率高達97% 5

根據研究人員的說法,在此過程中取得了三項重大進展:

  • 通過信號轉換公式和實驗,驗證了利用生物信號的時空一致性來驗證視頻的真實性的可行性。

  • 提出了一種新型的通用Deepfake檢測器。

  • 提出了一種新的生物信號結構圖,可用於訓練神經網絡進行真實性分類。

  • 構建多樣化的肖像視頻數據集,以提供用於錯誤內容檢測的測試平台。

模型精度測試結果

在實驗之前,為了更準確地評估FakeCatcher模型,研究人員建立了Deepfake數據集,該數據集來自媒體網絡,新聞報導,研究報告等。因此,在模型,分辨率,壓縮率,照明,外觀等比例,幀頻,運動,姿勢,遮擋,內容等問題都是真實存在的。

數據集包​​含142個視頻,大小為30 GB。 根據下圖的分類結果,FakeCatcher對於低分辨率,壓縮,運動,照明,遮擋和其他問題具有魯棒性。

使用“心跳”作為識別假臉的信號,視頻準確率高達97% 6

上部是真實視頻,下部是Deepfake視頻

接下來,研究人員主要進行了兩次實驗驗證。 一種是與當前的深度學習解決方案和其他Deepfake檢測器進行比較。 實驗結果如下:

使用“心跳”作為識別假臉的信號,視頻準確率高達97% 7

其中,Frame和Face代表分割精度,可以看出FakeCatcher最高,達到87.62%。 視頻代表視頻的準確性。 FakeCatcher比最佳架構高8.85%。

應該注意的是,表中的所有實驗都是在自建數據集DF中進行的(60%的訓練和40%的測試拆分)。

第二個是進行跨數據集驗證,包括DF,Celeb DF,FF,FF ++和UADFV數據集。

使用“心跳”作為識別假臉的信號,視頻準確率高達97% 8

第一列是訓練數據集,第二列是測試數據集

從第5行和第6行,FakeCatcher在小型多樣的數據集中的學習效果要好於大型單一數據集。 一方面,DF訓練和FF測試的準確性比反向測試高18.73%。 另一方面,DF數據集僅是FF數據集的5%。 從第三和第六行可以看出,將分集從FF增加到FF ++,可以將DF的精度提高16.9%。

在跨數據集FF ++中,每個原始視頻包含四個合成視頻,每個合成視頻都是使用不同的生成模型生成的。 研究人員將FF ++的原始視頻分為60%的培訓和40%的測試。 然後創建這些集合的四個副本,並從每個集合中刪除由特定模型生成的所有樣本。

在表格的第一列中,每組包含600個真實視頻和1800個三種模型的假視頻,以及400個真實視頻和400個模型的假視頻進行測試。

使用“心跳”作為識別假臉的信號,視頻準確率高達97% 9

從交叉模型評估結果來看,除NeuralTextures之外,其他均非常準確。 神經紋理本質上是一個不同的生成模型。

結果,該論文最終得出結論,基於生物信號的Deepfake視頻檢測器FakeCatcher證明,在GAN級內容中,生物信號的時空維度的一致性不能很好地保持。

此外,通過面部取證實驗和自建的DF數據集的引入,評估了視頻剪輯和視頻的成對分離以及真實性分類方法,得出的準確率分別為99.39%,96%和91.07%分別。 這些結果再次證明,FakeCatcher可以在不依賴視頻生成器,內容,分辨率和質量指標的情況下,以高精度檢測假內容。

欲了解更多論文內容,請訪問:https://arxiv.org/pdf/1901.02212.pdf

參考鏈接:

https://ieeexplore.ieee.org/document/9141516

https://techxplore.com/news/2020-10-deepfake-videos-pulse.html