Categories
科技報導

Deepfake天敵出現:使用血氧儀原理識別假面孔,準確率高達97%



DeepFake不再是只有少數研究人員掌握的技術。 越來越多的動機不佳的人將它應用到現實生活的各個方面,引起不必要的誤會,例如編造色情視頻或虛假新聞。 。 最近,在IEEE PAMI(模式分析和機器智能交易)上發表的一篇論文指出,有一些新方法可以準確識別DeepFake視頻,甚至可以識別使用哪種DeepFake視頻的準確性很高。 算法。

本文的有趣之處在於其巧妙的思維方式:認識到由心跳血流引起的面部和麵部細微變化。

血管遍布整個身體,包括面部。 例如,睡覺時,您可能會感到臉上的血流引起輕微的“跳躍”感覺。

隨著心跳引起的血流,人體皮膚也會出現局部性顏色變化。 普通脈搏血氧儀實際上是通過識別這種變化來工作的。 (科學名稱為光電容積描記術,簡稱PPG。稍後將提及該詞。)

由心跳引起的膚色變化也將出現在人的臉上,但肉眼無法察覺且極為隱秘,甚至在視頻中也很難看到。 但是,可以用肉眼清楚地觀察到增強色彩變化效果的視頻特定處理過程:

Deepfake天敵出現:使用血氧儀原理識別假面孔,準確率高達97% 1

您可能會問:這種方法在識別心跳方面是否準確? 當然,Apple Watch和許多血氧儀都使用這種方法。 其準確性與ECG基本一致,如下圖所示:

Deepfake天敵出現:使用血氧儀原理識別假面孔,準確率高達97% 2

紐約州立大學賓漢頓分校和英特爾公司的三位研究人員在這篇新論文中提出了一個重要的主張:空間尺寸還是時間維度繼續,DeepFake的假臉是這種由血液流動引起的微弱變化無法恢復。

空間維度是面部區域,時間維度是心跳頻率。 並不是DeepFake的假面孔不能反映出這種微妙的變化。 經過大量測試後,研究人員發現從DeepFake視頻中的面部讀取的PPG信號不穩定。

這句話的意思是:如果增強DeepFake視頻,您會發現由血流變化引起的顏色變化在臉上非常不自然,並且變化的頻率並不像真正的心跳。

您可以從下圖更清楚地看到:四種DeepFake算法生成的PPG信號有很多“噪音”,而實際視頻中只有很少的“噪音”。

Deepfake天敵出現:使用血氧儀原理識別假面孔,準確率高達97% 3

基於這一命題,研究人員設計了一組基於卷積神經網絡的模型,命名為 假捕手

FakeCatcher提取1)來自不同DeepFake視頻的關鍵臉部區域,以及2)讀取PPG信號,並將兩者組合成一個時空模塊(稱為PPG元素)。 學習了PPG元素之後,您終於可以給出答案了。

Deepfake天敵出現:使用血氧儀原理識別假面孔,準確率高達97% 4

在常用的假臉數據集(例如Face Forensics ++和CelebDF)上,Fake Catcher的準確性可以超過90%。

更重要的是,FakeCatcher不僅可以識別視頻的真假,還可以準確識別假視頻中使用了哪種DeepFake算法-這是因為每種算法的殘留效應噪聲都具有足夠明顯的特徵。 研究人員透露,他們對DeepFakes,Face2Face,FaceSwap和NeuralTex四種主流算法的識別準確率總體超過了93%。

Deepfake天敵出現:使用血氧儀原理識別假面孔,準確率高達97% 5

研究人員認為,本文提出的PPG信號識別思想可以為DeepFake的識別和檢測開闢新的方向。

接下來,他們計劃訓練更複雜的模型,同時訓練真實視頻和DeepFake視頻的PPG信號。

所謂的魔術是一英尺高和一英尺高,在濫用DeepFake算法之前阻止了它們的前進,使它們無處可去。