點擊上方“AI算法與圖像處理”，選擇加"星標"或“置頂”
重磅乾貨，第一時間送達
推薦閱讀
導讀
我們對2020年全部計算機視覺綜述論文進行了分方向梳理，本文爲人臉識別方向，包括人臉識別、檢測、面部反欺騙、3D人臉重建、deepfake等方向。
引言
在過去的一年中，計算機視覺領域出現了許多優秀的工作，並推動了相關領域的技術發展與進步。去年上半年，極市曾盤點過計算機視覺領域綜述論文，並進行了分類整理，得到了很多讀者的支持。因此，在2021年初，我們對2020年出現的全部計算機視覺綜述論文進行了分方向梳理，希望能幫助大家學習進步。本文是第五篇，人臉方向。
注：文章將同步更新於Github上，歡迎大家 star/fork（點擊閱讀原文即可跳轉）：
https://github.com/extreme-assistant/survey-computer-vision
綜述一
The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances
標題： 端到端深度人臉識別原理：最新進展綜述
作者： Hang Du, Tao Mei
鏈接： https://arxiv.org/abs/2009.13290
本文共梳理371篇相關文獻。
隨着深度卷積神經網絡和大規模數據集的最新發展，深度人臉識別取得了顯着進展，並已廣泛應用於現實應用中。給定自然圖像或視頻幀作爲輸入，端到端深臉識別系統將輸出臉部特徵以進行識別。爲此，整個系統通常由三個關鍵要素構成：面部檢測，面部預處理和麪部表示。這三個要素都由深度卷積神經網絡實現。在本文中，由於蓬勃發展的深度學習技術極大地提高了它們的能力，因此我們對端到端深度人臉識別各個元素的最新進展進行了全面的調查，分別回顧了基於深度學習的每個元素的進展，涵蓋了許多方面，例如最新的算法設計，評估指標，數據集，性能比較，存在的挑戰以及有希望的未來研究方向。
端到端深度人臉識別系統的標準管道
代表性人臉檢測方法的發展：
綜述二
Face Image Quality Assessment: A Literature Survey
標題： 人臉圖像質量評價的文獻綜述
作者： Torsten Schlett, Christoph Busch
鏈接： https://arxiv.org/abs/2009.01103
本文共梳理173篇相關文獻。
人臉分析和識別系統的性能取決於所採集人臉數據的質量，該質量受衆多因素影響。因此，根據生物統計實用程序自動評估面部數據的質量對於過濾掉低質量的數據很有用。本文概述了在面部生物識別技術框架中的面部質量評估文獻，重點是基於可見波長面部圖像的面部識別，而不是例如深度或紅外質量評估，觀察到了基於深度學習的方法的趨勢，包括最近方法之間的顯着概念差異。
典型的FQA過程：對人臉圖像進行預處理，然後應用FQA，從而輸出標量質量得分，並據此做出決策。
綜述三
The Use of AI for Thermal Emotion Recognition: A Review of Problems and Limitations in Standard Design and Data
標題: 人工智能在熱情感識別中的應用：標準設計和數據中的問題和限制綜述
作者： Catherine Ordun, Sanjay Purushotham
鏈接： https://arxiv.org/abs/2009.10589
隨着對Covid-19放映的熱成像越來越關注，公共部門可能會相信有新的機會將熱學用作計算機視覺和AI的方式。自九十年代末以來，一直在進行熱生理學研究。這項研究位於醫學，心理學，機器學習，光學和情感計算的交叉領域。本文回顧了用於面部表情識別的熱成像與RGB成像的已知因素。熱成像可能會在RGB上爲計算機視覺提供一種半匿名的方式，這種方式已被面部識別中的誤用所困擾。但是，要想將熱圖像用作任何以人爲中心的AI任務的來源，過渡並不容易，並且要依賴於跨多個人口統計的高保真度數據源的可用性和全面的驗證。本文使讀者簡要回顧了熱FER中的機器學習以及爲AI訓練收集和開發熱FER數據的侷限性。
靜止（向上）和疲勞（向下）面部的RGB，近紅外和熱圖像。在熱圖像中，較暗的像素對應於較冷的像素，較淺的像素對應於較熱的像素。
長波IR的波長範圍爲8 µm至15 µm：
綜述四
A Survey On Anti-Spoofing Methods For Face Recognition with RGB Cameras of Generic Consumer Devices
標題: 通用消費類設備RGB攝像頭人臉識別反欺騙方法綜述
作者： Zuheng Ming, Jean-Christophe Burie
鏈接： https://arxiv.org/abs/2010.04145
本文共梳理191篇相關文獻。
基於面部識別的生物識別系統的廣泛部署已使面部表情攻擊檢測（面部反欺騙）成爲一個越來越關鍵的問題。本文徹底研究了在過去的二十年中僅需要普通消費類設備的RGB攝像頭的面部表情攻擊檢測（PAD）方法。本文介紹了現有人臉PAD方法的面向攻擊場景的類型，並回顧了50多種最新的人臉PAD方法及其相關問題，描述了面部PAD領域的主要挑戰，演變和當前趨勢，並提供了對其未來研究的見識。
面部表情攻擊的類型
每個PAD方法子類型旨在檢測的Presentation Attacks（PA）的類型。
基於局部rPPG相關的方法的框架：
綜述五
An Overview of Facial Micro-Expression Analysis: Data, Methodology and Challenge
標題： 人臉微表情分析綜述：數據、方法學與挑戰
作者： Hong-Xia Xie,Ling Lo,Hong-Han Shuai,Wen-Huang Cheng
鏈接： https://arxiv.org/abs/2012.11307
本文共梳理205篇相關文獻。
面部微表情表示在情感交流過程中出現的短暫而微妙的面部運動。與宏表達式相比，由於時間跨度短且粒度變化小，因此微表達式的分析更具挑戰性。近年來，微表情識別（MER）引起了很多關注，因爲它可以使廣泛的應用受益，例如，警察審訊，臨牀診斷，抑鬱症分析和業務談判。本文提供了全新的概述，以討論當今有關MER任務的新研究方向和挑戰。本文從三個新方面回顧了MER方法：從宏觀到微觀的適應，基於關鍵頂點幀的識別以及基於面部動作單元的識別。此外，爲了緩解有限的和有偏差的ME數據的問題，對合成數據的生成進行了調查，以豐富微表達數據的多樣性。
此調查的組織結構是根據通用MER管道進行的：
TSNNLF中用於MER的2D CNN和3D CNN的組合結構：
綜述六
Survey on 3D face reconstruction from uncalibrated images
標題: 基於未標定圖像的三維人臉重建技術綜述
作者： Araceli Morales, Federico M. Sukno
鏈接： https://arxiv.org/abs/2011.05740
本文共梳理203篇相關文獻。
近來，許多注意力集中在將3D數據合併到面部分析及其應用中。儘管提供了面部的更準確表示，但3D面部圖像的獲取要比2D圖片更爲複雜。在開發系統上投入了大量的精力後，這些系統可以從未經校準的2D圖像重建3D人臉。然而，從3D到2D的面部重建問題是不適的，因此需要先驗知識來限制解決方案空間。本文回顧了過去十年中的3D人臉重建方法，重點介紹了僅使用在不受控制的條件下捕獲的2D圖片的方法。本文基於用於添加先驗知識的技術對提出的方法進行分類，考慮了三種主要策略，即統計模型擬合，光度法和深度學習，並分別對其進行了回顧。此外，鑑於統計3D面部模型作爲先驗知識的相關性，本文還解釋了構建過程並提供了可公開獲得的3D面部模型的完整列表。
可用的3DMM的特徵：
綜述七
DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection
標題： DeepFakes：面部操縱和僞造檢測綜述
作者： Ruben Tolosana, Javier Ortega-Garcia
鏈接： https://arxiv.org/abs/2001.00179
本文梳理了105篇相關文獻。
本文對操縱人臉的圖像技術（包括DeepFake方法）以及檢測此類技術的方法進行了全面綜述。論述了四種類型的面部操作：全臉合成、面部身份交換（DeepFakes）、面部屬性操作以及面部表情操作。
每個面部操作組的真實和僞造示例：
綜述八
Deep Learning Based Single Sample Per Person Face Recognition: A Survey
標題： 基於深度學習的單樣本人臉識別研究綜述
作者： Delong Chen, Zewen Li
鏈接： https://arxiv.org/abs/2006.11395
本文共梳理62篇相關文獻。
在某些實際情況下，訓練集中的每個身份只有一個樣本。這種情況稱爲每人單樣本（SSPP），這對有效訓練深度模型提出了巨大挑戰。爲了解決該問題並釋放深度學習的全部潛力，近年來已經提出了許多基於深度學習的SSPP人臉識別方法。對於基於SSPP的傳統方法的人臉識別方法已經進行了幾項全面的調查，但是很少涉及基於新興深度學習的方法。本文將重點放在這些深層方法上，將它們分類爲虛擬樣本方法和通用學習方法。在虛擬樣本方法中，將生成虛擬人臉圖像或虛擬人臉特徵，以利於深度模型的訓練。在通用學習方法中，使用了額外的多樣本通用集。在常規學習方法部分的分析中，涉及傳統方法和深度特徵合併，損失函數改進和網絡結構改進的工作。
研究領域之間的關係：
虛擬人臉圖像和特徵生成方法圖：
綜述九
A survey of face recognition techniques under occlusion
標題： 遮擋下的人臉識別技術綜述
作者： Dan Zeng, Luuk Spreeuwers
鏈接： https://arxiv.org/abs/2006.11366
本文共梳理193篇相關文獻。
遮擋下人臉識別能力有限是一個長期存在的問題，它對人臉識別系統甚至人類提出了獨特的挑戰。與其他挑戰（例如姿勢變化，不同表情等）相比，有關遮擋的問題未被研究覆蓋。儘管如此，遮擋的臉部識別對於在現實應用中充分發揮臉部識別的潛力至關重要。本文將範圍限制爲遮擋人臉識別，首先探討了什麼是遮擋問題以及哪些固有的困難會出現，介紹了遮擋下的人臉檢測，這是人臉識別的第一步。其次，文章介紹現有的面部識別方法如何解決遮擋問題並將其分爲三類，即1）遮擋魯棒特徵提取方法，2）遮擋感知的面部識別方法和3）基於遮擋恢復的面部識別方法。
OFR中涉及不同的遮擋人臉識別測試場景：
綜述十
Biometric Quality: Review and Application to Face Recognition with FaceQnet
標題： 生物特徵質量：FaceQnet在人臉識別中的應用
作者： Javier Hernandez-Ortega, Laurent Beslay
鏈接： https://arxiv.org/abs/2006.03298
本文共梳理53篇相關文獻。
“計算機系統的輸出只能與輸入的信息一樣準確。”這個相當瑣碎的陳述是生物識別的驅動概念之一的基礎：生物識別質量。如今，質量已被廣泛認爲是導致自動生物識別系統性能好壞的首要因素。這些算法在系統的正確運行中起着舉足輕重的作用，向用戶提供反饋並作爲寶貴的審計工具。儘管它們被一致接受，但在這些方法的開發中卻缺少一些最常用和最廣泛使用的生物特徵。本文通過開發FaceQnet解決了對更好的面部質量度量的需求。FaceQnet是一種新穎的開源人臉質量評估工具，受深度學習技術的啓發和支持，該工具爲人臉圖像分配了標量質量度量，以預測其識別精度。NIST已在工作中以及獨立地對FaceQnet的兩個版本進行了全面評估，顯示了該方法的合理性及其相對於當前最新技術指標的競爭力。
由NIST在2019年組織的FRVT-QA活動的結果的簡短摘要，用於評估面部質量指標。：
綜述十一
Threat of Adversarial Attacks on Face Recognition: A Comprehensive Survey
標題： 對抗攻擊對人臉識別的威脅：綜述
作者： Fatemeh Vakhshiteh, Ahmad Nickabadi
鏈接： https://arxiv.org/abs/2007.11709
人臉識別（FR）系統已展示出出色的驗證性能，表明適用於現實世界的應用程序，從社交媒體中的照片標記到自動邊界控制（ABC）。但是，在具有基於深度學習的體系結構的高級FR系統中，僅提高識別效率是不夠的，並且系統還應承受旨在針對其熟練程度而設計的潛在攻擊。最近的研究表明，（較深的）FR系統對難以察覺或可感知但看起來自然的對抗輸入圖像表現出令人着迷的脆弱性，從而使模型無法正確預測輸出。本文對針對FR系統的對抗性攻擊進行了全面調查，並詳細闡述了針對這些系統的新對策的能力。
旨在欺騙FR系統的對抗性攻擊產生方法的大致分類：
綜述十二
Cross-ethnicity Face Anti-spoofing Recognition Challenge: A Review
標題： 跨種族人臉反欺騙識別挑戰：綜述
作者： Ajian Liu, Stan Z. Li
鏈接： https://arxiv.org/abs/2004.10998
本文共梳理47篇相關文獻。
最近，一個多族裔面部反欺騙數據集CASIA-SURF CeFA已經發布，目的是測量種族偏見。它是涵蓋3種種族，3種形態，1,607個主題，2D加3D攻擊類型的最大的最新跨種族面部反欺騙數據集，並且是最近發佈的面部反欺騙數據集中第一個包含顯式種族標籤的數據集。本文圍繞這一新穎資源組織了Chalearn面部反欺騙攻擊檢測挑戰賽，該挑戰賽由單模式（例如RGB）和多模式（例如RGB，深度，紅外（IR））軌道組成，以促進旨在緩解這種情況的研究種族偏見。在開發階段，這兩個軌道都吸引了340個團隊，最後有11個和8個團隊分別在單模式和多模式面部反欺騙識別挑戰中提交了其代碼。所有結果均由組委會進行了驗證並重新運行，並將結果用於最終排名。本文概述了這一挑戰，包括其設計，評估協議和結果摘要。
多模式賽道的9個團隊的ROC。從左到右是協議4_1、4_2和4_3的ROC：
用於人臉反欺騙的多任務網絡體系結構：
綜述十三
The Creation and Detection of Deepfakes: A Survey
標題： 深度僞裝的產生與檢測：綜述
作者： Yisroel Mirsky, Wenke Lee
鏈接： https://arxiv.org/abs/2004.11138
本文共梳理193篇相關文獻。
生成式深度學習算法已經發展到難以分辨真假之間的區別的程度。在2018年，人們發現將這種技術用於不道德和惡意的應用非常容易，例如錯誤信息的傳播，政治領導人的冒充以及無辜者的誹謗。從那時起，這些“深造假”就有了長足發展。在本文中，我們探討了Deepfake的創建和檢測，並提供了有關這些架構如何工作的深入視圖。這項調查的目的是使讀者對（1）如何創建和檢測深造假；（2）該領域的當前趨勢和進步；（3）當前防禦解決方案的缺點；以及（ 4）需要進一步研究和關注的領域。
Deepfake信息信任表：
對抗性機器學習與deepfake之間的區別:
個人微信（如果沒有備註不拉羣！）
請註明：
地區+學校/企業+研究方向+暱稱
![]()
下載1：何愷明頂會分享
在「AI算法與圖像處理」公衆號後臺回覆：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經典工作的總結分析
下載2：終身受益的編程指南：Google編程風格指南
在「AI算法與圖像處理」公衆號後臺回覆：c++，即可下載。歷經十年考驗，最權威的編程規範！
下載3 CVPR2020
在「AI算法與圖像處理」公衆號後臺回覆：
CVPR2020
，即可下載1467篇CVPR 2020論文
覺得不錯就點亮在看吧
![]()
本文分享自微信公衆號 - AI算法與圖像處理（AI_study）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。