文章目錄
導讀
圖像分析是CV最重要的分支之一。在CV的各個研究領域中，細粒度圖像分析(FGIA)是一個長期存在的基礎性問題。曠視的研究人員魏秀參等人，將FGIA分爲：細粒度圖像識別、細粒度圖像檢索、細粒度圖像生成，系統地闡述了細粒度圖像分析的前前後後，並探討了細粒度圖像分析的未來方向。
1 細粒度應用和分類
工業和科研領域的應用
- 工業領域：生物多樣性自動監測、氣候變化評估、智能零售、智能交通
- 科研領域：Kaggle比賽-自然保護協會漁業監測(魚類種類分類)、座頭鯨鑑定(鯨魚身份分類)等。
細粒度方法分類
作者給出了一個圖像分析的tutorial。
2 細粒度的問題和挑戰
問題
細粒度圖像分析的對象是某一個類別的子類，如狗、鳥、車等。粗粒度圖像分析的目標對象視覺差異大，細粒度目標圖像視覺差異小。所以，細粒度分析要捕獲更細微的差異（例如，耳朵，鼻子，尾巴等）。
挑戰
細粒度的挑戰是，類間差異小（這是細粒度本質），類內差異大（如姿態、尺度、旋轉，如圖3所示）。
3 數據集
數據集可視化示例
數據集信息統計
CUB200-2011和Birdsnap是有屬性標註的。植物和商品的數據集比較新。
標註信息舉例
4 細粒度圖像識別
分爲三類：（1）定位分類子網絡（2）端到端特徵編碼（3）輔助信息。其中（1）和（2）使用監督信息：標籤、邊界框、部位標註等。（3）使用了比較廉價的輔助信息：網絡數據、文本描述等。細粒度分類的評價標準是：平均分類精度。
4.1 定位分類子網絡
指導思想是：捕獲細粒度目標的判別性的語義部位。此類方法包含兩個部分：定位子網絡和分類子網絡。
定位子網絡的強監督信息有部位級別的邊界框、分割mask，弱監督信息就是標籤。弱監督定位子網絡的動機是：先找到對應的部位，然後比較他們的外觀。
4.2 端到端特徵編碼
端到端的方法，直接學習更有判別力的特徵表示。代表方式就是Bilinear CNNs，因其高模型容量，達到了顯著的細粒度識別性能。但是，bilinear的特徵維度太高，不利於向大數據集擴展。
針對這個問題，學者們嘗試生成更低維的表示，並且保證相當的或者更高的性能。
4.3 輔助信息
網絡數據
這類方法主要集中在：（1）縮小網絡圖像和標註圖像的差異；（2）降低噪聲數據的負面影響。常用的方法是對抗學習和注意力機制。另一個方向是用遷移學習，包括零樣本學習和元學習。
那那那，細粒度零樣本問題
多模態數據
多模態：圖像、文本、知識庫。高級的知識圖。Learning deep representations of fine-grained visual despcriptions結合了文本和圖像來，解決零樣本細粒度問題。
人類參與
有人類參與的細粒度識別是一個包含機器和人類用戶的迭代系統。
5 細粒度圖像檢索
6 細粒度圖像生成
圖像生成是爲了解決無監督問題。
細粒度圖像生成的第一個工作是2017年的CVAE-GAN，模型生成圖片的輸入是標籤和隱含屬性。最近的工作Fine-grained text to image generation with attentional generative adversarial networks，從文本描述生成圖像，通過對文本描述中的相關單詞的注意力引導生成高質量的細節區域。
針對商品的細粒度很有意義
7 細粒度圖像分析相關的特定領域應用
不同的問題都會面臨細粒度場景，比如推薦系統中的衣服/鞋子檢索、電子商務平臺中的時尚圖片識別、智能零售中的商品識別。
人臉識別可以看做身份粒度的識別問題，行人/車輛識別也是細粒度相關的任務，以及重識別問題。
在實際中，這些問題的解決方法包括：捕獲目標（人臉、行人、車輛）的判別性部位，由粗粒度-細粒度的結構信息、基於屬性的模型等等。
8 未來方向
自動細粒度模型
和AutoML自動機器學習或NAS模型搜索結合，替代人工設計的架構。
細粒度小樣本學習
和元學習結合，減少對監督信息的依賴。
細粒度哈希
結合哈希算法，針對大規模細粒度問題，需要更有效的檢索方法。
實際場景下的細粒度分析
結合域適應，遷移學習，長尾分佈，特定設備等方法和場景的不同問題。
參考
- 2017 survey [知乎] 「見微知著」——細粒度圖像分析進展綜述
- 2018 tutorial Fine-Grained Image Analysis Tutorial
- 2019 survey [公衆號] 曠視南京研究院魏秀參：細粒度圖像分析綜述
- 2019 survey [arXiv] Deep Learning for Fine-Grained Image Analysis: A Survey
- 作者主頁
- Awesome FGIA