NeuroNuggets：CVPR 2018年回顧，第一部分
在Neuromation，我們一直在尋找有助於我們的研究的新的有趣想法。 還有什麼比頂級會議更適合尋找它們的地方。 我們已經在CVPR（計算機視覺和模式識別）會議的研討會DeepGlobe介紹了我們如何取得成功。 這次我們將仔細研究一下CVPR本身最有趣的論文。 這段時間，頂級會議是非常重要的事情，所以我們準備了一系列的推文。 我們介紹的論文沒有特別的順序，不僅選擇優秀的論文，而且與我們在Neuromation所做的研究相關。 這一次，Aleksey Artamonov（你以前見過的人）準備了這份列表，我試圖對其補充一些介紹。 在這個系列中，我們將非常簡短，試圖從每篇論文中提取最多一個有趣的點，所以在這種方式我們不能真正瞭解完整的工作，並強烈建議完整閱讀論文。
GAN和計算機視覺
在第一部分中，我們專注於生成模型，即不僅可以區分貓狗，還可以生成新的貓和狗圖像的機器學習模型。 對於計算機視覺，最成功的一類生成模型是生成性對抗網絡（GAN），其鑑別器網絡學習區分生成的對象和真實對象，生成器學習去欺騙鑑別器。 我們已經多次寫過GAN（例如，這裏和這裏），所以讓我們直接進入正題。
尋找戶外的小臉
Y. Bai等人，用生成性對抗網絡在戶外尋找小小的面孔
在沙特和中國研究人員的合作中，作者使用GAN來檢測和放大人羣照片上的非常小的面孔。 即使僅檢測小面孔也是一個有趣的問題，普通的人臉檢測器（例如，在我們之前的帖子中出現）通常無法解決該問題。 在這裏，作者提出了一個端到端的流水線來提取面部，然後應用生成模型將其提升到4倍（一個稱爲超分辨率的過程）。 以下是論文中的流水線概覽：
PairedCycleGAN化妝
H. Chang等人，PairedCycleGAN：用於和去除化妝的不對稱樣式轉移
條件GAN已經廣泛用於圖像處理; 我們已經提到過超分辨率，GAN也成功應用於風格轉換。 使用GAN，可以學習與特定圖像元素相對應的顯着特徵 - 然後更改它們。 在這項工作中，來自普林斯頓、伯克利和Adobe的研究人員提出了一個修飾照片的框架。 這項工作的一個有趣的部分是作者爲不同的臉部組成部分（眼睛，嘴脣，皮膚）訓練單獨的生成器並分別應用它們，用不同的網絡提取臉部組成部分：
GANerated Hands
F. Mueller等人，GANerated Hands for Mon-time RGB for Real-Time 3D Hand Tracking
我們已經寫過關於姿勢估計的文章。 姿勢估計的一個非常重要的子集（通常需要單獨的模型）是手部跟蹤。 通過揮動雙手來操縱計算機的科幻主題尚未完全實現，仍然需要專門的硬件，如Kinect。 像往常一樣，主要問題之一是數據：在哪裏可以找到3D標記的真實視頻流？在這項工作中，作者提出了一種條件GAN架構，能夠將合成的3D模型轉換爲圖像 然後用於訓練手部跟蹤網絡。 這項工作非常吸引我們，合成數據是Neuromation研究的重點，所以我們之後可能會更詳細地考慮它。 同時，這裏是“合成到實際”的GAN架構：
行人遷移GAN
L. Wei 等人，Person Transfer GAN to Bridge Domain Gap for Person Re-Identification
人物重新識別（ReID）是在不同條件和不同情況下拍攝的不同照片上找到同一個人的問題。 這個問題自然而然地成爲許多研究的主題，現在已經相對較好地解決了，但是領域差異問題仍然存在：不同的數據集與人物的圖像具有非常不同的條件（照明，背景等），在一個數據集上訓練的網絡在轉移到另一個數據集（以及例如現實世界的應用程序）時損失很大。 上圖展示了不同的數據集。 爲了解決這個問題，這項工作提出了一種GAN架構，能夠將圖像從一種“數據集樣式”轉移到另一種“數據集樣式”，使用GAN來通過複雜的變換增強真實數據。 它的工作原理如下：
生成模型的眼睛圖像合成
K.Wang等人，用於眼睛圖像合成和眼睛凝視估計的分層生成模型
倫斯勒理工學院的這項工作解決一個非常特殊的問題：生成人眼的圖像。 這不僅對於生成圖像中漂亮的眼睛重要，而且用生成的眼睛解決視線估計問題：人們在看什麼？ 這將爲真正的科幻界面鋪平道路......但這仍然是未來，目前甚至合成眼睛生成也是一個非常難的問題。 作者提出了一個複雜的眼形合成概率模型，並提出了一個GAN架構，根據這個模型生成眼睛 - 取得了巨大的成功。
圖像修復：填寫空白
J. Yu等人，Generative Image Inpainting with Contextual Attention
Adobe Research和伊利諾伊大學厄本那 - 香檳分校的這項工作試圖解決填補圖像空白這個極具挑戰性的問題（見上面的例子）。 通常，修復圖像需要了解潛在場景：在上圖中的右上角，你已經知道臉部是什麼樣的，以及我們根據看到的頭髮和頸部預測臉可能是什麼樣的。 在這項工作中，作者提出了一種基於GAN的方法，可以利用周圍圖像的特徵來改善生成。 該結構由兩部分組成，首先生成粗略結果，然後使用另一個網絡對其進行細化。 結果非常不錯：
今天就是這樣。 這只是第一部分，我們將在下一期繼續進行CVPR 2018回顧，再見。
Sergey Nikolenko Chief Research Officer, Neuromation
Aleksey Artamonov Senior Researcher, Neuromation