點擊下方“AI算法與圖像處理”，一起進步！
重磅乾貨，第一時間送達
AI已經能教你畫油畫了。
隨便給一張圖，筆畫序列秒秒鐘呈現。
比如世界名畫蒙娜麗莎。
亦或是寫實類的小鳥。
還有極具氛圍感的河燈。
總之什麼風格都可以駕馭。
這項技術在Reddit上21小時內就已經有600+的點贊量。
究竟是如何打造的呢？
用前饋網絡預測筆畫
神經繪畫，就是爲給定的圖像生成一系列筆畫，並使用神經網絡進行繪畫式的真實再現過程。
研究團隊提出了一個基於Transformer的框架，叫做Paint Transformer，用前饋網絡來預測筆畫的參數。
由於當前沒有可用的數據集來訓練Paint Transformer，受物體檢測啓發，研究人員設計了一個自訓練Pipeline。
整個模型由兩個模塊組成：筆畫預測器和筆畫渲染器。
給定目標圖像和中間畫布圖像，筆畫預測器，生成一組參數以確定當前筆畫集。
預測器包含了兩個用於特徵嵌入的CNN網路和一個用於參數預測的Transformer。
隨後，筆畫渲染器爲筆畫集彙總的每個筆畫，生成筆畫圖像，並將它們繪製到畫，產生結果圖像，大小爲512*512。
在DETR（用Transformer進行對象檢測）的基礎上，增加了二進制神經元來預測筆畫是否應該被保留。
這樣它就可以在沒有任何現成的數據集的情況下進行訓練，同時還能實現出色的泛化能力。
實驗表明，這一方法比以前的方法取得了更好的繪畫性能，而且訓練和推理成本更低。
百度南大團隊打造
這項技術由百度、南京大學、羅格斯大學共同打造。
目前代碼已經開源，並在一刻相冊App上應用。
論文地址：
https://arxiv.org/abs/2108.03798
GitHub網址：
https://github.com/wzmsltw/PaintTransformer
個人微信（如果沒有備註不拉羣！）
請註明：
地區+學校/企業+研究方向+暱稱
![]()
下載1：何愷明頂會分享
在「AI算法與圖像處理」公衆號後臺回覆：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經典工作的總結分析
下載2：終身受益的編程指南：Google編程風格指南
在「AI算法與圖像處理」公衆號後臺回覆：c++，即可下載。歷經十年考驗，最權威的編程規範！
下載3 CVPR2021
在「AI算法與圖像處理」公衆號後臺回覆：
CVPR
，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文
本文分享自微信公衆號 - AI算法與圖像處理（AI_study）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。