点击下方“AI算法与图像处理”,一起进步!
重磅干货,第一时间送达
AI已经能教你画油画了。
随便给一张图,笔画序列秒秒钟呈现。
比如世界名画蒙娜丽莎。
亦或是写实类的小鸟。
还有极具氛围感的河灯。
总之什么风格都可以驾驭。
这项技术在Reddit上21小时内就已经有600+的点赞量。
究竟是如何打造的呢?
用前馈网络预测笔画
神经绘画,就是为给定的图像生成一系列笔画,并使用神经网络进行绘画式的真实再现过程。
研究团队提出了一个基于Transformer的框架,叫做Paint Transformer,用前馈网络来预测笔画的参数。
由于当前没有可用的数据集来训练Paint Transformer,受物体检测启发,研究人员设计了一个自训练Pipeline。
整个模型由两个模块组成:笔画预测器和笔画渲染器。
给定目标图像和中间画布图像,笔画预测器,生成一组参数以确定当前笔画集。
预测器包含了两个用于特征嵌入的CNN网路和一个用于参数预测的Transformer。
随后,笔画渲染器为笔画集汇总的每个笔画,生成笔画图像,并将它们绘制到画,产生结果图像,大小为512*512。
在DETR(用Transformer进行对象检测)的基础上,增加了二进制神经元来预测笔画是否应该被保留。
这样它就可以在没有任何现成的数据集的情况下进行训练,同时还能实现出色的泛化能力。
实验表明,这一方法比以前的方法取得了更好的绘画性能,而且训练和推理成本更低。
百度南大团队打造
这项技术由百度、南京大学、罗格斯大学共同打造。
目前代码已经开源,并在一刻相册App上应用。
论文地址:
https://arxiv.org/abs/2108.03798
GitHub网址:
https://github.com/wzmsltw/PaintTransformer
个人微信(如果没有备注不拉群!)
请注明:
地区+学校/企业+研究方向+暱称
下载1:何恺明顶会分享
在「AI算法与图像处理」公众号后台回复:何恺明,即可下载。总共有6份PDF,涉及 ResNet、Mask RCNN等经典工作的总结分析
下载2:终身受益的编程指南:Google编程风格指南
在「AI算法与图像处理」公众号后台回复:c++,即可下载。历经十年考验,最权威的编程规范!
下载3 CVPR2021
在「AI算法与图像处理」公众号后台回复:
CVPR
,即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文
本文分享自微信公众号 - AI算法与图像处理(AI_study)。
如有侵权,请联系 [email protected] 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。