程序员欢乐送(第40期)

一直保持的追求有三点:技术、快乐、财富,这里记录每周值得分享的内容,周五把欢乐送达。

微信公众号同步更新,欢迎您的关注!

技术

1、DeepFill v2

关注过图像修复领域的朋友,一定听说过DeepFill算法。DeepFill v1算法开源已久,是CVPR 2018的一篇佳作。DeepFill v2的论文放出也有一阵子了,但是一直没有开源。

10月27日,作者团队终于在Github放出自己的代码,效果很是惊艳,论文也被收录到了ICCV2019 Oral。

图像修复(Image Inpainting)要解决的问题是在内容缺失的图片上进行填充,填充后的图片尽量自然。例如,左图是原始图片,中间标记想去掉的部分,右图就是去除后的效果。可以看到,去除后的背景纹理也跟着一起修复了。其实,算法就是根据去除区域的背景纹理,对空白区域进行了自然纹理填充。

项目地址:https://github.com/JiahuiYu/generative_inpainting

2、Few-shot vid2vid

GAN在图像生成领域虽然研究十分广泛,然而在视频生成领域却还存在许多问题。主要原因在于生成的视频很难保证前后帧的一致性,容易出现抖动。

vid2vid在pix2pixHD基础上,加入了时序约束,改善了抖动问题,实现了高分辨率的视频生成。

虽然vid2vid合成技术已经取得了显著进展,但依然存在以下两种局限:

其一,现有方法极其需要数据。训练过程中需要大量目标人物或场景的图像;

其二,学习到的模型泛化能力不足。

为了克服这两种局限,英伟达的研究者提出了 Few-shot vid2vid,一种基于小样本的vid2vid算法,该算法可以利用少量的数据,就可以实现视频的合成。

有一些很有趣的玩法,比如,可以让一个雕像,跟随人的节奏跳舞。

再比如,让"蒙娜丽莎"跟随人的表情"说话"。

至于代码,作者在issues中提到,他们正在等在律师的反馈,得到批准后,代码会很快发布出来。

感兴趣的朋友,可以持续跟进下。

项目地址:https://github.com/NVlabs/few-shot-vid2vid

3、PySlowFast

不过还有一个令人恼火的问题有待解决:视频理解。

视频理解指的是对视频片段进行分析并进行解读。虽然有一些最新的进展,现代算法还远远达不到人类的理解层次。

FaceBook AI Research何凯明团队提出了SlowFast,一种新颖的方法来分析视频片段的内容。算法采用快慢双通道网络FastPath和SlowPath,FastPath负责捕捉动作信息,SlowPath负责捕捉视觉语义信息,最后在无预训练的情况下,在Kinetics数据集上视频分类准确率达到了79.0%,在AVA action detection数据集上达到了当前最好的28.3mAP。

10月28日,算法的代码也在Github上放出。

项目地址:https://github.com/facebookresearch/SlowFast

4、SinGAN

SinGAN将GAN带入了一个新领域,从单幅自然图像中学习非条件生成模型,它能够捕捉图像的内部块分布信息,生成具有相同视觉内容的高质量、多变的样本。

SinGAN使用多尺度对抗训练方案来跨多个尺度学习图像内部统计信息,可以将其用于生成新的逼真图像样本,该样本在生成新目标和结构的同时保留原始图像块分布。

有了SinGAN是不是在一定程度上可以帮你解决训练样本不够,样本不均衡的问题呢?

项目地址:https://github.com/tamarott/SinGAN

5、Gaussian YOLOv3

做过目标检测的,对YOLOv3应该都不陌生,Gaussian YOLOv3就是对YOLOv3的一个改进版本。

Gaussian YOLOv3针对自动驾驶室外场景,通过高斯建模,损失函数重构等方法,改进了YOLOv3算法精度,提高TP并显着降低FP,同时保持实时性。

与YOLOv3相比,改进后的算法在KITTI数据上的mAP提高了3.09。

项目地址:https://github.com/jwchoi384/Gaussian_YOLOv3

6、Photoshop 2020

Adobe为Photoshop 2020准备了新的功能,一键抠图。采用用机器学习算法,快速扣取目标,不仅识别精准,还能机智地保留细节。

毛发也都能分割的很好,有不太理想的地方,也可以再修修补补。

其实,功能实现的背后,就是用到了类似Deep Image Matting的算法。

Adobe还没有公布该功能的正式发布时间,不过官方表示:快了。

7、ClothFlow

ClothFlow是一个基于外观流的衣服生成模型,主要用于将一个图片中的服装渲染到另外一张图片上,其想要实现的效果是这样的:

具体的实现方式,是使用一个级联的特征金字塔网络,估算源服装区域和目标服装区域的几何变换,然后通过多个基于编码器-解码器的生成网络来实现“衣服迁移”。

在论文中,作者也多次提到了这一研究的应用场景:虚拟试衣等服装相关应用。

尤其是在直播场景中,有不少的想象空间。这一技术成熟后,主播可以虚拟换装,省去买衣服的成本和换衣服的时间。而且, 用户也可以根据自己的喜好给主播选穿什么样的衣服。

论文地址:Han_ClothFlow_A_Flow-Based_Model_for_Clothed_Person_Generation_ICCV_2019_paper.pdf

快乐

1、来自老父亲的爱

2、凭实力单身

财富

聊聊最近的A股,A股的强势股换了又换,如今轮到了区块链相关企业。

10月24日下午,大大在主持学习时强调,区块链技术的集成应用在新的技术革新和产业变革中起着重要作用

10月25日,老百姓看到新闻的时候,A股已经停盘。晚上,美股开盘,拥有区块链技术的迅雷一夜之间暴涨107%。

10月28日,A股开盘,新湖中宝、文化长城等拥有区块链技术的公司股票相继涨停。

截止10月31日,文化长城6板,新通联5板,区块链总龙头新湖中宝也是稳稳的缩量4板。涨停梯队看着很完整,但涨停数降至新低14家,跌停增至59家,涨停股连涨率35.71%,连板4家,炸板率46%,短线氛围冰点。

再说说A股大盘,美联储降息,美股再创新高,印度股市也创新高,全世界都在涨,唯独A股全线下挫。

2019年,还剩下2个月。今年的A股,在全球表现不算差,年初来了波气势十足的小涨,人们以为盼着的牛市到来了,结果股市跌宕起伏,震荡到现在。

定投的基金,投了大半年,亏损的日子比盈利的日子多一些,不过整体还好,属于可接受范围,符合预期。

500ETF这两天跌了不少,快到了阶段性低位,感兴趣的朋友,可以关注一波。

最后

本周的程序员欢乐送,到此结束,下周再会。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章