图片鉴黄答辩之图像分类调参

随着互联网的发展,内容安全成为互联网不得不面临的严峻挑战。互动社区的崛起,网友素质的参差不齐,由于“涉黄”被勒令关闭的网站多如牛毛,因此“鉴黄”也显得尤为重要。虽然各个互联网企业都有专门的人员来做内容审核,但是无法跟上内容发展的速度,人工审核容易出现审核不及时、高成本、主观判断影响结果等问题。

因此通过深度学习的人工智能技术来进行图片鉴黄也是迫在眉睫。在本数据集一共包括5种图片类别,每个类别至少有1000张图像,其中训练集、验证集和测试集划分比例为6:2:2. 

分析:赛题为图像5分类问题,初步选用resnet50 , vgg19 ,densenet 进行测试得分,使用预训练权重,改变softmax输出层的输出特征维度为5。

 

核心思路(解决方法的重点和亮点。包括但不限于数据预处理、数据增强、模型选择、模型优化、模型集成等)

进一步尝试后,采用了resnext网络,使用开源权重(from github)调参明细如下: 

  • 选用网络resnext101_32x16和pretrained weights :,引用pytorch相关库实现,
  • 图像变换 : 0.5概率的水平翻转。 
  • 冻结网络层 : 前5层(此赛题效果最佳)。引用前人调参经验如下:场景:数据集小,数据相似度不高  在这种情况下,我们可以冻结预训练模型中的前k个层中的权重,然后重新训练后面的n-k个层,当然最后一层也需要根据相应的输出格式来进行修改。  
  • 因为数据的相似度不高,重新训练的过程就变得非常关键。而新数据集大小的不足,则是通过冻结预训练模型的前k层进行弥补。 
  • 图像size :2245. 衰减的学习率 : 余弦退火策略 - torch.optim.lr_scheduler.CosineAnnealingLR()

 

心得收获(竞赛收获,上分经验,比赛技巧) 

  • 就图像分类finetuning而言,模型和权重的选择至关重要。合适的网络类型有助于高的准确率,而预训练模型决定了网络的起步ACC 和 收敛速度,快速收敛到全局最优。 
  • 图像大小的话,一般情况224差不多,太大的话显存不够用,就要降低batch_size了,可能影响ACC。
  • 学习率由大到小衰减,策略选用.CosineAnnealing。 相关方法已经封装在pytorch里了。
  • 图像变换的话,简单高效选定一两样即可。 比如 中心裁剪,水平、垂直翻转,仿射变换,绕中心旋转,像素擦除。最后的话,在赛末阶段,提升0.几分都得靠运气,尽量多提交几次。 可以在torchvison这个包中找到相应方法。

本文为作者在FlyAI平台发布的原创内容,采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可,转载请附上原文出处链接和本声明。
本文链接地址(视频讲解直达):https://www.flyai.com/n/97740

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章