原创：计算机视觉工坊
编辑：3D视觉工坊
作者：白杨
点击上方“计算机视觉工坊”，选择“星标”
干货第一时间送达
本文转载自「计算机视觉工坊」，该公众号重点在于介绍深度学习、智能驾驶等领域，一个小众的公众号。
一、应用背景
印刷品作为产品包装的一种主要形式，具有外观精美、清洁卫生、成本低廉、使用方便等优点，在众多行业得到了广泛的应用，其特点是材质多样、工艺复杂、质量要求高。在本问题域中，印刷品主要涉及三个主要类型：不干胶标签、烟盒包装和塑料薄膜软包装。其中，不干胶标签主要包括：药品标签、电子产品标签、日化品标签、食品标签；烟盒包装包括：软盒包装和硬盒包装；塑料薄膜软包装主要包括：药品包装、食品包装、日化品包装。标签、烟包和软包装典型的产品图像如图1～图3所示。
图 1 药品标签
图 3 塑料软包装
印刷品生产过程中可能会产生各种各样的缺陷，如墨点、异物、文字残缺、漏印、色差、套印不准、脏点、刀丝、拖墨、划伤、溢胶、气泡等。这些缺陷一旦出现在产品包装上，产品视觉观感将大打折扣，严重影响产品的品牌、降低客户满意度。目前，印刷企业主要以频闪灯照明、人工粗略局部抽检进行质量控制。由于人眼的局限性，质量得不到有效控制。随着用户对产品品质要求的不断提高以及行业竞争的加剧，传统的以人工抽检为主的质量检测手段已经严重制约了企业竞争力的提高，用自动化质量检测设备代替人工是必然趋势。目前，市场中已经出现了多种自动化质量检测系统，大都基于视觉图像进行产品外观质量检测。总体而言，国外产品由于综合性能具有较大优势，占据着大部分高端市场。国内产品凭借价格和服务优势，占据着中、低端市场。未来，国内产品要在检测速度、检测能力、易用性、产品外观、可靠性等方面进行全面提升，才能更好地服务国内客户，乃至开拓国际市场。因此，产品技术升级迫在眉睫。
二、检测原理
典型的印刷品检测算法主要包括三大类：
(1)有参照判决。将被检测图像与标准模型比对，包括图像级的逐点比对，特征级的特征比对。标准模板的获取方式，包括基于PDF设计文件和基于好品统计两类。
(2)无参照校验。根据事先定义的产品特征，检测图像中指定区域是否存在违反规则的情况。
(3)混合型判决。综合运用标准模板比对和基于规则的判决两种方法。目前系统缺陷检测选取了“混合型判决”的方法：以无参照的方法检测刀丝缺陷（针对型检测），以有参照的方法检测文字残缺、偏色、墨点、漏白、套印不良等缺陷（通用型检测）。产品的使用过程包括“建模”和“检测”两个主要环节。主要流程如图4所示。
图 4 印刷品缺陷检测系统工作流程示意图
其中，“建模”环节由质量管理人员（QA）或者印刷机机长负责，主要操作步骤包括：产品基本资料输入、标准产品图像获取、设置检测范围、划分特殊检测区域（配准区域、字符区域、刀丝区域、屏蔽区域等）、设置检测标准及相关参数。建模完成后相关数据将保存到统一的数据服务器中，该数据通常称为“模板”。“检测”环节由印刷机长或者普通操作人员负责，主要是完成分辨率标定和进行产品缺陷检测。系统检测算法基本流程如图5所示。
图 5 印刷品缺陷检测算法流程示意图
三、针对型检测算法
拉丝、浅脏、散斑、串色，这类缺陷通用型检测难以检查出来，需要针对性提取其的特征才能查出来。
浅脏：这类缺陷颜色较浅、面积较大，但是如果转换到另一个颜色空间，则缺陷会明显的突出出来，这类缺陷需要进行特殊的颜色转换才能查出来。
散斑：这类缺陷表现为不连续，单个斑点缺陷不大，但是联合起则较大，对于距离一两个像素较近的散斑，则通过数学形态学的方法可以解决，距离较大的散斑则可通过颜色及距离两个维度进行聚类。
颜色测量：在印刷过程中由于不同墨键位置上墨量不同、不同区域版压不同、不同时间温度不同会导致印出产品颜色与标准样有一定的差异。
通过标准白板及专有色卡对采集系统进行标定得到RGB到LAB空间的颜色转换模型，把实时印品不同区域不同颜色的LAB值与标准样本对应区的LAB值比较得到色差△E。
四、通用型检测算法
通用型检测算法，即基于标准模板比对的算法，一般用于检测灰度或者颜色差异比较大、面积稍大的各种缺陷。算法原理：分为离线和在线两个步骤。离线：通过定位校正实时图像与模板图像的位置偏差，把校正后的合格的图像作为样品集训练出大小模板；在线：通过定位校正实时图像，比较实时图像与大小模板每个像素之间的像素值，并计入一个错误值，若样品像素在可接受的范围，其错误值为零，若超过了此范围，就由错误加权计算出其错误值，并进行连通性分析得到Blob、对Blob进行面积、占空比、能量等形状特征分析识别缺陷。
1)大小模板如何生成？
2)错误值如何计算？
根据当前检测图像与模板进行逐点灰度值比较，找出大于大模板图像灰度值（漏印或墨浅）点然后进行加权计算，生成漏印图像；找出小于小模板图像灰度值（脏点或墨浓等）的点进行加权计算，生成脏点图像。错误值根据Tolerance（容忍度）、STEP（步长参数）、GAIN（增益参数）、LIMIT（范围参数）进行计算。
通常情况下，由于产品中的字符区域带有很多重要信息，因此对于字符区域缺陷的检测往往要比其它区域更加严格。典型的字符缺陷包括：漏印、脏点、针孔，分别如下图所示。
字符区域漏印缺陷
字符上针孔缺陷
字符区域墨点缺陷
对字符区域进行特殊的检测，基于现有的图像灰度比对技术基本是可以解决的，但要进行字符区域缺陷检测，前提是：必须在“建模”阶段精确划分出字符区域。目前，这个任务主要是由人工通过建模软件来完成。考虑到不同印刷品，字符颜色、粗细、种类等千差万别，完全依靠手工建模，存在着工作量大、操作繁琐、容易疲劳且带有很大的主观性，因此必须考虑采用智能化的方法进行字符区域自动提取（下篇再做详细分析）。
五、总结
该篇详细介绍了印刷质量缺陷的检测原理，分为通用性检测算法和针对性检测算法。其中通用性检测算法比较有代表性，不仅仅局限于印刷品的检测，其他很多行业都可以应用，详细的实现细节可参考halcon的print_check.hdev例子。本文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群。
一定要备注：研究方向+学校/公司+暱称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题觉得有用，麻烦给个赞和在看~ ![]()
