基于深度学习的金属表面瑕疵识别

由于原材料、轧制工艺、人为、环境等因素的影响，金属工件在生产过程中往往会出现划痕、黄斑、杂质等瑕疵，在加工链早期引入的瑕疵会导致后续加工问题或在应用阶段性能受损以及引发故障。

金属表面瑕疵会严重影响产品的稳定性、功能性和美观性，瑕疵检测是工业质量控制的重要组成部分，对提高生产质量具有重要意义。

对金属表面瑕疵进行分类可以快速识别和消除其发生的原因，轧制金属的缺陷是标准化的，现代装置和控制系统根据其参数的描述对缺陷进行分类，这些参数在不同的工艺条件下可能会有所不同，缺陷的特征因生产环境以及生产者等因素的变化而变化，不受公认标准的约束，生产过程中即使很小的变化也会导致新型缺陷的出现。

即使瑕疵类别相同，在形状、结构上也会有所不同，这使得它们的分类变得复杂，对缺陷特征的不准确描述也会导致漏检或错检的现象发生。

目前，金属表面的瑕疵检测主要由工作人员采用人工目视检测，目视检测难以定量分析，这个过程取决于许多因素，包括员工的经验程度、视觉疲劳等主观因素，检测置信度较低，难以保证数据的客观性与准确性。

由于漏检或错检致使瑕疵品掺杂于正常品中，后期合成的成品的性能将难以保证，对生产制造商带来重大的财物损失，因此工业对于检测和分类金属表面瑕疵的自动化系统的需求非常高。

本文的研究对象是连接或断开电气设备之间电路的重要电气组件，这种金属产品被广泛用于开关、断路器和继电器等电气行业的重要部件中。对于以此种金属制品为组件的产品而言，其质量对产品性能的完整性以及可靠性起着至关重要的作用，在其使用寿命内必须稳定可靠地进行百万次接触。

金属表面瑕疵识别的挑战

尽管现在已经涌现出许多基于机器视觉的瑕疵检测方法，但是基于机器视觉的瑕疵检测仍然是一项新颖的技术，并且该技术需要针对特定任务特定分析与设计，金属表面瑕疵检测仍处于研究阶段。

金属表面瑕疵的识别和检测对机器视觉领域提出了许多挑战，挑战包括：

1）类别复杂

研究对象表面的瑕疵类别繁多，不同类别的瑕疵也存在一定的交叉性，即使同一类别内的瑕疵在颜色、形态、位置等方面也存在许多差异性。

并且，具体瑕疵的类别不受标准的约束，在实际生产环节，随生产环境、操作人员的变化而变化，一点点微小的变化都可能引入一种新的瑕疵类别。

2）表面反射率高

金属产品的表面光滑，其表面的高反射率容易带来高光以及阴影区，这种灰度值不一致的现象增加了伪边缘检测的可能性，在冷却环节中产生的水滴、水布、雨线、水雾等构成的伪缺陷也会对分类系统造成一定的干扰。

3）推理速度

在实际生产环节中，待测产品往往处于转速较快的转盘之上，基于机器视觉的金属表面瑕疵识别系统需要快速可靠地依次对各个产品做出判别，并依据判别结果将产品划分为给定的类别。

4）部署需求

具有良好性能的深度学习模型同时伴随着高额的存储空间以及计算资源的消耗，难以在资源受限的设备中进行部署。

传统机器视觉VS深度学习

基于机器视觉的金属表面瑕疵识别是冶金工业领域的研究热点，传统机器视觉识别方式的关键点在于针对给定目标，由工程师决定选择运用哪些特征描述以与其它类别加以区分，同时每个特征定义都需要处理很多参数，由工程师进行微调，需要很强的专业领域知识，构建的瑕疵识别系统在准确率以及迁移性上比较差。

深度学习利用大数据和丰富的计算资源来提高预测性能，与传统机器视觉识相比具有更强大的特征学习以及特征表达能力，已经突破了数字图像处理领域的极限。

传统的图像分类研究主要由研究人员针对所要解决的问题，设计并提取定性或定量表达的特征，对这些特征进行统计分析或进行阈值分割得出结果。

在特征提取环节，依赖于研究者的先验知识以及对分类任务的认知，容易忽视或未能理解一些复杂、隐藏或非直觉的现象而忽略一些特征变量，而提取的特征直接影响系统的性能。

传统的图像分类往往是针对某个特定的识别任务，数据规模不大，泛化能力较差，对于庞大的图像数据，严重的图像干扰等情形，难以在实际应用中实现精准的识别效果。

除此以外，传统的图像处理方法常需要复杂的阈值设置来进行缺陷识别，这些阈值设置对光照条件和背景等环境因素很敏感。如果环境因素发生变化，这些阈值的设置需要重新仔细调整，否则算法无法适应新的环境，缺乏适应性和鲁棒性。

传统图像分类与深度学习分类的对比

与传统的图像处理方法相比，在特征提取环节，深度学习可以从原始数据中自动提取更高维、更抽象的特征，替代了繁杂的人工特征描述与提取环节；

与之相比，在计算机视觉领域，基于深度学习的网络模型具备更强的特征学习和特征表达能力，神经网络可以以积极的方式揭示更多影响识别质量的特征，可构建更加通用和准确的识别方法。

金属表面瑕疵识别

金属产品在转盘上按一定方向转动，当其位于摄像头下方时进行图像采集，原始图像是由工业相机在平行光源下成像获得，采集的图像构成数据集。由于现场拍摄到的金属工件图像受打光不均、污渍灰尘、机械装置震动等因素的影响，拍摄到的原始图像往往背景不够单纯，含有各类干扰，导致图像特征提取困难。加之工业环境相对较为复杂，空气中的灰尘、细小纤维以及生产环节的残留的水汽，油渍等难免会进入到相机拍摄范围内，对瑕疵检测造成一定的干扰，因此有必要对采集到的图像进行预处理，以排除干扰将图像转换为更适合后续特征提取的形式。通过图像预处理也可以减少图像处理时间，提供更高的识别精度。

特征提取是一种数据降维的特殊形式，特征提取的主要目标是从原始数据中排除无关紧要以及冗余的信息，进而获取最具区分性的信息，并以较低维度的形式表示该信息。

本文将金属产品分为3个区域区别处理，分别为纹理区域、光滑区域和外圆区域。

纹理区域比较特殊，表面不平整但具有一定的纹理特性，需要单独提取出来特殊处理。正常金属产品的光滑区域较为平整，针对不同产品的光滑区域，正常品灰度值趋势平缓而瑕疵品灰度值趋势波动，将该区域单独提取出来，可以更好的利用这种优势。

光照并非均匀照射到整个金属产品表面，但光照过渡较为平缓。为减弱光照不均的影响，便于后续特征提取环节，本次使用8个扇形掩膜将光滑区域和外圆区域平均分成8个区域，对应于编号1-8。

对不同区域设定不同阈值，可减少光照不均带来的不良影响，更便于对金属产品进行特征提取，例如金属产品表面右侧打光较亮，灰度均值相比左侧较高，则设定的阈值可适当提高，同样，在金属产品左侧，灰度均值较低，则设定的阈值可适当降低。

在采集金属表面图像的过程中，对光照条件要求较高，并且光滑的金属表面意味着高反射率，容易在金属表面形成高亮或阴影区，这种不一致的灰度现象增加了边缘检测的困难性。这些场景广泛存在于实际的工业环境中，对金属表面缺陷的检测提出了巨大的挑战。

以上为本文研究的四种金属产品表面的瑕疵类型。

光照不均且金属表面的高反射性增大了瑕疵检测的难度，在外圆区域瑕疵检测性能不佳，为了更好地展示所提系统的性能，本文主要以光滑区域的实验结果进行展示。