工业机器视觉的应用及发展

工业机器视觉收集的各种生产数据是智能化生产的基础，这些数据通过工业以太网等传至工业服务器，由MES/DCS软件系统进行数据处理分析，并与企业资源管理软件（如ERP）联动，提供最优化的生产方案或者定制化生产，柔性制造、智能智造才有可能。

从机器视觉到工业机器视觉

机器视觉这个概念的历史尽管很短，但机器视觉设备的出现并不短。可以说，照相机的诞生就意味着机器视觉的萌芽，包括无声电影也可以归为机器视觉。如今到处可见的各种摄像头，以及人们须臾不离手的手机都是机器视觉产品。现代物流更使得我们生活中的绝大部分商品都用到了机器视觉，如快递商品与超市商品的二维码就是最突出的例子。

从起源来说，机器视觉就是以机器代替人眼的视觉作用。

从发展来说，机器视觉所具备的能力已经超越人眼，仅就尺寸的精确度以及位置的准确度来说，机器视觉更具有优势，而且能力仍在增长中。

从技术上来说，机器视觉作为一项综合技术，集成了多种技术，如图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术（图像增强和分析算法、图像卡、I/O卡等）。一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。

从系统上来说，机器视觉是一套图像处理系统。它由图像摄取装置将被摄取目标转换成图像信号（即机器视觉产品），再将图像信号，结合特定需求，根据像素分布和亮度、颜色等形态信息，转变成数字化信号。如果仅以获取数据为目的，至此已经完成，但是如果要根据获取数据调动设备执行任务，则需要对数字信号进行运算，针对目标特征进行对比，如涂装中的色差，指令设备继续工作，或者转入另一道工序。

简单来说，机器视觉在工业上的应用，就是工业机器视觉。最常见的就是，以机器视觉代替人眼进行测量和判断，更高级一些的可以辅助决策或自行决策。其特点就是利用机器视觉的特性，提高生产的灵活性和自动化程度。一些不适于人工作业的危险工况环境或者人工难以满足要求的场景，都是机器视觉发挥特长的场合。当然，大批量枯燥的重复劳动，如分拣等，也是机器视觉的应用领域。可以说工业机器视觉的快速部署，正是提高生产效率和自动化程度的推进力量。

工业机器视觉的软硬件及技术

工业机器视觉主要有光源、镜头、工业相机、图像采集卡、图像处理系统，算法与软件平台，以及其他外部设备组成。

工业机器视觉硬件

工业光源。光源是机器视觉中基础的部件之一。发挥着照亮目标、突出特征，便于图像处理的作用。同时，要具备克服环境光干扰、保证图像稳定性的能力，以及作为测量或作为参照物的工具性能。特殊情况下，对物体特定部位予以亮度增强。 

相比于普通的照明光源，它的照度、均匀性和稳定性指标更高。基本上要将被测物与背景做出明显区分，保证工业镜头能获得高品质、高对比度的图像。

工业镜头。工业镜头与普通的照相机镜头相比，同样在分辨率、对比度、景深以及像差等指标上，有着更高的要求。需要更小的光学畸变、足够高的光学分辨率、丰富的光谱响应选择等，以满足不同生产环境的应用需求。

工业相机。它具有高的图像稳定性、高传输能力和高抗干扰能力等。其功能是将光信号转变成为可解释的电信号，再将电信号模数转换并交由处理器进行分析和识别。

图1工业机器视觉产业链

目前常用的工业相机，按照芯片类型，基本上分为两种，一种是CCD（Charge Coupled Device），一种是CMOS（Complementary Metal Oxide Semiconductor）相机。

就工业相机来说，按照不同的特性，有不同的分类方法。不同的分类方法，一般对应着不同的应用特点。如按照传感器的结构特性分为线阵相机、面阵相机；按照扫描方式分为隔行扫描相机、逐行扫描相机；按照分辨率大小分为普通分辨率相机、高分辨率相机；按照输出信号方式分为模拟相机、数字相机；按照输出色彩分为单色（黑白）相机、彩色相机；按照输出信号速度分为普通速度相机、高速相机；按照响应频率范围分为可见光（普通）相机、红外相机、紫外相机等。

通常来说，工业相机在性能上更为稳定可靠；在使用上要便于安装，且不易损坏；在工作强度上，要连续工作更长时间；在工作环境上，要适应更恶劣的环境；在反应速度上要更快，便于抓拍高速运动中的物体。

在图像传感器的扫描方式上是逐行的，隔行扫描是不适用的。

在帧率上，工业相机每秒可以拍摄十幅到几百幅图片，远远高于普通相机的2~3幅。

在数据输出上，工业相机不仅输出的是裸数据（raw data），而且其光谱范围也往往比较宽，这是要适合高质量的图像处理算法。普通相机的图像与光谱范围能适合人眼裸视就可以了。

图像采集卡。图像采集卡一般分为两种，一种是模拟采集卡，一种是数字采集卡。模拟采集卡是将模拟视频信号转化成数字信号，也就是将模拟相机输出的图像数据进行采样、量化并转化成电脑可辨别的数字数据，再进行数字处理。而数字采集卡则将相机端的数字图像信号由不同的格式协议，转化成PCIE格式并被主机解读、存储和处理。在可见的未来，会有一种将采集与预处理能力集于一身的数字采集卡，合乎数据带宽增高、预处理能力增大、采集传输可靠性增强、工业视觉标准接口发展及协议国际标准化加速等发展趋势。

工业机器视觉软件

图像处理系统。通常情况下，原始图像很难直接使用，一般都需要对原始图像进行处理，也即二次加工。突出所需特征，减少不需要的特征，为进一步的决策做准备。

图像处理系统的主要技术或者处理方式有多种。

主要的有二值化处理、灰度处理、图像增强、图像滤波等。

通常，数字图像像素被分为256个灰度级别。如果将图像只以黑（0）和白（255）两种像素处理，得到的就是二值化图像。结果，相应地图像就被分成了需要使用的和不需要使用的两部分。

这种处理方式，操作更简单，运算和存储的数据量也更小，系统速度可以得到更好优化。

灰度处理就是将RGB三种颜色的分量相同的彩色图用同一个数值表示，即将彩色图像变为灰度图像，像二值化一样，减少图像数据运算量和存储量。

图像增强是将传送和转换过程中因受干扰而衰减的图像，进行特征突出处理或抑制无用特征，立足于实用。

图像滤波的目的是将图像成形、传输、记录过程中因受杂波（噪声）干扰产生的图像亮点与暗斑过滤掉，提高图像质量，提升可用性。

图像锐化实际上是一种边缘增强，也即划定图像的清晰边界，突出图像的地物边缘、补偿图像的轮廓。同图像增强一样使得图像更清晰，只是作用的区域有所不同。

图像的腐蚀和膨胀，简单说就是将目标图像缩小或放大。通常，两种方法是配合使用的。

算法与算法开发平台。算法一直在不断进化中。第一代算法主要是进行模式识别的图像处理，注重如何改善图像质量。

第二代算法已经可以进行模式识别的图像分析，并利用特征提取工具等多种分析方法识别目标图像。

第三代算法已进化到图像理解深度学习，形成了统一的的图像处理工具，具备分类、分割、检测和识别功能，应用空间得以拓展。

第四代算法可以称之为云端智能计算。在第三代算法的基础上，利用知识图谱的大数据挖掘技术智能寻找工艺规则，建立生产专家库。同时，通过数字孪生在赛博空间进行运营推理，将实际应用中发现的问题进行及时反馈，用于优化和指导工业生产。

算法开发平台是基于图像算子的视觉开发软件集合。如基于算法组件的视觉软件平台、基于组态思想的视觉开发平台、基于云端计算的视觉平台等。它通过运行云平台协议，可以进行工厂边缘计算，由5G或专网上传生产端数据，经过大数据处理，实现工厂智能化管理。

信息处理平台。主要包括DSP处理平台、x86处理平台、AI处理平台与云处理平台等。

机器视觉软件。总体上，软件架构要匹配算力平台，两者密切相关。具体说，机器视觉软件类似人的“大脑”，通过图像处理算法完成对目标物的识别、定位、测量、检测等功能。机器视觉软件分为底层算法和二次开发的软件包两类。前者是包含大量处理算法的工具库，用以开发特定应用，主要使用者为集成商与设备商。后者是封装好的、用以实现某些功能的应用软件，主要供最终用户使用。

机器视觉的功能

工业机器视觉可以实现四种基本功能，即识别、测量、定位和检测。

识别主要完成甄别目标物体的物理特征，包括外形、颜色、字符、条码等表面特征。衡量识别精度的主要指标是准确度和速识度。主要应用于物料、工序与工位等的溯源，方法是读取零部件上的字母、数字、字符（如条形码、二维码等）。

测量是通过以获取的图像像素信息标定为度量单位，精确计算出目标物体的几何尺寸，主要应用于高精度及复杂形态测量。

定位是指获取目标物体的空间位置信息，有二维或三维信息之别，主要是完成辅助操作，常用于元件对位，辅助机器人完成装配、拾取等。

检测是对目标物体的表面状态进行检测，从而判断产品是否存在质量缺陷，如零部件外观缺陷、污染物附着、功能性瑕疵等。

工业机器视觉主要应用消费电子行业

消费电子行业的产品主要包括平板电脑、笔记本、台式机、传统手机（淘汰中）、智能手机、电视和相机等7大类。

其中，智能手机凭借越来越多的消费应用，市场占比逐步攀升，目前已接近50%。

工业机器视觉主要应用在主板、零部件组装、整机组装这三大生产环节。 

随着消费电子产品越来越精密化，在元器件尺寸越来越小的同时，质量标准也在同步提高。因此，对于工业机器视觉的需求不断放大。以5G智能手机为例，产品升级与技术升级，相应地需要机器视觉工具进行升级。 

在主板和零部件组装上，仍以2D视觉为主，3D视觉为辅。

在整机组装上，仍以人力为主。机器视觉主要做外观检测，最多的是做玻璃检测。

在缺陷检测上，是机器视觉应用最广的地方。其高精度、高速度的检测能力，可很好完成对划痕、破损、斑点、色差等的检测。

半导体行业

半导体行业是工业机器视觉应用最早，且较为成熟的领域，这也和半导体行业迭代升级快速有关，其高端市场基本被海外厂商占据。 

从另一方面说，这也和半导体器件精度非常高，人工检测已不能发挥应有作用有关。如半导体的外观缺陷、尺寸、数量、平整度、距离、定位、校准、焊点质量、弯曲度等检测，尤其芯片制作中的检测、定位、切割和封装都需要工业机器视觉来主导。以切割为例，要求定位迅速准确。如果定位出错，整个芯片就会报废。整个切割过程也需要机器视觉系统进行全程定位引导。切割完成后则由机器视觉识别出非缺陷产品进入贴片流程。

图2中国机器视觉行业发展历程

之所以说是主导，即使是传统的半导体封测设备，精度普遍要达到微米（0.001mm）到亚微米（1.0μm）之间，速度大约在每秒40~50平方厘米，误报率5%~10%，2D机器视觉已完全被3D取代，更何况人眼。

先进封装更因小尺寸、轻薄化、高引脚、高速度，大幅缩减芯片尺寸。3D机器视觉在其中发挥着巨大作用，3D视觉检测设备市场正处在高速增长中。

汽车行业

如今的汽车行业已实现高度自动化，工业机器视觉发挥着生产高效、质量保障、安全可靠的巨大作用。

机器视觉已贯穿整个汽车制造过程，包括从初始原料质检到汽车零部件100％在线测量，再对焊接、涂胶、冲孔等工艺过程进行把控，最后对车身总成、整车质量进行把关。

机器视觉检测系统可以完成工艺检测、自动化跟踪、追溯与控制等，包括通过光学字符识别（OCR）技术获取车身零件编码以保证零件在整个制造过程中的可追溯性，通过识别零件的存在或缺失以保证部件装配的完整性，以及通过视觉技术识别产品表面缺陷或加工工具是否存在缺陷以保证生产质量。如汽车总装和零部件检测、焊接质量检测、电器性能检测、发动机检测等。

另外，视觉引导技术则引导机器人进行最佳匹配安装、精确制孔、焊缝引导及跟踪、喷涂引导、风挡玻璃装载引导等。这是汽车行业的主要应用领域，也是目前国内公司创新的主要领域。

而随着新能源和智能汽车的电子零部件占比提升，工业机器视觉的作用越来越重要。

发展趋势

数据显示，2018年工业机器视觉技术市场规模已达 44.4亿美元，预计2023年将达122.9 亿美元，年复合增长率高达21%。

目前，机器视觉正由传统工业视觉向深度学习工业视觉转变，未来工业机器视觉的应用领域越来越宽广。基于此，可将工业机器视觉看做AI的重要分支。

传统工业视觉用一个不恰当的比喻来说，类似于“摆拍”，基本上是完成规定动作。具体说，目标物及其背景、光源、采集光学器材的参数等都是给定的，目标感知区域也是划定的，数字图像是按照要求进行处理的，提取什么信息数据是约定好的，输出给哪台设备也是设计好的。也就是说是按照视觉工程师的一系列设定去完成规定动作，很难适应随机性强、特征复杂的工作任务。如果随机出现了超过机器逻辑之外的复杂外观缺陷检测，也就无能为力。很明显，它没有主动的行为能力，也就是不具备AI的深度学习能力。

未来的工业机器视觉会与AI相结合，解决图像视频场景多样、物体种类繁多，以及非受控条件下，目标物受光照、姿态、遮挡等多变量影响等问题，要独立面对数据量巨大、特征复杂、部分应用需实时自主处理等深度场景。

从现状来看，仍然存在以下制约因素。

一是端侧算力成本越来越高。这和工业机器视觉的深度学习能力成正比，就像高级技工的工资高于学徒工一样，工业机器视觉对算力硬件性能的要求越来越高，直接导致算力成本价格上升。另外，一台独立算力设备很难复用与共享，也是成本升高的重要因素。

二是单点系统维护成本过高。主要是设备调试、软件运维、监控分析必须在工作场地完成所造成的。工业机器视觉在工厂的大规模应用，推高了维护成本。

三是数据孤岛。图像数据的处理也需要在工厂完成，有效数据难以被多个系统共享，导致系统功能更新缓慢，难以适应于移动应用场景。同时，工厂车间的有线互联网建设成本过高、容量不足，无法满足工业相机数据上行的数据容量需求。

四是通用性、智能性欠佳。在通用性上，一些集成应用专用性较强，一台设备可能只适用于一种机器视觉设备或单一行业，研发成本高企。在智能性上，当库存量较多时或者移动速度较快时，机器视觉工作的准确率明显下降，设定的场景超过了它能接受的数值，更适合小规模、品类少和工位分拣与检测，对于复杂堆叠物体则有心无力。这与其缺乏深度学习能力有关。因此，大规模工业应用尚待时日。

实际上，解决以上所有痛点是未来的发展方向。通用机器视觉，以及工业机器视觉的应用场景的不断丰富，将解决成本难题，不仅降低总成本，而且24小时不间断工作，使得成本大大降低。一旦可规模代替产线检测人员、操作人员等，就具备了成本优势。 

更重要的是，工业机器视觉与其他自动化设备相结合，可以支撑更大规模的工业自动化应用，包括工业机器人、数控机床、自动化集成设备等。智能制造不可能离开工业机器视觉的大数据支撑。工业机器视觉收集的各种生产数据是智能化生产的基础，这些数据通过工业以太网等传至工业服务器，由MES/DCS软件系统进行数据处理分析，并与企业资源管理软件（如ERP）联动，提供最优化的生产方案或者定制化生产，柔性制造、智能智造才有可能。