中国是一个制造大国,每天都要生产大量的工业产品。用户和生产企业对产品质量的要求越来越高,除要求满足使用性能外,还要有良好的外观,即良好的表面质量。但是,在制造产品的过程中,表面缺陷的产生往往是不可避免的。
人工检测是产品表面缺陷的传统检测方法,该方法抽检率低、准确性不高、实时性差、效率低、劳动强度大、受人工经验和主观因素的影响大,而基于机器视觉的检测方法可以很大程度上克服上述弊端。
美国机器人工业协会(RIA)对机器视觉下的定义为:“机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像,以获得所需信息或用于控制机器人运动的装置”。
机器视觉检测系统通过适当的光源和图像传感器(CCD摄像机)获取产品的表面图像,利用相应的图像处理算法提取图像的特征信息,然后根据特征信息进行表面缺陷的定位、识别、分级等判别和统计、存储、查询等操作。
视觉表面缺陷检测系统基本组成主要包括图像获取模块、图像处理模块、图像分析模块、数据管理及人机接口模块。
图像获取模块
图像获取模块由CCD摄像机、光学镜头、光源及其夹持装置等组成,其功能是完成产品表面图像的采集。在光源的照明下,通过光学镜头将产品表面成像于相机传感器上,光信号先转换成电信号,进而转换成计算机能处理的数字信号。
图像处理模块
图像处理模块主要涉及图像去噪、图像增强与复原、缺陷的检测和目标分割。
由于现场环境、CCD图像光电转换、传输电路及电子元件都会使图像产生噪声,这些噪声降低了图像的质量从而对图像的处理和分析带来不良影响,所以要对图像进行预处理以去噪。
图像增强目是针对给定图像的应用场合,有目的地强调图像的整体或局部特性,将原来不清晰的图像变得清晰或强调某些感兴趣的特征,扩大图像中不同物体特征之间的差别,抑制不感兴趣的特征,使之改善图像质量、丰富信息量,加强图像判读和识别效果的图像处理方法。
图像复原是通过计算机处理,对质量下降的图像加以重建或复原的处理过程。图像复原很多时候采用与图像增强同样的方法,但图像增强的结果还需要下一阶段来验证;而图像复原试图利用退化过程的先验知识,来恢复已被退化图像的本来面目,如加性噪声的消除、运动模糊的复原等。
图像分割的目的是把图像中目标区域分割出来,以便进行下一步的处理。
图像分析模块主要涉及特征提取、特征选择和图像识别。
特征提取的作用是从图像像素中提取可以描述目标特性的表达量,把不同目标间的差异映射到低维的特征空间,从而有利于压缩数据量、提高识别率。
表面缺陷检测通常提取的特征有纹理特征、几何形状特征、颜色特征、变换系数特征等,用这些多信息融合的特征向量来可靠地区分不同类型的缺陷;这些特征之间一般存在冗余信息,即并不能保证特征集是最优的,好的特征集应具备简约性和鲁棒性,为此,还需要进一步从特征集中选择更有利于分类的特征,即特征的选择。
图像识别主要根据提取的特征集来训练分类器,使其对表面缺陷类型进行正确的分类识别。
产品缺陷检测
产品缺陷检测方法可以分为三种。
第一种是人工检测法,这种方法不仅成本高,而且在对微小缺陷进行判别时,难以达到所需要的精度和速度,人工检测法还存在劳动强度大、检测标准一致性差等缺点。
第二种是机械装置接触检测法,这种方法虽然在质量上能满足生产的需要,但存在检测设备价格高、灵活性差、速度慢等缺点。
第三种是机器视觉检测法,即利用图像处理和分析对产品可能存在的缺陷进行检测,这种方法采用非接触的工作方式,安装灵活,测量精度和速度都比较高。同一台机器视觉检测设备可以实现对不同产品的多参数检测,为企业节约大笔设备开支。
差值检测缺陷
待检测物品的缺陷表现在图像上,即为缺陷处的灰度值与标准图像的差异。将缺陷图像的灰度值同标准图像进行比较,判断其差值(两幅图灰度值的差异程度)是否超出预先设定的阈值范围,就能判断出待测物品有无缺陷。
表面缺陷类型
在实际应用中,不同产品对缺陷的定义也不一样。一般来说,产品表面缺陷分为结构缺陷、几何缺陷和颜色缺陷等几种类型。
常见的工件完整性检测属于结构缺陷检测,尺寸规格检测属于几何缺陷检测,而印刷品质量检测中常需要进行颜色缺陷检测。
问题和难点
基于机器视觉的表面缺陷检测将是未来研究和发展的主要方向,目前,基于机器视觉的表面缺陷检测理论研究和实际应用等环节均有可喜的成果,但仍存在下面主要的问题和难点:
1、受环境、光照、生产工艺和噪声等多重因素影响,检测系统的信噪比一般较低,微弱信号难以检出或不能与噪声有效区分。如何构建稳定、可靠、鲁棒的检测系统,以适应光照变化、噪声以及其他外界不良环境的干扰,是要解决的问题之一。
2、 由于检测对象多样、表面缺陷种类繁多、形态多样、复杂背景,对于众多缺陷类型产生的机理以及其外在表现形式之间的关系尚不明确,致使对缺陷的描述不充分,缺陷的特征提取有效性不高,缺陷目标分割困难;同时,很难找到“标准”图像作为参照,这给缺陷的检测和分类带来困难,造成识别率尚有待提高。
3、机器视觉表面缺陷检测,特别是在线检测,其特点是数据量庞大、冗余信息多、特征空间维度高,同时考虑到真正的机器视觉面对的对象和问题的多样性,从海量数据中提取有限缺陷信息的算法能力不足,实时性不高。
4、与机器视觉表面检测密切相关的人工智能理论虽然得到了很大的发展,但如何模拟人类大脑的信息处理功能去构建智能机器视觉系统还需要理论上的进一步研究,如何更好的基于生物视觉认识、指导机器视觉的检测也是研究人员的难点之一。
5、从机器视觉表面检测的准确性方面来看,尽管一系列优秀的算法不断出现,但在实际应用中准确率仍然与满足实际应用的需求尚有一定差距,如何解决准确识别与模糊特征之间、实时性与准确性之间的矛盾仍然是目前的难点。
发展趋势
随着计算机技术、信息技术、电子技术、传感器技术和仿生技术等的发展,机器视觉检测方法也必将得到迅速的发展。技术和市场需求等因素决定了机器视觉表面缺陷检测的发展趋势为:
1、MARR理论对计算机视觉发挥了巨大作用,其核心是将视觉理解为3D重建的过程。但是,从3D场景到2D图像是一个多对一的映射,在映射的过程中损失了深度信息;灰度是对场景的惟一的测量值,诸如光照、材料特性、朝向和距离等信息都无法反映;成像中由于噪声及环境等因素的干扰,都会使图像产生失真。为此,需要研究视觉检测新理论和新方法,如发展主动视觉、增强视觉系统的智能学习能力等。
2、从生物视觉得到启发,吸收来自心理学、生理学等其他学科中生物视觉的最新研究成果,基于生物视觉机制为视觉检测提供研究新思路,模仿生物视觉多尺度、层次性的视觉特点,结合视觉任务,引入先验高级知识的指导,同时将机器视觉、机器听觉、机器嗅觉、机器触觉等多信息相互融合,突破单一视觉信息的局限性,也将成为机器视觉检测的发展方向之一。
3、研究更具鲁棒性的图像处理和分析算法,提高图像处理的有效性和和执行效率,降低算法的复杂度,提高识别的准确性。在在线检测系统中,要特别注重实时性,视觉本身具有内在的并行性,为此,还在要理论、算法和技术等多方面研究视觉并行计算,提高视觉计算的速度。同时,进一步研究算法性能的评价方法,以对算法的效率和性能作了科学、准确的刻画和评价。
4、研究完整3维场景重建方法。现有3维场景重建理论和算法基本都局限于对目标“可视”部分的重构,如果用Marr视觉计算理论来说,还主要停留在2.5维表达上,这种表达仅提供了物体可见轮廓以内的3维信息。如何恢复物体完整表面的信息,即包括物体表面不可见部分,是一个复杂但也亟待解决的问题。
5、采用统一而开放的标准,构建标准化、一体化和通用化的解决方案,标准化与个性化的进一步统一,研发可靠性高、维护性好、便于不断完善和升级换代、网络化、自动化和智能化更高的机器视觉系统是今后的发展趋势。
总结
机器视觉系统的研究和应用范围涵盖了工业、农业、医药、军事、交通和安全等国民经济的各个领域,基于机器视觉的产品表面质量检测在现代自动化生产中得到了越来越多的重视和应用。
机器视觉表面缺陷检测系统中,图像处理和分析算法是重要的内容,通常的流程包括图像的预处理、目标区域的分割、特征提取和选择及缺陷的识别分类。每个处理流程都出现了大量的算法,这些算法各有优缺点和其适应范围。如何提高算法的准确性、执行效率、实时性和鲁棒性,一直是研究者们努力的方向。
机器视觉表面检测比较复杂,涉及众多学科和理论,机器视觉是对人类视觉的模拟,但是目前对人的视觉机制尚不清楚,尽管每一个正常人都是“视觉专家”,但难以用计算机表达自己的视觉过程,因此构建机器视觉检测系统还要进一步通过研究生物视觉机理来完善,使检测进一步向自动化和智能化方向发展。
人工检测是产品表面缺陷的传统检测方法,该方法抽检率低、准确性不高、实时性差、效率低、劳动强度大、受人工经验和主观因素的影响大,而基于机器视觉的检测方法可以很大程度上克服上述弊端。
美国机器人工业协会(RIA)对机器视觉下的定义为:“机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像,以获得所需信息或用于控制机器人运动的装置”。
机器视觉检测系统通过适当的光源和图像传感器(CCD摄像机)获取产品的表面图像,利用相应的图像处理算法提取图像的特征信息,然后根据特征信息进行表面缺陷的定位、识别、分级等判别和统计、存储、查询等操作。
视觉表面缺陷检测系统基本组成主要包括图像获取模块、图像处理模块、图像分析模块、数据管理及人机接口模块。
图像获取模块
图像获取模块由CCD摄像机、光学镜头、光源及其夹持装置等组成,其功能是完成产品表面图像的采集。在光源的照明下,通过光学镜头将产品表面成像于相机传感器上,光信号先转换成电信号,进而转换成计算机能处理的数字信号。
图像处理模块
图像处理模块主要涉及图像去噪、图像增强与复原、缺陷的检测和目标分割。
由于现场环境、CCD图像光电转换、传输电路及电子元件都会使图像产生噪声,这些噪声降低了图像的质量从而对图像的处理和分析带来不良影响,所以要对图像进行预处理以去噪。
图像增强目是针对给定图像的应用场合,有目的地强调图像的整体或局部特性,将原来不清晰的图像变得清晰或强调某些感兴趣的特征,扩大图像中不同物体特征之间的差别,抑制不感兴趣的特征,使之改善图像质量、丰富信息量,加强图像判读和识别效果的图像处理方法。
图像复原是通过计算机处理,对质量下降的图像加以重建或复原的处理过程。图像复原很多时候采用与图像增强同样的方法,但图像增强的结果还需要下一阶段来验证;而图像复原试图利用退化过程的先验知识,来恢复已被退化图像的本来面目,如加性噪声的消除、运动模糊的复原等。
图像分割的目的是把图像中目标区域分割出来,以便进行下一步的处理。
图像分析模块主要涉及特征提取、特征选择和图像识别。
特征提取的作用是从图像像素中提取可以描述目标特性的表达量,把不同目标间的差异映射到低维的特征空间,从而有利于压缩数据量、提高识别率。
表面缺陷检测通常提取的特征有纹理特征、几何形状特征、颜色特征、变换系数特征等,用这些多信息融合的特征向量来可靠地区分不同类型的缺陷;这些特征之间一般存在冗余信息,即并不能保证特征集是最优的,好的特征集应具备简约性和鲁棒性,为此,还需要进一步从特征集中选择更有利于分类的特征,即特征的选择。
图像识别主要根据提取的特征集来训练分类器,使其对表面缺陷类型进行正确的分类识别。
产品缺陷检测
产品缺陷检测方法可以分为三种。
第一种是人工检测法,这种方法不仅成本高,而且在对微小缺陷进行判别时,难以达到所需要的精度和速度,人工检测法还存在劳动强度大、检测标准一致性差等缺点。
第二种是机械装置接触检测法,这种方法虽然在质量上能满足生产的需要,但存在检测设备价格高、灵活性差、速度慢等缺点。
第三种是机器视觉检测法,即利用图像处理和分析对产品可能存在的缺陷进行检测,这种方法采用非接触的工作方式,安装灵活,测量精度和速度都比较高。同一台机器视觉检测设备可以实现对不同产品的多参数检测,为企业节约大笔设备开支。
差值检测缺陷
待检测物品的缺陷表现在图像上,即为缺陷处的灰度值与标准图像的差异。将缺陷图像的灰度值同标准图像进行比较,判断其差值(两幅图灰度值的差异程度)是否超出预先设定的阈值范围,就能判断出待测物品有无缺陷。
表面缺陷类型
在实际应用中,不同产品对缺陷的定义也不一样。一般来说,产品表面缺陷分为结构缺陷、几何缺陷和颜色缺陷等几种类型。
常见的工件完整性检测属于结构缺陷检测,尺寸规格检测属于几何缺陷检测,而印刷品质量检测中常需要进行颜色缺陷检测。
问题和难点
基于机器视觉的表面缺陷检测将是未来研究和发展的主要方向,目前,基于机器视觉的表面缺陷检测理论研究和实际应用等环节均有可喜的成果,但仍存在下面主要的问题和难点:
1、受环境、光照、生产工艺和噪声等多重因素影响,检测系统的信噪比一般较低,微弱信号难以检出或不能与噪声有效区分。如何构建稳定、可靠、鲁棒的检测系统,以适应光照变化、噪声以及其他外界不良环境的干扰,是要解决的问题之一。
2、 由于检测对象多样、表面缺陷种类繁多、形态多样、复杂背景,对于众多缺陷类型产生的机理以及其外在表现形式之间的关系尚不明确,致使对缺陷的描述不充分,缺陷的特征提取有效性不高,缺陷目标分割困难;同时,很难找到“标准”图像作为参照,这给缺陷的检测和分类带来困难,造成识别率尚有待提高。
3、机器视觉表面缺陷检测,特别是在线检测,其特点是数据量庞大、冗余信息多、特征空间维度高,同时考虑到真正的机器视觉面对的对象和问题的多样性,从海量数据中提取有限缺陷信息的算法能力不足,实时性不高。
4、与机器视觉表面检测密切相关的人工智能理论虽然得到了很大的发展,但如何模拟人类大脑的信息处理功能去构建智能机器视觉系统还需要理论上的进一步研究,如何更好的基于生物视觉认识、指导机器视觉的检测也是研究人员的难点之一。
5、从机器视觉表面检测的准确性方面来看,尽管一系列优秀的算法不断出现,但在实际应用中准确率仍然与满足实际应用的需求尚有一定差距,如何解决准确识别与模糊特征之间、实时性与准确性之间的矛盾仍然是目前的难点。
发展趋势
随着计算机技术、信息技术、电子技术、传感器技术和仿生技术等的发展,机器视觉检测方法也必将得到迅速的发展。技术和市场需求等因素决定了机器视觉表面缺陷检测的发展趋势为:
1、MARR理论对计算机视觉发挥了巨大作用,其核心是将视觉理解为3D重建的过程。但是,从3D场景到2D图像是一个多对一的映射,在映射的过程中损失了深度信息;灰度是对场景的惟一的测量值,诸如光照、材料特性、朝向和距离等信息都无法反映;成像中由于噪声及环境等因素的干扰,都会使图像产生失真。为此,需要研究视觉检测新理论和新方法,如发展主动视觉、增强视觉系统的智能学习能力等。
2、从生物视觉得到启发,吸收来自心理学、生理学等其他学科中生物视觉的最新研究成果,基于生物视觉机制为视觉检测提供研究新思路,模仿生物视觉多尺度、层次性的视觉特点,结合视觉任务,引入先验高级知识的指导,同时将机器视觉、机器听觉、机器嗅觉、机器触觉等多信息相互融合,突破单一视觉信息的局限性,也将成为机器视觉检测的发展方向之一。
3、研究更具鲁棒性的图像处理和分析算法,提高图像处理的有效性和和执行效率,降低算法的复杂度,提高识别的准确性。在在线检测系统中,要特别注重实时性,视觉本身具有内在的并行性,为此,还在要理论、算法和技术等多方面研究视觉并行计算,提高视觉计算的速度。同时,进一步研究算法性能的评价方法,以对算法的效率和性能作了科学、准确的刻画和评价。
4、研究完整3维场景重建方法。现有3维场景重建理论和算法基本都局限于对目标“可视”部分的重构,如果用Marr视觉计算理论来说,还主要停留在2.5维表达上,这种表达仅提供了物体可见轮廓以内的3维信息。如何恢复物体完整表面的信息,即包括物体表面不可见部分,是一个复杂但也亟待解决的问题。
5、采用统一而开放的标准,构建标准化、一体化和通用化的解决方案,标准化与个性化的进一步统一,研发可靠性高、维护性好、便于不断完善和升级换代、网络化、自动化和智能化更高的机器视觉系统是今后的发展趋势。
总结
机器视觉系统的研究和应用范围涵盖了工业、农业、医药、军事、交通和安全等国民经济的各个领域,基于机器视觉的产品表面质量检测在现代自动化生产中得到了越来越多的重视和应用。
机器视觉表面缺陷检测系统中,图像处理和分析算法是重要的内容,通常的流程包括图像的预处理、目标区域的分割、特征提取和选择及缺陷的识别分类。每个处理流程都出现了大量的算法,这些算法各有优缺点和其适应范围。如何提高算法的准确性、执行效率、实时性和鲁棒性,一直是研究者们努力的方向。
机器视觉表面检测比较复杂,涉及众多学科和理论,机器视觉是对人类视觉的模拟,但是目前对人的视觉机制尚不清楚,尽管每一个正常人都是“视觉专家”,但难以用计算机表达自己的视觉过程,因此构建机器视觉检测系统还要进一步通过研究生物视觉机理来完善,使检测进一步向自动化和智能化方向发展。