-
焊接是现代制造业中应用最广泛的材料成形和加工技术之一. 焊接过程中的干扰因素或焊接参数控制不当则容易产生焊接缺陷，严重影响焊接质量. 基于物理性质的焊接缺陷检测方法主要有超声检测、射线检测、磁光成像检测、渗透检测等[1-4]. 超声检测需要耦合剂，且对焊缝表面粗糙度有一定要求，粗糙度过高会干扰超声投射效果从而影响检测结果的准确性；射线检测存在检测成本较高以及对人体有害等问题；磁光成像是一种新的检测技术，磁光成像效果受磁场激励方式、磁光薄膜特性以及提离度等因素的影响较大；渗透检测的检测效果一定程度受显像剂、焊件表面情况、渗透液等因素的影响，且检测效率低. 相比于基于物理性质的焊接缺陷检测方法，基于视觉传感技术的焊接缺陷检测方法具有智能化程度高、信息丰富直观、高精度等优点，一直是焊接智能检测领域的研究热点[5-8].
目前，焊接质量视觉传感检测可分为被动视觉与主动视觉. 被动视觉利用相机直接拍摄焊缝表面，该方法能全面地获取焊缝表面形貌，但也会带来大量冗余信息，增加图像处理、目标提取与分割算法的复杂度[9-10]. 主动视觉依靠辅助光源获取焊缝成形特征，其中，因激光具有单色性、方向性、能量集中等优点，常被选作为辅助光源. 激光视觉焊缝质量检测系统装置简单易操作，通过激光器向焊缝表面投射激光，相机采集焊缝条纹轮廓图像，将焊缝表面成形特征转化为激光条纹曲线形变，单道激光条纹即可表征焊件表面信息. 文献[11]利用线结构光检测高频电阻焊焊件质量，研究激光条纹中心线提取算法，建立三维焊缝形状在世界坐标系和图像坐标系之间的转换关系，实现了焊缝三维重建以及焊缝尺寸检测. 文献[12]针对填充焊缝和盖面焊缝，研究结构光视觉传感焊缝质量检测方法，实现焊缝尺寸在线测量及质量评估的功能.
文中基于激光视觉传感研究了一种焊缝表面缺陷HOG-SVM算法自动分类与识别方法. 对焊接缺陷激光条纹图像进行数字化处理，采用HOG算法进行焊接缺陷特征提取，通过识别率与运行时间两类指标评估不同边缘检测算法、不同细胞单元大小以及不同分类器对检测效果的影响，并通过5折-交叉验证网格搜索方法寻找最佳检测模型参数，最终建立SVM焊缝表面缺陷识别与分类智能模型,分类精度可达97.86%. 试验结果表明，所提方法可对焊缝表面缺陷(气孔、凹陷、咬边)和无缺陷进行有效地识别与分类.
-
图1为焊缝质量检测平台示意图，主要由激光视觉传感器、运动控制器、三轴运动平台及工控机等组成. 激光视觉传感器由相机、激光器、镜头构成，基于三角成像原理，激光器倾斜一定角度投射激光线于焊件表面，相机垂直拍摄焊件表面的激光条纹，扫描采集焊缝激光条纹图像储存于工控机，从而获取图像数据. 以对接焊缝、角焊缝为研究对象，扫描采集装置如图2所示.
图 1 焊缝质量检测平台示意图
Figure 1. Schematic diagram of weld quality inspection platform
图 2 扫描采集焊缝示意图
Figure 2. Diagram of weld scanning collection
-
图3为气孔、凹陷、咬边及无缺陷四种类型焊件试样的实物图、原始激光条纹图像. 利用激光视觉传感器采集焊接缺陷原始激光条纹图像，建立焊缝缺陷识别模型样本集.
图 3 四种缺陷样本的实物图及原始激光条纹图
Figure 3. Physical image, fringe image of four kinds of defects. (a) porosity; (b) sag; (c) undercut; (d) no defect
焊缝表面缺陷具有十分明显的几何特征与形状特征. 其中，气孔在焊缝表面的体积较小，孔内的激光条纹被“吞噬”，相机无法拍摄，含气孔的焊缝激光条纹图像在气孔处表现为断点；凹陷为焊缝上出现的局部低凹，且形状多元，含凹陷的焊缝图像中焊缝区域出现下凹，大小和位置与焊缝表面成形一致；咬边缺陷存在于焊缝与母材交界处，空间特征明显，含咬边的焊缝激光条纹图像在焊缝与母材交接处出现低于母材的下凹；无缺陷的焊缝激光条纹过度平稳，在母材基线上方形成平滑的曲线.
-
焊缝激光条纹图像受光照、设备等影响，图像中存在噪声以及大量冗余信息. 为了突出焊缝缺陷信息，提高识别率，需要对图像进行预处理，步骤如下.
ROI提取：原始图像大小为400 pixel × 500 pixel，包括激光条纹与背景，其中缺陷特征仅在焊缝光条纹处，因此，进行ROI提取并调整大小为64 pixel × 128 pixel，最大程度地包含了焊缝所在位置，减少无用信息.
灰度化：将彩色图像转化为灰度图像，保留亮度信息，去除颜色信息，减少计算量. 滤波去噪：受环境、设备等影响，激光条纹图像中会夹渣噪声点，因此，采用3 × 3中值滤波去噪，抑制尖锐噪声的同时保留图像细节部分.
二值化：通过观察焊缝激光条纹图像，光条区域与背景区域具有不同的灰度集合，采用最大类间方差法进行二值化处理，增强光条纹特征.
边缘提取：对二值化后的焊缝激光条纹图像进行边缘提取，得到的边缘曲线能更好地表征焊缝轮廓，便于提取焊缝激光条纹图像缺陷特征. 四种试样图像的预处理效果如表1所示.
表 1 四种缺陷样本的实物图及原始激光条纹图
Table 1. Physical image, fringe image of four kinds of defects
步骤 气孔 凹陷 咬边 无缺陷 ROI 
灰度化 
去噪图 
二值化 
轮廓图 
-
HOG特征提取算法能提取图像X，Y方向的梯度信息，对图像中的边缘，拐点等梯度变化大的地方更敏感，具有描述对象结构和轮廓的能力，能准确描述焊缝光条纹的边缘分布和结构特征，焊缝缺陷的表象和形状能够被梯度强度在梯度方向上的分布很好的描述，将其应用于检测焊缝表面缺陷具有很大的优势[13]. 基本步骤如下所示
(1) 采用Gamma校正法对图像进行全局归一化.
(2) 计算梯度. 每个像素
$I(x, y)$ 的梯度可表示如式(1)，式(2)所示，即$$ G_x(x, y)=I(x + 1, y)-I(x-1, y)$$ (1) $$ G_y(x, y)=I(x, y + 1)-I(x, y-1) $$ (2) 式中：
$ G_{x}(x, y) $ 、$ G_{y}(x, y) $ 分别为像素点$ I(x, y) $ 处的水平梯度、垂直梯度，然后计算每个像素点的梯度幅值$ G(x, y) $ 和梯度方向$ \theta(x, y) $ ，即$$ G(x, y)=\sqrt{G_x(x, y)^2 + G_y(x, y)^2} $$ (3) $$ \theta(x, y)=\tan ^{-1}\left(\frac{G_x(x, y)}{G_y(x, y)}\right)$$ (4) (3) 构建每个细胞单元(cell)的梯度方向直方图. 将图像分割为若干个不重叠的cell，例如4像素 × 4像素的cell大小，梯度方向量化为9，分别对应于0，20···180；计算cell中每个像素点的
$ G(x, y) $ 和$ \theta(x, y) $ ，根据像素点的梯度方向在直方图中进行加权投影，从而构建每个cell对应的9维向量. 梯度方向划分方式及cell的梯度方向直方图如图4所示.
图 4 细胞单元cell的梯度方向&梯度方向直方图
Figure 4. Gradient direction & gradient direction histogram of cell(a)Gradient direction(b)gradient direction histogram
(4) 构建块(block)并归一化. 由2 × 2个cell合成一个block，每个cell有9个特征，归一化后形成一个36维的特征向量.
(5) HOG特征向量整合. 经预处理后的焊缝光条纹轮廓图像大小为64 pixel × 128 pixel，以4 pixel为步长遍历整幅图片，得到HOG特征向量维数为16 740，计算方式如式(5)所示，即
$$ \left(\frac{64}{4}-1\right) \times\left(\frac{128}{4}-1\right) \times 4 \times 9=16\;740$$ (5) 焊接缺陷条纹图像的HOG特征可视化效果如图5所示.
图 5 焊接缺陷条纹图像的HOG特征可视化效果
Figure 5. HOG feature visualization effect of weld defect streak image. (a) Porosity; (b) Sag; (c) Undercut; (d) No defect
-
SVM是一个经典且高效的机器学习算法，其基本思路是在样本空间找到一个最优分类超平面，将不同类别的样本分开[14]. 设有两类样本，分别用yi (1，−1)标记，定义超平面，即
$$ \left\{\begin{array}{l} w^T x + b> + 1, y_i= + 1 \\ w^T x + b<-1, y_i=-1 \end{array}\right. $$ (6) 在样本空间中，点到超平面的距离为
$\varUpsilon = \dfrac{{\left| {{w^T}x + b} \right|}}{{\left\| w \right\|}}$ ，分类间隔为$\varUpsilon = \dfrac{{\text{2}}}{{\left\| w \right\|}}$ ，最大间隔的超平面即为所求. 找到满足式(6)中约束的参数w和b，使得最大$ \varUpsilon$ . 显然，最大化$ \|w\|^{-1} $ ，等价于最小化$ \|w\|^{2} $ ，即$$ \left\{\begin{array}{l} \mathop {\min }\limits_{w,b} \dfrac{1}{2}\|w\|^2\\ y_i\left(w^T x_i + b\right) \geqslant 1, i=1, \cdots n \end{array}\right. $$ (7) 为了防止过拟合，提出“软间隔”概念，允许SVM对一些样本出错，即允许一些样本不满足约束条件. 引入“松弛变量
$ \xi_{i}\geqslant 0 $ ”，用于表征不满足约束的程度，于是，式(7)可转变为$$ \left\{\begin{array}{l} \mathop {\min }\limits_{w,b} \dfrac{1}{2}\|w\|^2 + C \displaystyle\sum_{i=1}^n \xi_i \\ y_i\left(w^T x_i + b\right) \geqslant 1-\xi_i, i=1, \cdots n \end{array}\right. $$ (8) 为解决线性不可分问题，引入核函数把训练样本映射到一个高维特征空间，从而找到一个合适的分类超平面，因此采用高斯核函数，函数表达式为
$$ \mathrm{K}(x, {\textit{z}})=\exp \left(-{g}\|x-{\textit{z}}\|^2\right) $$ (9) 式中：g为高斯核函数的宽度参数.
采取一对多(one-against-rest)方法解决多分类问题，假设有k个样本类别，把某一类作为正类，其余分为负类，需要构造k个分类器. 为了简化模型，选择总性能最高的参数集(C、
$ g $ )作为k个分类器的共享参数集. 同时采用基于5折-交叉验证的网格搜索方法选择参数集，模型参数的交叉验证结果如图6所示. 结果表明，当$ \log _{2} C=-2 $ 、$ \log _{2} g=-3 $ 时，交叉验证确定的准确性是最高的，达98.243%. 因此，将C = 0.25、$ g $ = 0.125作为模型训练的参数设置，建立焊缝缺陷分类模型.
图 6 模型参数的交叉验证结果
Figure 6. Cross-validation results for the model parameters
-
试验运行平台：Windows10操作系统，处理器为IntelCore I5，4GB内存. 试验选取3000幅焊缝激光条纹样本图像作为数据集，其中凹陷、咬边、表面气孔和无缺陷各750幅, 采用8∶2的比例分配训练集，测试集. 各类缺陷任选600幅作为分类模型的训练集，其余150幅作为测试集.
试验具体步骤：①对样本集进行图像预处理，选取合适的cell大小、block大小以及窗口移动步长，提取样本图像的HOG特征向量，图像预处理及特征提取如图7所示. 并将所有数据集打上标签.②根据焊缝缺陷数据集分配原则随机挑选样本分为训练集与测试集，训练SVM多分类模型，将训练好的模型和测试集作为参数输入predict函数，得到测试集的预测类型predict-Label，焊缝缺陷识别结果的准确率可表示如下.
图 7 图像预处理及特征提取过程示意图
Figure 7. Schematic diagram of process of image preprocessing and feature extraction
$$ {{A}}_{{\rm{cc}}}=\frac{N_r}{N_n} \times 100 \% $$ (10) 式中，
$ {{A}}_{{\rm{cc}}} $ 为准确率，Nr为分类正确的图像数量，Nn为测试样本的图像总数量. -
为了探究不同边缘检测算子在焊缝缺陷激光条纹图像识别中的效果，试验不同边缘检测算子预处理后的识别结果，试验结果如表2所示. 图8、图9分别为Roberts算子、Canny算子预处理后的焊接缺陷识别结果.
表 2 不同边缘检测算子的试验结果
Table 2. Experimental results of different edge detection operators
边缘检测算子 平均识别率 B (%) Roberts 97.73 Sobel 97.17 Prewitt 97.22 Laplacian 97.28 Canny 96.50 
图 8 Roberts算子处理后的焊接缺陷识别结果
Figure 8. Results of weld defect identification using Roberts
图 9 Canny算子处理后的焊接缺陷识别结果
Figure 9. Results of weld defect identification using Canny
从表2可以看出，Roberts算子平均识别率最高，达97.73%；Canny算子的平均识别率最低. Roberts算子利用对角像素之差近似检测边缘，适合噪声较小且边缘明显的图像轮廓提取. 对比图8、图9，发现经Canny算子处理后，更多的咬边、气孔等细小缺陷错误地识别为无缺陷. 从数学理论角度解释其原因，Canny对图像进行高斯平滑，然而在图像预处理过程中，已经采用中值滤波对图像进行去噪，若再次对图像进行平滑，可能会模糊焊缝激光条纹轮廓，对细小缺陷的边缘信息定位不准确，降低了识别率.
-
基于4.1中的试验结果，后续采用Roberts算子提取焊缝光条纹轮廓，再分别用4 × 4，8 × 8，16 × 16，32 × 32大小的cell对预处理后的焊缝激光条纹图像进行特征提取. 表3列举了不同cell大小的特征向量维数、平均识别率以及训练时间.
表 3 不同cell大小的试验结果
Table 3. Experimental results of different cell size
Cell大小 特征维数 平均识别率 B (%) 训练时间t/s 4 × 4 16740 97.28 4.6256 8 × 8 3780 97.39 1.1064 16 × 16 756 96.65 0.7897 32 × 32 108 94.72 0.3178 对焊缝激光条纹轮廓图像进行HOG特征提取前，要选择合适的细胞单元大小，通过对不同cell大小进行对比试验，选取识别效果较好的cell大小. 表3数据表明，cell大小为4 × 4，8 × 8时识别率相当，但4 × 4 cell对应的特征向量维数高，且模型训练时间约是8 × 8 cell的5倍，高维特征限制了识别速度，同时降低了识别率，因此选取8 × 8 cell进行HOG特征提取.
-
选取最优参数后(Roberts算子、8 × 8 cell)，为评估HOG特征对焊缝缺陷识别的效果，选取常用的图像特征灰度共生矩阵(Gray Level Co-occurrence Matrix, GLCM)作为对照组，在焊缝缺陷样本数据库的基础上，随机选取70%作为训练集，30%作为测试集；对每次随机生成的焊缝缺陷样本提取特征(HOG或GLCM)，分别用SVM，RF，KNN以及CNB进行分类识别，不同特征提取方式与不同分类器交叉组合，5次试验平均识别率对比图如图10所示.
图 10 平均识别率对比图
Figure 10. Comparison chart of average recognition rate
试验结果表明，在不同分类器中，HOG特征的识别效果均优于GLCM. 可见，HOG比GLCM更适合表征焊缝缺陷激光条纹图像特征. 经过5次反复试验，HOG + SVM的识别率最高，为97.86%. 四种分类模型中，采用SVM识别焊缝激光条纹图像HOG特征的准确率更高，且其对于气孔、凹陷、咬边、无缺陷的识别率分别为96%、96.67%、98.67%和100%. 因此，HOG + SVM更适合基于激光视觉的焊缝缺陷识别与分类.
-
提出一种基于HOG-SVM算法的焊缝表面缺陷检测方法，采用激光视觉焊缝质量检测装置采集焊缝缺陷样本图像，对焊缝激光条纹图像进行充分的图像预处理，提取焊缝缺陷激光条纹图像特征. 试验发现，Roberts算子比其他边缘检测算子的识别率高，更适合焊缝激光条纹图像的边缘提取. 通过不同分类器对HOG特征与GLCM特征进行交叉组合识别试验，HOG提取的边缘结构信息比GLCM提取的局部纹理信息更能表征焊缝缺陷特征. 将HOG特征提取算法与SVM结合可以实现焊缝表面缺陷的准确识别，准确率可达97.86%.
Study on HOG-SVM detection method of weld surface defects using laser visual sensing
-
摘要: 为了实现对焊缝表面缺陷的自动检测与分类，研究一种有效识别焊缝表面缺陷的激光视觉检测方法. 通过激光视觉传感器采集焊缝图像并进行预处理，包括图像分割，灰度化，平滑去噪以及焊缝轮廓提取. 采用方向梯度直方图(Histogram of Oriented Gradient, HOG)提取焊缝激光条纹轮廓图像的特征向量. 其次，基于5折-交叉验证网格搜索方法进行模型参数寻优，最终建立了支持向量机(Support Vector Machine, SVM)智能模型识别与分类焊缝表面缺陷. 通过调整焊缝轮廓提取算法、HOG特征维度得到不同特征数据并进行对比、分析焊缝缺陷的识别效果. 在相同试验条件下，发现支持向量机比随机森林分类器、K最近邻分类器以及朴素贝叶斯分类器的识别率更高，达到97.86%. 基于HOG-SVM的焊缝表面缺陷智能识别方法可有效提高焊缝缺陷(气孔、凹陷、咬边)及无缺陷的分类精度.Abstract: In order to realize automatic detection and classification of weld surface defects, an effective laser vision detection method for weld surface defects was studied. First, the weld image is collected by a laser vision sensor and preprocessed, including image segmentation, grayscale, smooth denoising and weld contour extraction. Then the feature vectors of laser stripe contour image of weld seam are extracted by means of Histogram of Oriented Gradient (HOG), the model parameters were optimized based on the five-fold cross-validation grid search method. Finally, an intelligent model of Support Vector Machine (SVM) was established to identify and classify weld surface defects. Different feature data were obtained by adjusting the weld contour extraction algorithm and HOG feature dimension, and then the identification effect of weld defects was analyzed by comparing each other. Under same experimental conditions, it is found that the recognition rate of SVM is higher than that of random forest classifier, K-nearest neighbor classifier and naive BAYES classifier, reaching 97.86%. The proposed intelligent identification method of weld surface defects based on HOG-SVM can effectively improve the classification accuracy of weld defects (porosity, sag, undercut) and non-defects.
-
图 3 四种缺陷样本的实物图及原始激光条纹图
Figure 3. Physical image, fringe image of four kinds of defects. (a) porosity; (b) sag; (c) undercut; (d) no defect
图 4 细胞单元cell的梯度方向&梯度方向直方图
Figure 4. Gradient direction & gradient direction histogram of cell(a)Gradient direction(b)gradient direction histogram
图 5 焊接缺陷条纹图像的HOG特征可视化效果
Figure 5. HOG feature visualization effect of weld defect streak image. (a) Porosity; (b) Sag; (c) Undercut; (d) No defect
图 7 图像预处理及特征提取过程示意图
Figure 7. Schematic diagram of process of image preprocessing and feature extraction
图 8 Roberts算子处理后的焊接缺陷识别结果
Figure 8. Results of weld defect identification using Roberts
表 1 四种缺陷样本的实物图及原始激光条纹图
Table 1. Physical image, fringe image of four kinds of defects
步骤 气孔 凹陷 咬边 无缺陷 ROI 灰度化 去噪图 二值化 轮廓图 
下载: 导出CSV
表 2 不同边缘检测算子的试验结果
Table 2. Experimental results of different edge detection operators
边缘检测算子 平均识别率 B (%) Roberts 97.73 Sobel 97.17 Prewitt 97.22 Laplacian 97.28 Canny 96.50
下载: 导出CSV
表 3 不同cell大小的试验结果
Table 3. Experimental results of different cell size
Cell大小 特征维数 平均识别率 B (%) 训练时间t/s 4 × 4 16740 97.28 4.6256 8 × 8 3780 97.39 1.1064 16 × 16 756 96.65 0.7897 32 × 32 108 94.72 0.3178
下载: 导出CSV
-
[1] Gao X D, Ma N J, Du L L. Magneto-optical imaging characteristics of weld defects under alternating magnetic field excitation[J]. Optics express, 2018, 26(8): 9972 − 9983. doi: 10.1364/OE.26.009972 [2] Gantala T, Balasubramaniam K. Automated defect recognition for welds using simulation assisted TFM imaging with artificial intelligence[J]. Journal of Nondestructive Evaluation, 2021, 40(1): 1 − 24. doi: 10.1007/s10921-020-00734-w [3] Lu Y, Jiang H Q. Weld defect classification in radiographic images using unified deep neural network with multi-level features[J]. Journal of Intelligent Manufacturing, 2020, 32(3): 459 − 469. [4] Kumar D, Verma D, Suryanarayana B, et al. Analysis of welding characteristics on stainless steel for the process of TIG and MIG with dye penetrate testing[J]. International Journal of Engineering and Innovative Technology, 2012, 2(1): 283 − 290. [5] Gao X D, Ding D, Bai T, Katayama S. Weld-pool image centroid algorithm for seam-tracking vision model in arc-welding process[J]. IET image processing, 2011, 5(5): 410 − 419. doi: 10.1049/iet-ipr.2009.0231 [6] 谢志孟, 高向东. 基于Canny算子的焊缝图像边缘提取技术[J]. 焊接学报, 2006, 27(1): 29 − 32. doi: 10.3321/j.issn:0253-360X.2006.01.008 Xie Zhimeng, Gao Xiangdong. Edge detection of weld image based on Canny operator[J]. Transactions of the China Welding Institution, 2006, 27(1): 29 − 32. doi: 10.3321/j.issn:0253-360X.2006.01.008 [7] Gao X D, Mo L, Xiao Z L, et al. Seam tracking based on Kalman filtering of micro-gap weld using magneto-optical image[J]. The International Journal of Advanced Manufacturing Technology, 2016, 83(1-4): 21 − 32. doi: 10.1007/s00170-015-7560-x [8] Chi D Z, Gang T. Defect detection method based on 2D entropy image segmentation[J]. China Welding, 2020, 29(1): 45 − 49. [9] Sun J, Wang P, Luo Y K, et al. Surface Defects Detection Based on Adaptive Multiscale Image Collection and Convolutional Neural Networks[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(12): 4787 − 4797. doi: 10.1109/TIM.2019.2899478 [10] Gao X D, Sun Y, Katayama S. Neural network of plume and spatter for monitoring high-power disk laser welding[J]. International Journal of Precision Engineering and Manufacturing-Green Technology, 2014, 1(4): 293 − 298. doi: 10.1007/s40684-014-0035-y [11] Wang H F, Wu Z J, He Z C, et al. Detection of HF-ERW Process by 3D Bead Shape Measurement with Line-Structured Laser Vision[J]. IEEE Sensors Journal, 2021, 21(6): 7681 − 7690. doi: 10.1109/JSEN.2021.3049396 [12] Han Y Q, Fan J F, Yang X Z. A structured light vision sensor for on-line weld bead measurement and weld quality inspection[J]. The International Journal of Advanced Manufacturing Technology, 2020, 106(1): 2065 − 2078. [13] 杨国威, 闫树明, 王以忠. 基于方向梯度直方图粒子滤波的V型焊缝跟踪[J]. 中国激光, 2020, 47(7): 330 − 338. Yang Guowei, Yan Shuming, Wang Yizhong. V-Shaped Seam Tracking Based on Particle Filter with Histogram of Oriented Gradient[J]. Chinese Journal of Lasers, 2020, 47(7): 330 − 338. [14] 周晓晓, 王克鸿, 杨嘉佳, 等. 电压近似熵-SVM铝合金双丝PMIG焊过程稳定性评价[J]. 焊接学报, 2017, 38(3): 107 − 111. Zhou Xiaoxiao, Wang Kehong, Yang Jiajia, et al. Process stability evaluation on aluminum alloy twin-wire PMIG welding by approximate entropy based SVM of voltage signa[J]. Transactions of the China Welding Institution, 2017, 38(3): 107 − 111. -
点击查看大图
计量
- 文章访问数: 133
- HTML全文浏览量: 24
- PDF下载量: 26
- 被引次数: 0
