Synchronous real-time detection of weld bead geometry and the welding torch in galvanized steel GAMW
-
摘要: 针对基于激光视觉传感的镀锌钢薄板搭接GMAW特点，提出了一种搭接接头焊缝成形全位置特征与焊枪方向同步实时检测方法. 该方法利用激光视觉系统同步检测焊缝与焊丝信息，采用尺度不变特征变换与方向特征检测算法，同步实时获取焊缝轮廓与焊丝方向；采用Harris角点检测算法实现焊缝轮廓特征点识别；针对接头焊缝面积偏小的特点，采用线性插值方法实现了焊缝高度与宽度的全位置、焊缝面积的亚像素级测量，并基于零、一阶矩实现了焊缝重心检测. 结果表明，该算法适应性强、测精度高，为基于焊枪姿态和焊接过程参数优化在线控制焊缝成形提供了依据.Abstract: This paper presented a method to synchronously detect all-position weld bead geometry and the welding torch in lap joint GMAW with galvanized sheets, in which laser vision sensing was used. In this method a laser was used to simultaneously detect the weld bead and the welding torch, and the scale-invariant feature transform algorithm and orientation feature detection algorithm were used to extract the weld profile as well as the welding torch. The feature points of the profile were identified with the Harris corner detection algorithm. Since the weld area is relatively small, a sub pixel level measurement method was proposed to obtain the all-position bead height, width and area. The Weld center of gravity was detected with the zero and first moment. Experimental results showed the strong adaptability and high accuracy of that this proposed method. It provides the possibility of adjusting the attitude of the welding torch and welding process parameters to control weld formation online.
-
0. 序言
镀锌钢目前的焊接方法主要有熔化极气体保护焊GMAW (gas metal arc welding)、激光焊和激光-电弧复合焊等. 不论采用何种焊接方法，镀锌钢在焊接过程中因锌蒸气极易产生焊接缺陷. 焊缝成形特征参数是反馈焊接质量并在线优化焊枪姿态、焊接电流与速度等参数的主要依据之一. 因此有效检测焊缝成形特征与焊枪姿态是控制镀锌钢焊接质量的关键技术之一.
焊缝成形特征包括焊缝高度、焊缝宽度、焊缝面积和热影响区尺寸等，其测量包括在线和离线两种方式. 离线测量方法有光学显微镜[1]、机械显微镜[2]、红外传感[3]和超声检测[4]等；常见的在线测量方法为视觉传感法，包括使用多传感器的被动视觉系统[5]和基于结构光的主动视觉传感，多借助图像处理技术完成特征测量[6-7]. 目前主要研究集中于焊缝成形某个特征参数在不同时刻的测量，而对于典型特征在不同位置的测量、焊缝成形重心的检测报道较少.
焊枪姿态是影响焊缝成形的主要因素之一. 目前焊枪姿态的描述主要通过空间角度来构建. 相关研究基于多自由度控制器[8]和光纤[9]及控制算法[10]获取相关角度. 显然采用合适的传感系统同时检测焊枪姿态与焊缝成形特征，有助于优化更多焊接过程参数. 另外对于镀锌钢GMAW搭接接头中焊缝偏小情形下特征参数的测量精度也值得探究.
为探索基于激光视觉传感的焊缝成形特征与焊枪姿态同步检测的可行性，文中通过配比合适的滤、减光系统的中心波长与透过率，使得采集的同一帧图像中同时呈现焊缝轮廓与焊丝影像，并以焊丝标记焊枪. 根据目标信息的方向特征，采用Gabor滤波与尺度不变特征变换SIFT(scale-invariant feature transform)算法，分别设计了焊缝轮廓提取与焊枪方向检测的算法流程，并利用Harris角点检测算法实现焊缝轮廓特征点识别. 针对镀锌钢薄板(厚度为1 mm) GMAW搭接焊缝成形面积偏小情形，文中提出了基于线性插值的焊缝成形特征亚像素全位置实时测量方法，并基于零、一阶矩实现了焊缝重心检测. 该方法能在电弧、外界约束等复杂背景下实现焊缝高度、宽度以及面积与重心的亚像素级检测的同时，实现了焊枪主要工作方向的检测，为镀锌钢GMAW在线控制焊缝成形提供了技术支持. 文中提出的算法程序复杂度较低，在普通配置的一体机中满足实时处理要求，可用于在线动态检测.
1. 焊缝轮廓实时提取
为了获取薄板焊接时的清晰图像，采用的焊接视觉系统试验平台主要由焊机、激光视觉传感器、伺服电机控制器和PC电脑等组成. 激光视觉传感器由CCD相机、结构光激光器和滤、减光片组成. 其中激光器型号为FU650L500-BD26，功率为500 mW，滤光片中心波长为650 nm，半带宽为20 nm，减光片透过率为0.014%. 为防止焊接变形，在搭接两板上施加约束(图1a). 焊接位置在两板重叠区域中心处. 焊接时采集的典型图像如图1b所示，图中同时呈现了焊缝轮廓与焊丝. 焊接电流、电压和焊接速度分别为90 A，24 V和5.6 mm/s. 焊丝为ϕ 0.8 mm的普通碳钢焊丝，采用纯度为99.9%的氩气作为焊接保护气体. 为适应外界约束对焊缝图像处理带来的影响，焊缝实时提取的流程如图2所示. 其中“参考图像”为未起弧时激光检测焊缝成形时采集的图像.
![]()
图 1 焊缝成形检测与典型焊缝图像Figure 1. Weld bead geometry detection and typical image. (a) weld detection; (b) typical image1.1 ROI 1的确定
为确定感兴趣区域ROI(region of interest)，首先以全局最大灰度值为阈值进行阈值分割；其次以电弧区域的下边界作为ROI 1的上边界，以其几何中心为对称轴，向左、右各延伸80个像素确定ROI 1的左、右边界(图3). 利用参考图像和焊接时采集的原始图像的ROI 1进行特征匹配，可以节省处理时间消耗和减少外围干扰，利于提高算法的抗干扰能力.
![]()
图 3 ROI 1获取过程Figure 3. ROI 1 determination process. (a) binarization result with the maximum intensity; (b) ROI 11.2 方向特征检测
Gabor滤波[11]在图像处理的目标识别中多用于检测其方向特征. 其卷积模板方程
$$ G(x,y) = \exp \left( { - \frac{1}{2}\left[ {{{\left( {\frac{{{x_0}}}{{{\sigma _x}}}} \right)}^2} + {{\left( {\frac{{{y_0}}}{{{\sigma _y}}}} \right)}^2}} \right]} \right) \cdot \cos (2{\text{π}} f{x_0} + \phi ) $$ (1) $$ {x_0} = x\cos \theta + y\sin \theta $$ (2) $$ {y_0} = y\cos \theta - x\sin \theta $$ (3) 式中：σx和σy为二维卷积模板尺寸，f为余弦函数的频率参数，ϕ为相位. 试验测试设置上述参数如下：滤波角度θ为±37°，二维卷积模板尺寸σx和σy为4，余弦函数的频率f为1/6和相位ϕ为π/6. 该滤波算法能从电弧背景中有效凸显焊缝轮廓(图4a).
![]()
图 4 焊缝方向特征与局部二值化结果Figure 4. Orientation features of the weld bead and local binarization result. (a) gabor filtering result; (b) binarization result using local thresholds1.3 局部阈值分割
阈值分割是图像处理中常用于简化数据和降低运算开销的处理方法. 采用大津阈值算法进行全局阈值分割试验显示，焊缝区域的边界会因亮度相对较小而被丢失，影响测量精度. 局部阈值计算方法为
$$ {T_j} = \mathop {\max }\limits_i \left[ {\frac{1}{{25}}\sum\limits_i {F(i - 2:i + 2,j - 2:j + 2)} } \right] $$ (4) 式中：
$ i $ 表示图像的行，$ j $ 表示图像的列，$ i - 2:i + 2 $ 表示覆盖区域的5行，而$ j - 2:j + 2 $ 表示覆盖区域的5列；$ {T_j} $ 表示列$ j - 2:j + 2 $ 所在区域的阈值. 采用局部阈值分割法能有效检测焊缝边界区域(图4b).1.4 基于SIFT的焊缝轮廓提取
SIFT算法能在图像中检测目标视觉特征，这些特征与图像中目标的大小和旋转无关，能从两幅光线、噪声等不同的图像中检测目标特征匹配点[12]. 采用SIFT算法对参考图像与实时采集的焊缝图像进行特征匹配(图5)，匹配点可对焊缝轮廓进行定位. 进行特征检测时影响该算法获得匹配点数目的是最近邻到次近邻的矢量角之比，文中将该比值设置为0.9.
![]()
图 5 参考图像与焊缝图像在ROI 1内的特征匹配结果Figure 5. Matching result between the regions of interest respectively of the reference image and the raw image为提取焊缝轮廓，首先对局部阈值分割后的图像进行最近邻聚类(图6a)，然后根据匹配点的位置，分别获取与之距离最近的类. 所有获取的类即为提取的焊缝轮廓. 利用Canny边缘检测算法获取该轮廓边缘，并通过细化(垂直方向的平均坐标)获得最终的线状焊缝轮廓(图6b).
![]()
图 6 线状焊缝轮廓提取过程Figure 6. Extraction process of the linear weld bead profile. (a) clustering result and profile location; (b) thinned weld profile2. 焊枪位置提取
文中通过配置滤光片和减光片的中心波长、半带宽和透光率参数，在图像中同时获得了完整电弧区域与焊丝轮廓. 焊丝位置代表焊枪位置. 该轮廓稳定存在于电弧区域上方，且呈现明显的方向特性. 其提取方法如图7所示.
以图3a中电弧区域上部边界为ROI 2下部边界，以电弧区域的左右边界为其对应边界，形成的区域为ROI 2，如图8所示. 继续采用Gabor滤波(设置滤波角度为90°)获得焊丝方向特征图，然后采用上节中的阈值分割法进行二值化处理，并在水平方向上求取各点的平均坐标进行细化处理. 最后对线状焊丝进行最小二乘法拟合. 图8b所示为焊枪方向检测结果，从图中可以看出当前焊枪与焊接面垂直.
![]()
图 8 焊枪方向检测过程Figure 8. Orientation detection process of the welding torch. (a) ROI 2; (b) orientation detection result of the welding torch3. 焊缝轮廓特征点识别
为了测量焊缝几何特征，需要检测焊缝轮廓的特征点. 选择Harris算法对细化后的焊缝进行特征点检测. 具体步骤如下.
(1)计算图像f(x,y)在x和y方向上的梯度
$ {f_x} $ 和$ {f_y} $ ，均采用高斯微分模板$$ \left\{ \begin{gathered} {f_x} = f(x,y) \otimes {g_x}(x,y) \hfill \\ {f_y} = f(x,y) \otimes {g_y}(x,y) \hfill \\ \end{gathered} \right. $$ (5) 式中：
$ \otimes $ 是二维卷积运算；$ {g_x}(x,y) $ 与$ {g_y}(x,y) $ 是图像$ f(x,y) $ 在x和y方向上的高斯函数.(2)计算图像两个方向上的梯度乘积，并且用9 × 9模板的高斯函数对
$ {f}_{x}^{2},\;{f}_{y}^{2} $ 和$ {f}_{xy} $ 进行平滑滤波，其中$ {f}_{x}^{2} $ ，$ {f}_{y}^{2} $ 和$ {f}_{xy} $ 分别为两个方向梯度的乘积.(3)计算每个像素对于Harris响应值，其响应函数为
$$ E\left( {x,y} \right) = \mathop \sum \limits_{x,y} w\left( {x,y} \right){[f\left( {x + u,y + v} \right) - f\left( {x,y} \right)]^2} $$ (6) 式中：
$ w(x,y) $ 为窗口函数；$ f\left(x + u,y + v\right) $ 为移动之后的像素灰度值；$ f(x,y) $ 为移动之前的像素灰度值. 把$ E\left(x,y\right) $ 表示成向量矩阵形式，即$$ E\left( {x,y} \right) \approx \left[ u \right.\left. v \right]\left( {\mathop \sum \limits_{x,y} w\left( {x,y} \right)\left[ {\begin{array}{*{20}{c}} {f_x^2}&{{f_{xy}}} \\ {{f_{xy}}}&{f_y^2} \end{array}} \right]} \right)\left[ u \right.{\left. v \right]^T} $$ (7) 令
$ M = \displaystyle\sum\nolimits_{x,y} {w(x,y)\left[ {\begin{array}{*{20}{c}} {f_x^2}&{{f_{xy}}} \\ {{f_{xy}}}&{f_y^2} \end{array}} \right]} $ ，则：$E(x,y) \approx \left[ u \right.\left. v \right] $ $ M\left[ u \right.{\left. v \right]^T}$ . 响应值函数为$$ R = \det (M) - k{({\rm{trace}}(M))^2} < t $$ (8) 计算每个像素的Harris响应值R，并对小于某一阈值t的R置为零.
(4)在3 × 3领域模板中进行非最大值抑制，最后得到的最大值点即为图像的特征点(图9a).
![]()
图 9 焊缝特征检测结果Figure 9. Weld feature detection results. (a) feature points of the weld profile; (b) detection results of the welding torch, weld area and the center of gravity; (c) all position measurement result of the weld height; (d) all position measurement result of the weld width; (e) 3D reconstruction of the weld4. 焊缝特征测量
对堆焊焊缝高度、宽度进行全位置测量，重心与面积进行精准测量，首先利用识别的3个特征点坐标
$ ({C_i},{O_i})(i = 1,2,3) $ 截取直线$ y = {C_1} $ 与$ y = {C_3} $ 之间的数据作为焊缝轮廓数据，记为$ (hz{b_i},zz{b_i}) $ $ (i = 1,2, \cdots ) $ .其次将该两个特征点在垂直方向的平均坐标$ ({O_1} + {O_3})/2 $ 作为焊缝底面位置，最后对焊缝轮廓数据进行线性插值获取亚像素级坐标，即$$ zzb_i' = \frac{{hz{b_{i + 1}} - hzb_i'}}{{hz{b_{i + 1}} - hz{b_i}}}zz{b_i} + \frac{{hzb_i' - hz{b_j}}}{{hz{b_{i + 1}} - hz{b_i}}}zz{b_{i + 1}} $$ (9) 式中：
$ zzb_i' $ 与$ hzb_i' $ 是插值点的坐标；$ hz{b_i} $ ，$ zz{b_i} $ ，$ hz{b_{i + 1}} $ 与$ zz{b_{i + 1}} $ 是已知点的坐标. 实时获取的焊缝轮廓数据在水平方向上的间隔是默认的1个像素，插值时以相邻像素点为已知点，每相邻像素点中均匀插入9个亚像素点分为10等份.对于焊缝全位置宽度
$ {W_i} $ ，$ \forall y \in [({O_1} + {O_2})/2,{O_3}] $ ，$ \exists {c_1},{c_2} $ ，满足$ \left| {{c_1} - y} \right| \leqslant {\rm{1\;pixel}} $ 与$ \left| {{c_2} - y} \right| \leqslant {\rm{1\;pixel}} $ ；对于焊缝全位置高度$ {H_i} $ ，$ \forall x \in [{C_1},{C_3}] $ ，$ \exists {o_1},{o_2} $ ，满足$\left| {{o_1} - x} \right| \leqslant {\rm{1\;pixel}}$ 与$\left| {{o_2} - x} \right| \leqslant {\rm{1\;pixel}}$ ，$ {o_1} = ({O_1} + {O_2})/ 2 $ .于是：$ {H_i} = \left| {{o_1} - {o_2}} \right| $ (图9b)，$ {W_i} = \left| {{c_1} - {c_2}} \right| $ (图9c)，焊缝面积$S = \dfrac{1}{{20}}\displaystyle\sum\limits_{j = 1}^N {(zzb_j' + zzb_{j + 1}')}$ (图9d). 根据不同时刻各特征参数测量结果，三维重构焊缝如图9e所示.文中所提出的方法能对焊缝不同位置下的高度、宽度和面积进行精确测量，检测准确率分别为95%，90%和98%. 同时它能有效监测焊枪垂直于焊接方向的倾角，为控制焊缝成形提供了另外的优化参数，为面向曲面焊接场合提供了焊枪姿态实时调控依据.
5. 焊缝重心检测
焊缝重心轴与焊接构件的中性轴之间的距离影响焊接变形. 因此实时检测焊缝重心有助于合理安排焊缝位置以降低弯曲变形. 图9a所示为获取焊缝轮廓特征点，根据第一、三特征点的坐标截取焊缝轮廓所在位置，并根据上节确定的焊缝底面位置填充焊缝区域. 利用二值图像的零、一阶矩可得焊缝重心坐标为：
${x_c} = \displaystyle\sum\limits_i {\displaystyle\sum\limits_j {j \cdot f(i,j)} } /\displaystyle\sum\limits_i {\displaystyle\sum\limits_j {f(i,j)} }$ ，${y_c} = \displaystyle\sum\limits_i {\displaystyle\sum\limits_j {i \cdot f(i,j)} } /\displaystyle\sum\limits_i {\displaystyle\sum\limits_j {f(i,j)} }$ . 获得的重心坐标如图9b中的“ + ”. 重心位置检测的准确率为95%.6. 结论
(1) 提出了采用激光视觉传感同步提取焊缝轮廓与焊枪方向的方法，实时检测镀锌钢GMAW焊缝成形特征及优化焊接过程参数.
(2) 利用线性插值细化焊缝区域，对焊缝高度与焊缝宽度实现了全位置亚像素级测量，对焊缝面积实现亚像素级测量，可实现更精准控制焊缝.
(3) 基于二值图像的零和一阶矩获得焊缝重心坐标，实现了合理安排焊缝位置并能正确抑制焊接变形.
-
![]()
图 1 焊缝成形检测与典型焊缝图像
Figure 1. Weld bead geometry detection and typical image. (a) weld detection; (b) typical image
![]()
图 3 ROI 1获取过程
Figure 3. ROI 1 determination process. (a) binarization result with the maximum intensity; (b) ROI 1
![]()
图 4 焊缝方向特征与局部二值化结果
Figure 4. Orientation features of the weld bead and local binarization result. (a) gabor filtering result; (b) binarization result using local thresholds
![]()
图 5 参考图像与焊缝图像在ROI 1内的特征匹配结果
Figure 5. Matching result between the regions of interest respectively of the reference image and the raw image
![]()
图 6 线状焊缝轮廓提取过程
Figure 6. Extraction process of the linear weld bead profile. (a) clustering result and profile location; (b) thinned weld profile
![]()
图 8 焊枪方向检测过程
Figure 8. Orientation detection process of the welding torch. (a) ROI 2; (b) orientation detection result of the welding torch
![]()
图 9 焊缝特征检测结果
Figure 9. Weld feature detection results. (a) feature points of the weld profile; (b) detection results of the welding torch, weld area and the center of gravity; (c) all position measurement result of the weld height; (d) all position measurement result of the weld width; (e) 3D reconstruction of the weld
-
[1] Jahanzaib M, Hussain S, Wasim A, et al. Modeling of weld bead geometry on HSLA steel using response surface methodology[J]. The International Journal of Advanced Manufacturing Technology, 2017, 89(5): 2087 − 2098.
[2] Neelamegam C, Sapineni V, Muthukumaran V, et al. Hybrid intelligent modeling for optimizing welding process parameters for reduced activation ferritic-martensitic (RAFM) steel[J]. Journal of Intelligent Learning Systems and Applications, 2013, 5(1): 39 − 47.
[3] Om H, Pandey S. Effect of heat input on dilution and heat affected zone in submerged arc welding process[J]. Sadhana, 2013, 38(6): 1369 − 1391. doi: 10.1007/s12046-013-0182-9
[4] Chen C, Fan C, Cai X, et al. Investigation of formation and microstructure of Ti-6Al-4V weld bead during pulse ultrasound assisted TIG welding[J]. Journal of Manufacturing Processes, 2019, 46: 241 − 247. doi: 10.1016/j.jmapro.2019.09.014
[5] Xiong J, Zhang G. Online measurement of bead geometry in GMAW-based additive manufacturing using passive vision[J]. Measurement Science and Technology, 2013, 24(11): 115103. doi: 10.1088/0957-0233/24/11/115103
[6] He Y, Li D, Pan Z, et al. Dynamic modeling of weld bead geometry features in thick plate GMAW based on machine vision and learning[J]. Sensors, 2020, 20(24): 7104 − 7122. doi: 10.3390/s20247104
[7] Yang L, Fan J, Liu Y, et al. Automatic detection and location of weld beads with deep convolutional neural networks[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1 − 12.
[8] Xiao Jun, Wen Tao, Chen Shujun, et al. Teleoperation strategies research for collaborative welding systems based on virtual reality[J]. China Welding, 2020, 29(2): 38 − 47.
[9] Kalwasiński D. The position for experimental research to simulate sense of touch[J]. Mechanik, 2016, 89(7): 718 − 720.
[10] 潘海鸿, 尹华壬, 梁旭斌, 等. 可调整焊枪姿态直线摆弧路径算法研究[J]. 组合机床与自动化加工技术, 2019, 11: 37 − 41. Pan Haihong, Yin Huaren, Liang Xubin, et al. Research on the algorithm of linear swing arc path with adjustable welding torch attitude[J]. Modular Machine Tool & Automatic Manufacturing Technique, 2019, 11: 37 − 41.
[11] 余卓骅, 胡艳梅, 何银水. 薄板机器人自动焊接焊枪三维偏差的有效提取[J]. 焊接学报, 2019, 40(11): 49 − 53. doi: 10.12073/j.hjxb.2019400287 Yu Zhuohua, Hu Yanmei, He Yinshui. Effective three-dimensional deviation extraction of the welding torch for robotic arc welding with steel sheets[J]. Transactions of the China Welding Institution, 2019, 40(11): 49 − 53. doi: 10.12073/j.hjxb.2019400287
[12] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91 − 110. doi: 10.1023/B:VISI.0000029664.99615.94
-
期刊类型引用(2)
1. 潘睿志，林涛，李超，胡波. 基于深度学习的多尺寸汽车轮辋焊缝检测与定位系统研究. 光学精密工程. 2023(08): 1174-1187 . 
百度学术
2. 李文斌. 城市轨道交通车辆高强钢焊接用焊丝的选用方法. 焊接技术. 2022(03): 80-83 . 百度学术
其他类型引用(1)
下载:
计量
- 文章访问数: 256
- HTML全文浏览量: 11
- PDF下载量: 26
- 被引次数: 3
