MIG weld seam tracking system based on image automatic enhancement and attention mechanism deep learning
-
摘要:
针对常规MIG焊难以根据组对偏差及热积累变形实时调整焊接位置的难题，提出并建立了被动视觉MIG焊缝跟踪试验系统，通过图像空间域滤波及自动增强算法，采用添加注意力机制的YOLO v7深度学习模型，在感兴区内对坡口的对中位置、电弧位置进行实时提取与分析；并采用模糊控制算法对预设偏差时的MIG焊过程进行实时控制. 结果表明，采用图像自动增强算法完成了对图像的预处理，边缘位置的像素灰度值由40增大到110左右，显著提高了边缘位置信息提取的精度；基于YOLO v7 网络结构添加注意力机制模块，提升目标检测效率，整体平均精度值mAP指标达到99.27%；预设偏差试验表明，对中偏差检测像素误差在8个像素以内，对中偏差距离控制在 ± 0.5 mm之间.
Abstract:Aiming at the problem that conventional MIG welding is difficult to adjust the welding position in real time according to the group deviation and thermal accumulation deformation, a weld seam tracking method based on passive vision is proposed. Through the image spatial domain filtering and automatic enhancement algorithm, the YOLO v7 deep learning model with attention mechanism is used to extract and analyze the groove alignment position and arc position in the region of interest in real time. The fuzzy control algorithm is used to control the MIG welding process in real time when the preset deviation occurs. The results show that, the image automatic enhancement algorithm is used to complete the preprocessing of the image, and the pixel gray value of the edge position is increased from 40 to about 110, which significantly improves the accuracy of the edge position information extraction; Based on the YOLO v7 network structure, the attention mechanism module is added to improve the efficiency of target detection, and the mAP index is as high as 99.27%. The preset deviation test shows that the pixel error of the alignment deviation detection is within 8 pixels, and the alignment deviation distance is controlled between ± 0.5 mm.
-
Keywords:
- weld tracking /
- passive vision /
- image enhancement /
- deep learning
-
0. 序言
在工程实践中，由于焊件的坡口加工、组对与热积累变形等造成的偏差，会引起间隙、错边的不规则变化，并严重影响了焊接过程的稳定性与焊缝质量[1]. 为了进一步提高焊接效率与智能化水平，亟需开发可以根据焊接工况变化、实时调整焊接位置的焊缝跟踪算法及系统[2].
采用实时性更好的被动视觉算法是实现焊缝跟踪的有效途径之一. 国内外众多学者针对这一领域开展了长期的研究，Xia等人[3]提出了一种基于窗口信息融合的被动视觉焊缝跟踪算法，实现了对焊道摆动电弧过程中焊枪中心偏差的实时识别；Xiao等人[4]提出一种基于改进Snake模型的特征提取算法，可以对多个焊缝具有较好的适应性和鲁棒性；张广军等人[5]实现了对S形曲线焊缝平稳、精确的自主跟踪；Wang等人[6] 分析了图像特征随焊枪位置的变化规律，提出了焊枪的控制策略和实现焊缝跟踪的图像处理方法；Zhang 等人[7]研究了基于深度学习的机器人弧焊铝合金在线缺陷检测方法. 上述研究为弧焊过程被动视觉传感的光学系统构建与信号特征处理提供了有效的途径与模式，但在处理速度与跟踪精度方面仍需进一步优化.
文中提出了图像自动增强算法，提高了复杂焊接环境中图像特征位置对比度及图像检测的准确度.提出了基于边缘检测和卷积神经网络的方法，实现对坡口位置信息、电弧水平位置信息提取与表征，采用模糊控制算法进行了焊缝跟踪试验.
1. 试验系统
试验系统如图1所示，主要包含MOTO WELD-RD350焊机、XIRIS XVC510 焊接相机、NI-IC3171 工业控制器及 Fanuc 机器人等硬件. 电弧电压18 V、焊接电流约为200 A、焊接速度5 mm/s、送丝速度140 mm/s、保护气体为纯氩气，气体流量10 L/min.
2. 试验结果与分析
2.1 焊接图像预增强处理
提出了一种自动增强的方法对图像的灰度进行增强，从而提高整幅图像的对比度. 首先利用直方图分析可得到整张图像的各个像素点灰度值与整张图像的灰度平均值A，经过平均化处理后坡口外灰度值为0，坡口内的灰度值远大于0. 为了进一步提高对比度，给图像的所有灰度值再乘以一个增强系数K，进一步增大坡口内外区域的灰度差值.
MIG焊图像自动增强对比结果如图2所示. 可以发现对于焊枪区域和坡口区域特征信息都得到了明显的增强，提高了焊枪边缘信息与坡口边缘信息的对比度，使得特征信息的提取更为容易. 增强图像的坡口边缘强度远远大于原图像相同位置的边缘强度，边缘灰度值从40增大到110左右.
![]()
图 2 自动增强图像对比分析Figure 2. Automatic enhanced image contrast analysis. (a) unenhanced image; (b) enhanced image; (c) edge enhancement detection results2.2 特征位置信息提取与表征
采取卷积神经网络模型预测定位加边缘检测的办法，通过对焊缝坡口感兴区位置的定位预测，再使用边缘检测的方法获得坡口边缘信息. 综合考虑焊缝跟踪的图像处理实时性与精确度，选择改进型的YOLO v7作为焊缝目标定位与识别检测的模型.
在对焊缝图像进行训练与检测时，要求感兴区域位于坡口区和焊丝区，从而更好的获得坡口边缘信息和焊丝边缘信息. 为此，在原有的 YOLO v7 网络结构上，添加了如图3所示注意力机制模块.
完成模型构建后进行样本训练，选择1 000张焊接图像制作模型训练的数据集. 选用Labelme 对焊缝特征进行精确标注，标注信息为焊丝、熔池和和焊缝坡口. 将1 000张图片划分为训练集、验证集和测试集3个数据集，为了验证集和测试集能够客观地评估训练集上训练的模型的泛化能力和其他性能，选择训练集、验证集与测试集的比例为 2∶8. 选用 mAP指标评价MIG图像目标识别模型的性能，图4显示了模型在不同焊接相关类别上的平均精度(average precision, AP)以及整体的平均精度值(mean average precision, mAP). 不同类别的AP值大于0.98，mAP 值为99.27%，表明模型在这个特定数据集上具有非常高的检测准确性.
焊接位置的特征信息如图5所示. 以图像左上角建立坐标系，焊丝检测框可由矩形框的4个坐标表示：(XL1,YL1)，(XL2,YL2)和点(XR1,YR1)，(XR2,YR2).由此可以获得焊丝表征点的坐标为(X0, Y0)，其中X0，Y0满足
![]()
图 5 坡口与电弧水平位置信息表征示意图Figure 5. Horizontal position information representation diagram of groove and arc$$ \left\{\begin{split} {X}_{0} = \frac{{X}_{{\mathrm{L2}}} + {X}_{{\mathrm{R2}}}}{2}\\{Y}_{0} = \frac{{Y}_{{\mathrm{L2}}} + {Y}_{{\mathrm{R}}2}}{2} \end{split}\right. $$ (1) 式中：X0，Y0表示焊丝位置点在整张图片中的位置坐标；XR2, XR2表示矩形框右下侧端点的位置坐标；XL2, YL2表示矩形框左下侧端点的位置坐标.
坡口信息表征由边缘检测获得，通过边缘线检测可以得到各个边缘位于整张图像中的坐标信息，可以获得坡口左边缘点和右边缘点的特征表征，通过左右坡口信息可以得到坡口边缘线的表征方程. 由于视觉传感的二维视场存在透视畸变，使原本平行的坡口边缘在视场中呈现一定角度. 根据角平分线的性质，焊缝中心线正好位于这两条坡口边缘的角平分线上，因此，通过坡口边缘线的交点和角平分线的斜率可以确定焊缝中心线的表征方程，即
$$ y - {y_{\mathrm{c}}} = \frac{{{k_{\mathrm{L}}} + {k_{\mathrm{R}}}}}{{1 - {k_{\mathrm{L}}}{k_{\mathrm{R}}}}}\left( {x - {x_{\mathrm{c}}}} \right) $$ (2) 式中：(xc, yc)为坡口边缘线的交点；kL和kR分别为左右坡口边缘线的斜率.
将焊丝表征点(X0, Y0)代入焊缝中心线方程可以得到偏差距离D ，即
$$ D = {X_0} - \frac{{1 - {k_{{\mathrm{L1}}}}{k_{{\mathrm{R}}1}}}}{{{k_{{\mathrm{L}}1}} + {k_{{\mathrm{R}}1}}}}{Y_0} + \frac{{1 - {k_{{\mathrm{L}}1}}{k_{{\mathrm{R}}1}}}}{{{k_{{\mathrm{L1}}}} + {k_{{\mathrm{R1}}}}}}({y_{\mathrm{c}}} - {x_{\mathrm{c}}} )$$ (3) 通过偏差距离D的大小可以判断焊枪的对中位置. 当D = 0时，焊枪位于焊缝中心线位置；当D>0时，焊枪位于焊缝中心的右侧；当D<0时，焊枪位于焊缝中心的左侧.
2.3 对中偏差控制试验与结果分析
试验选用的焊接材料为Q345钢，加工尺寸为300 mm × 100 mm × 18 mm，坡口形式为70°V形坡口，如图6所示. 为了检测焊缝跟踪系统的实际控制效果，焊缝起始点到终点预设了15 mm的偏差.
由于焊接过程的高耦合性、非线性和时变性，难以建立一个精确的数学模型实现对焊接偏差的控制. 在焊缝跟踪中采用了模糊控制策略，将焊工的图像观察经验转化为模糊规则，利用模糊控制器根据焊接状态和模糊规则生成控制信号，以实现焊缝的精确跟踪. 模糊规则见表1，其核心逻辑在于确定纠偏控制量与偏差D及偏差变化率Dcr之间的动态关系，并通过实时监控和模糊控制原理对纠偏控制量进行动态调整.
表 1 模糊控制规则Table 1. Rules of fuzzy controller偏差距离D 偏差变化率Dcr NB NM NS ZO PS PM PB NB PB PB PB PB PM PS ZO NM PB PB PB PM PS ZO ZO NS PB PM PM PS ZO NS NM ZO PB PM PS ZO NS NM NB PS PM PS ZO NS NM NM NB PM ZO ZO NS NM NB NB NB PB ZO NS NM NB NB NB NB 注：NB为负方向大偏差，NM为负方向中等偏差，NS为负方向小偏差，ZO为无偏差，PS为正方向小偏差，PM为正方向中等偏差，PB为正方向大偏差 按照预设焊缝偏差展开有无控制对比MIG焊接试验，并对图像信息进行处理得到如图7所示的焊接偏差信息. 图7(a)为无控制情况下焊缝对中像素偏差，可以发现焊枪在焊缝中从一侧向另一侧偏移焊接时，提取到的焊缝中心线与焊丝位置表征点之间的偏差像素也随之不断变化. 图7(b)为加入焊缝跟踪系统的对中偏差像素变化，可以发现在起弧初始阶段焊枪远远偏离焊缝中心位置，此时上位机会持续给出调整控制信号，并在较短时间内调整焊枪位置，使其快速移动到焊缝中心位置.
![]()
图 7 焊缝跟踪效果Figure 7. Welding pixel deviation results. (a) no control; (b) automatic control焊枪距离焊缝中心的位置信息如图8所示，可以发现，通过焊缝跟踪可以使焊枪始终可以保持在焊缝中心线附近 ± 0.5 mm的范围内稳定.
3. 结论
(1) 通过设计的图像自动增强算法使坡口边缘位置的像素灰度值由40增大到110左右；通过添加注意力机制模块提升了检测效率，mAP指标高达99.27%.
(2) 预设偏差试验焊缝跟踪系统的检测准确率在90%以上，图像的对中偏差检测像素误差在8个像素以内，实际焊缝跟踪偏差在 ± 0.5 mm.
-
![]()
图 2 自动增强图像对比分析
Figure 2. Automatic enhanced image contrast analysis. (a) unenhanced image; (b) enhanced image; (c) edge enhancement detection results
![]()
图 5 坡口与电弧水平位置信息表征示意图
Figure 5. Horizontal position information representation diagram of groove and arc
![]()
图 7 焊缝跟踪效果
Figure 7. Welding pixel deviation results. (a) no control; (b) automatic control
表 1 模糊控制规则
Table 1 Rules of fuzzy controller
偏差距离D 偏差变化率Dcr NB NM NS ZO PS PM PB NB PB PB PB PB PM PS ZO NM PB PB PB PM PS ZO ZO NS PB PM PM PS ZO NS NM ZO PB PM PS ZO NS NM NB PS PM PS ZO NS NM NM NB PM ZO ZO NS NM NB NB NB PB ZO NS NM NB NB NB NB 注：NB为负方向大偏差，NM为负方向中等偏差，NS为负方向小偏差，ZO为无偏差，PS为正方向小偏差，PM为正方向中等偏差，PB为正方向大偏差 
下载: 导出CSV
-
[1] 韩庆璘, 李大用, 李鑫磊, 等. 基于分区减光的电弧增材制造熔敷道尺寸主被动联合视觉检测[J]. 焊接学报, 2020, 41(9): 28 − 32. doi: 10.12073/j.hjxb.20200418001 Han Qinglin, Li Dayong, Li Xinlei, et al. Bead geometry measurement for wire and arc additive manufacturing using active-passive composite vision sensing based on regional filter[J]. Transactions of the China Welding Institution, 2020, 41(9): 28 − 32. doi: 10.12073/j.hjxb.20200418001
[2] 陈华斌, 陈善本. 复杂场景下的焊接智能制造中的信息感知与控制方法[J]. 金属学报, 2022, 58(4): 541 − 550. doi: 10.11900/0412.1961.2021.00528 Chen Huabin, Chen Shanben. Key information perception and control strategy of intellignet welding under complex scene[J]. Acta Metallurgica Sinica, 2022, 58(4): 541 − 550. doi: 10.11900/0412.1961.2021.00528
[3] Xia Lei, Zhou Jianping, Xue Ruilei, et al. Real-time seam tracking during narrow gap GMAW process based on the wide dynamic vision sensing method[J]. Journal of Manufacturing Processes, 2023, 101: 820 − 834. doi: 10.1016/j.jmapro.2023.06.045
[4] Xiao Runquan, Xu Yanling, Hou Zhen, et al. A feature extraction algorithm based on improved Snake model for multi-pass seam tracking in robotic arc welding[J]. Journal of Manufacturing Processes, 2021, 72: 48 − 60. doi: 10.1016/j.jmapro.2021.10.005
[5] 张广军, 冷孝宇, 吴林. 弧焊机器人结构光视觉传感焊缝跟踪[J]. 焊接学报, 2008, 29(9): 8 − 10. doi: 10.3321/j.issn:0253-360X.2008.09.003 Zhang Guangjun, Len Xiaoyu, Wu Lin. Robotic welding seam tracing system based on structure light vision sensor[J]. Transactions of the China Welding Institution, 2008, 29(9): 8 − 10. doi: 10.3321/j.issn:0253-360X.2008.09.003
[6] Wang Weixi, Yamane Satoshi, Wang Qi, et al. Visual sensing and quality control in plasma MIG welding[J]. Journal of Manufacturing Processes, 2023, 86: 163 − 176. doi: 10.1016/j.jmapro.2022.12.041
[7] Zhang Zhifen, Wen Guangrui, Chen Shanben. Weld image deep learning-based on-line defects detection using convolutional neural networks for Al alloy in robotic arc welding[J]. Journal of Manufacturing Processes, 2019, 45: 208 − 216. doi: 10.1016/j.jmapro.2019.06.023
计量
- 文章访问数: 74
- HTML全文浏览量: 20
- PDF下载量: 26
