Monitoring of aluminum alloy weld formation using TIG based on passive vision
-
摘要:
薄板铝合金对接焊过程中母材受接头间隙波动、受热与散热不均等影响,焊缝易出现不良成形. 文中选择被动视觉的传感方式,拍摄包含熔池动态变化的正面焊接图像,建立了厚度为3 mm的薄板铝合金对接钨极氩弧焊( tungsten inert gas,TIG )焊缝成形图像数据库.提出了双层串联焊缝成形预测网络模型,预测未熔透、正常熔透、过熔透、焊穿、左错边和右错边等焊缝成形状态,第1层焊缝成形预测网络做出焊穿、左错边、右错边3类不规则成形预测和正常焊缝成形预测,第2层焊缝熔透预测网络进一步对正常焊缝成形分类的图像做出未熔透、正常熔透和过熔透预测. 使用不同数据集分别训练模型,图像增强数据集表现最优,模型整体预测精度可达到95%. 设置接头变间隙、变散热和错边扰动焊接试验,验证模型可实现图像序列下6类不同焊缝成形状态的准确分类.
Abstract:During the butt-welding process of thin-plate aluminum alloys, the base metal was affected by fluctuations in the joint gap and uneven heating and heat dissipation. As a result, the weld was usually defective. A passive vision sensing method was selected to capture the front-side welding images which contained dynamic changes in the molten pool. A weld formation image database for the thin-plate aluminum alloy with a thickness of 3 mm using butt tungsten inert gas (TIG) was established. A double-layer tandem weld formation prediction network model was proposed to predict the weld formation under conditions such as incomplete penetration, normal penetration, over-penetration, burn-through, left misalignment, and right misalignment. The first-layer weld formation prediction network predicted three types of irregular weld formations, such as burn-through, left misalignment, and right misalignment, as well as normal weld formation. The second-layer weld penetration prediction network further classified the images of normal weld formations into incomplete penetration, normal penetration, and over-penetration. Different datasets were used to train the model, respectively. The image-enhanced dataset showed the most excellent performance, and the overall prediction accuracy of the model could reach 95%. Welding tests with varying joint gap fluctuations, heat dissipation, and misalignments were carried out, verifying that the model could accurately classify six types of different weld formations in image sequences.
-
Keywords:
- weld formation /
- passive vision /
- image classification /
- deep learning
-
0. 序言
在自动化焊接过程中,焊缝成形监测是焊接质量控制的首要目标[1-2]. 通过监测焊接过程,可以预测焊缝成形,电信号、声音和温度等都可以作为焊接过程的传感信号. 视觉是最直观、高效的传感方式,熔池区域图像含有丰富的焊缝成形信息,可以通过视觉传感的方式监测焊接熔池,预测焊缝成形.早期的熔池视觉监测方法大多为设计图像处理算法,提取熔池长度、宽度等熔池几何特征参数作为焊缝成形质量的判断依据,但受熔池图像品质影响较大,算法的稳定性和鲁棒性通常欠佳,从单一正面熔池几何特征也难以准确关联焊缝成形质量.
深度学习以熔池图像的原始形态作为神经网络的输入,由算法将原始熔池图像自动抽象为自身任务所需的最终特征表示,实现焊缝成形预测. 刘秀航等人[3]在激光—熔化极惰性气体复合焊过程中提取焊接过程的正面熔池和匙孔的时序特征信息并熔合背部焊缝余高,利用小波包分解—长短期记忆神经网络模型实现驼峰预测. 王天琪等人[4]通过分析多层多道焊图像,采用改进神经网络进行焊接工艺参数优化,建立具有实时性的焊接工艺参数与焊缝轮廓关系模型对多层多道焊中各焊道焊接工艺参数提供有效预测. 汲生鹏等人[5]在不锈钢薄板TIG自熔焊中,使用VGG网络对反面图像进行熔透、未熔透和焊穿3类焊接熔透状态预测,精度可以达到97.2%. 姚屏等人[6]构建针对电弧焊焊缝尺寸的预测模型,建立一种由混沌鲸鱼算法优化的深度信念网络模型,在预测精度和性能指标方面均优于传统的模型,熔宽预测的平均绝对百分比误差为1.85%,余高预测的平均绝对百分比误差为0.47%. WANG等人[7]采用反映熔透程度的特征信号通过BP神经网络对后熔池宽度进行动态建模. 采用步进焊接控制策略,将水平位置的后焊缝宽度控制在预设值附近. 与上述平板堆焊不同,薄板对接焊接中除了常见的3种不同熔透状态的焊缝成形,还存在错边、未熔合等. BACIOIU等人[8],在
5083 薄板铝合金对接焊中使用卷积神经网络对6种焊缝成形状态进行预测,预测精度为71%;在SS304薄板碳钢平板堆焊中,对比分析CNN网络与FCN网络,发现CNN网络在不同焊缝中的多分类任务表现有所提升.表面堆焊焊缝状态预测的研究较为广泛,也有了较高的预测精度,对接焊缝单一状态预测可实现较高预测精度[9-10]. 而对接焊缝多分类任务预测效果不太理想. 因此,为增强对接焊缝多分类任务预测效果,文中提出双层串联焊缝成形预测网络模型,采用深度学习的方式对薄板铝合金平板对接TIG过程中容易出现的6种焊缝成形状态进行预测.
1. 图像采集与数据集建立
1.1 试验系统
TIG试验平台,如图1所示. 薄板铝合金对接TIG试验平台包括肯倍Master TIG焊机、工作台、保护气体和视觉传感器. 保护气体为氩气,流量设定为15 L/min;视觉传感器由Xiris-XVC-1000型高动态相机、8 ~ 12 mm变焦镜头和620 ~ 650 mm滤光片组成,获取焊接过程中包含熔池区域的工件上表面图像,图像采集周期为0.17s.
1.2 焊接图像获取
文中采用尺寸为300 mm × 100 mm × 3 mm的 5083铝镁合金为母材,焊接形式为背面无衬板悬空对接焊接. 为保证试验数据集的完整性和有效性,试验通过改焊接电流和焊接速度变等焊接参数,焊缝间隙和板材错边等板材接头间隙的方式,获取包含不同焊缝成形的正面焊接图像. TIG试验条件,如表1所示. 焊接试验共进行47组,剔除焊接过程开始与结束部分等非稳定焊接状态,共获得稳定焊接过程正面图像
18836 张,包含实际焊接过程中板材的受热与散热不均和间隙波动变化等情况,数据具有一定的科学性和有效性.表 1 TIG试验条件Table 1. TIG experimental conditions焊接电流
I/A焊接速度
v/(m·min−1)焊缝间隙
D/mm板材错边
L/mm95 ~ 125 2.5 ~ 3.5 0,0.5,1.0 0.60,0.90,0.12 由于板材受热、散热和接头间隙等因素对焊缝成形的影响, 根据焊工经验定义反面熔宽在4 ~ 6 mm之间焊缝为正常熔透,熔宽小于4 mm的焊缝定义为未熔透,熔宽大于6 mm的焊缝定义为过熔透. 试验获得未熔透、正常熔透、过熔透、焊穿、左错边和右错边6种焊缝. 焊接中常见的焊缝成形,如图2所示. 图2为焊缝成形正和背面图像的对比,焊接熔池区域图像可以反映焊缝成形状态. 在图2(a)未熔透焊缝熔池图像中,液态熔池区域较小或未形成流动的液态熔池,背面焊缝无熔透痕迹;图2(b)为正常熔透的焊缝熔池图像,熔池成镜面反射且明亮,熔池接近标准的椭圆形状,背面焊缝微微隆起;图2(c)为过熔透焊缝熔池图像,熔池相比正常熔透的熔池面积增大且有较明显的后托角区域,背面焊缝凸出;在图2(d)焊穿熔池图像中,熔池区域出现明显空洞或未熔合区域;在图2(e)左错边焊缝熔池图像和图2(f)右错边焊缝熔池图像中,由于两侧板材高度不一致,熔池呈现两块不相接的半椭圆形,背面焊缝一侧板材熔合不良. 以6种背面焊缝成形作为标签对试验采集正面图像数据进行分类.
1.3 数据集建立
1.3.1 区域裁剪数据集
原始图像中杂质信息较多,将图像进行区域划分可以提升模型的语义理解能力和应用效果. 试验采集图像尺寸为
1280 像素 ×1024 像素,为避免更多的无用信息进入网络模型,采用基于灰度值相关系数模板匹配算法截取有效的焊接熔池区域. 设定尺寸为800像素 × 800像素的熔池与焊缝集中所在区域,采用基于灰度值相关系数模板匹配算法截取该区域,模板匹配算法流程,如图3所示. 以焊枪钨针为中心,长宽(420,140)作为区域模板,截取裁剪区域为目标位置区域,建立区域裁剪数据集.1.3.2 熔池分割数据集
熔池包含了大量的焊缝成形特征信息. 只通过训练熔池图像便可区分焊缝成形,能更好地将网络注意力集中于熔池[11-12]. 利用U2-Net显著性目标检测网络分割熔池区域,获得熔池特征更集中的熔池图像. 对原始图像提取熔池前景作为预测标签,熔池图像分割效果,如图4所示. 使用模型分割处理的图像建立熔池分割数据集.
1.3.3 图像增强数据集
试验使用固定位置、固定焦距和固定光照拍摄焊接过程,在实际操作中相关参数无法完全复现.为增强模型的抗干扰能力,使模型在输入图像数据有扰动时也能准确地做出预测,采用随机裁剪、添加噪声、旋转角度和对比度变化等方式对原始图像数据进行处理,实现数据集的增强和扩充,图像增强算法,如图5所示,建立图像增强数据集.
2. 焊缝成形预测
2.1 网络模型建立
AlexNet属于经典卷积神经网络结构,与其他深层网络模型结构相比,在焊缝图像识别精度相同的前提下有着较少的推理时间. 文中基于AlexNet网络模型搭建焊缝预测网络模型,模型由5个卷积层、3个池化层、3个全连接层和一个由Softmax回归预测输出层组成. 焊缝成形预测网络模型,如图6所示. 对焊缝不规则成形和正常焊缝进行分类预测,并将不规则成形细分为焊穿、左错边和右错边3类. 焊缝熔透预测网络模型,如图7所示. 对分类为正常焊缝的图像进行熔透程度识别,分类标签为未熔透、正常熔透和过熔透.
双层串联焊缝成形预测网络模型,如图8所示.由图像输入、模型预测和结果输出3部分构成. 图像输入环节对原始图像进行模板匹配和裁剪周边杂质区域处理;模型预测与结果输出把输入图像送入串行模型通道,依次进行焊缝成形预测和焊缝熔透预测,获得焊穿、左错边、右错边、未熔透、正穿熔透和过熔透6类焊缝成形状态识别结果并输出.
2.2 网络模型训练
以原始图像数据集为例,将焊穿、左错边、右错边、未熔透、正常熔透和过熔透6类数据按照8∶2的比例划分训练集和测试集,原始图像数据集数据划分结果,如表2所示. 模型的学习率、损失函数、周期和批大小等参数对模型的训练结果有较大影响. 经过试验,模型训练参数设定包括,学习率为
0.0002 ,损失函数为Cross Entropy Loss,周期为30个,批大小为12. 采用ReLu激活函数,可以提高网络收敛速度、避免梯度消失,使用Adam优化算法实现训练过程中的梯度调节,保证模型快速过渡到收敛区间;将迭代次数设置为30个周期,确保模型可在迭代步数内达到收敛.表 2 原始图像数据集数据划分Table 2. Raw images dataset data partitioning标签 样本数量N0 训练集 测试集 未熔透 1625 407 正常熔透 3158 797 过熔透 1408 352 焊穿 1430 358 左错边 1066 237 右错边 1434 359 文中分别使用原始图像数据集、区域裁剪数据集、熔池分割数据集和图像增强数据集训练双层串联焊缝成形预测网络模型. 焊缝成形预测模型训练过程,如图9所示. 对于焊缝成形预测网络模型,图9为训练过程Accuracy-Loss曲线. 原始图像数据集在模型迭代过程中精度始终没有达到稳定状态,有较大的起伏,总体精度维持在90%左右;区域裁剪数据集的模型训练精度在第16个周期之后达到稳定状态,训练后期精度维持在95%以上;熔池分割数据集在模型训练过程中,整体精度较低且起伏较大,说明使用只包含熔池的图像训练模型并不能得到理想的效果;图像增强数据集总体效果较好,训练前期模型精度稳步上升,在第10个周期后便达到稳定状态,在第19个周期测试精度达到最优的98%,总体精度维持在95%以上. 所有数据集的训练损失曲线均为稳定下降,图像增强数据集以较快的下降趋势迅速达到最优稳定. 使用4种数据集分别对焊缝熔透预测模型进行训练,焊缝熔透预测模型训练过程,如图10所示. 图10为训练过程Accuracy-Loss曲线. 除熔池分割数据集外,其他3种数据集训练效果比较接近,经过一定次数的迭代后模型精度均稳定在95%以上,其中图像增强数据集在第13个周期达到最优精度98.3%. 所有数据集的训练损失曲线均为稳定下降,图像增强数据集依然以较快的下降趋势迅速达到最优稳定. 图像增强数据集的样本多样性提高了模型的抗干扰能力,在保持较高精度的同时也加快了模型收敛速度.
2.3 网络模型精度验证
从陌生数据集中随机抽取数量接近各类焊缝成形图像共681张组成验证集,使用双层串联焊缝成形预测网络模型对其进行推理,预测结果,如表3所示. 经过计算,模型整体预测精度达到了95%.
表 3 验证集模型预测结果及精度Table 3. Verification set model prediction results and accuracy真实标签 预测标签数量 N1/张 精度
A (%)焊穿 左错边 右错边 未熔透 正常熔透 过熔透 焊穿 109 0 0 0 0 0 100.0 左错边 0 129 0 3 0 0 97.7 右错边 0 0 130 5 5 0 93.0 未熔透 0 0 0 96 4 0 96.0 正常熔透 0 0 0 1 98 1 98.0 过熔透 0 0 0 0 10 90 90.0 3. 试验验证
3.1 变间隙扰动焊接试验
设置变间隙扰动焊接试验,验证分类精度. 试验采用的焊接工艺参数包括焊接速度为3 mm/s,焊接电流为100 A. 设置焊缝接头间隙变化,按照时间序列将焊缝图像输入双层串联焊缝成形预测网络模型,焊缝实际情况与模型输出结果对比,如图11所示. 当焊缝发生焊穿时,模型在相应时刻及时预测出焊穿状态,模型对于两条焊缝中焊穿状态预测精度分别为98%和97%.
3.2 变散热扰动焊接试验
设置变散热扰动试验,验证分类精度. 试验采用的焊接工艺参数包括焊接速度为3 mm/s,焊接电流为100 A. 分别对板材进行后半段和中部切割处理,改变局部散热条件,对接焊缝正面、背面成形与时间序列下模型输出结果对比,如图12所示. 图12(a)为板材后半段切割处理,焊缝发生从正常熔透到过熔透状态的变化. 图12(b)为板材中部切割处理(哑铃形状),焊缝发生从正常熔透到过熔透再到正常熔透的变化. 双层串联焊缝成形预测网络模型对两条焊缝中过熔透焊缝预测精度分别为93.3%和93.4%. 除熔透状态过渡时段外,模型整体能够实现对不同焊缝中过熔透状态的准确预测.
3.3 接头错边扰动试验
设置接头错边扰动焊接试验,验证分类精度.试验采用的焊接工艺参数包括焊接速度为3 mm/s,焊接电流为100 A. 在对接焊缝中分别设置的左错边和右错边量为0.9 mm,焊缝正面和背面成形与时间序列下模型输出结果对比,如图13所示. 焊缝接头存在错边情况时,熔池出现偏淌行为形成错边焊缝,经统计左错边和右错边预测精度分别为95%和91.3%. 除焊缝状态过渡时刻外,模型整体能够实现不同焊缝中错边状态的准确预测.
4. 结 论
(1)搭建针对薄板铝合金对接焊接熔池的正面焊接图像传感系统,使用不同的图像处理方式,建立4类厚度为3 mm的铝合金对接TIG焊缝成形状态图像数据集.
(2)提出双层串联焊缝成形预测网络模型,图像增强数据集训练所得模型预测焊缝成形状态,包括未熔透、正常熔透、过熔透、焊穿、左错边和右错边等,精度最高达到98%,验证集预测焊缝成形状态精度可达95%.
(3) 开展变间隙扰动、变散热扰动和接头错边扰动焊接试验,焊穿预测精度为97%,过熔透预测为93.4%,左错边和右错边预测精度分别为95%和91.3%,模型在薄板铝合金对接焊接案例中有良好的精度表现.
-
表 1 TIG试验条件
Table 1 TIG experimental conditions
焊接电流
I/A焊接速度
v/(m·min−1)焊缝间隙
D/mm板材错边
L/mm95 ~ 125 2.5 ~ 3.5 0,0.5,1.0 0.60,0.90,0.12 表 2 原始图像数据集数据划分
Table 2 Raw images dataset data partitioning
标签 样本数量N0 训练集 测试集 未熔透 1625 407 正常熔透 3158 797 过熔透 1408 352 焊穿 1430 358 左错边 1066 237 右错边 1434 359 表 3 验证集模型预测结果及精度
Table 3 Verification set model prediction results and accuracy
真实标签 预测标签数量 N1/张 精度
A (%)焊穿 左错边 右错边 未熔透 正常熔透 过熔透 焊穿 109 0 0 0 0 0 100.0 左错边 0 129 0 3 0 0 97.7 右错边 0 0 130 5 5 0 93.0 未熔透 0 0 0 96 4 0 96.0 正常熔透 0 0 0 1 98 1 98.0 过熔透 0 0 0 0 10 90 90.0 -
[1] FA Y Z, ZHANG B X, YA W, et al. Welding anomaly detection based on supervised learning and unsupervised learning[J]. China Welding, 2022, 31(3): 24 − 29.
[2] WANG X P, D’AVELLA S, LIANG Z M, et al. On the effect of the attention mechanism for automatic welding defects detection based on deep learning[J]. Expert Systems with Applications, 2025, 268: 126386. doi: 10.1016/j.eswa.2025.126386
[3] 刘秀航, 叶广文, 黄宇辉, 等. 激光-MIG复合焊根部驼峰缺陷预测[J]. 机械制造文摘-焊接分册, 2023(3): 18 − 24. LIU Xiuhang, YE Guangwen, HUANG Yuhui, et al. Root hump defect prediction for laser-MIG hybrid welding[J]. Welding Digest of Machinery Manufacturing, 2023(3): 18 − 24.
[4] 王天琪, 孟锴权, 王传睿. 基于GA-BP神经网络的多层多道焊工艺预测及优化[J]. 焊接学报, 2024, 45(5): 29 − 37. doi: 10.12073/j.hjxb.20230523001 WANG Tianqi, MENG Kaiquan, WANG Chuanrui. Prediction and optimization of multi-layer and multi-pass welding process parameters based on GA-BP neural network[J]. [J]. Transactions of the China Welding Institution, 2024, 45(5): 29 − 37. doi: 10.12073/j.hjxb.20230523001
[5] 汲生鹏, 闫志鸿, 刘嘉, 等. 基于深度学习的薄板TIG焊焊缝成形视觉检测[J]. 热加工工艺, 2022, 51(3): 115 − 121. JI Shengpeng, YAN Zhihong, LIU Jia, et al. Visual detection of TIG weld forming of thin sheet based on deep learning[J]. Hot Working Technology, 2022, 51(3): 115 − 121.
[6] 姚屏, 李文强, 陈威, 等. 基于鲸鱼优化算法的焊缝尺寸预测[J]. 焊接学报, 2024, 45(11): 133 − 139. YAO Ping, LI Wenqiang, CHEN Wei, et al. Prediction of weld size prediction based on whale optimization algorithm[J]. Transactions of the China Welding Institution, 2024, 45(11): 133 − 139.
[7] WANG Z J, ZENG Z T, WU S J, et al. Weld penetration control of wire-filled pulsed gas tungsten arc welding of pipe in the horizontal position[J]. Welding in the World, 2023, 67(7): 1793 − 1807. doi: 10.1007/s40194-023-01516-4
[8] BACIOIU D, MELTON G, PAPAELIAS M, et al. Automated defect classification of aluminium 5083 TIG welding using HDR camera and neural networks[J]. Journal of Manufacturing Processes, 2019, 45: 603 − 613. doi: 10.1016/j.jmapro.2019.07.020
[9] LI C N, CHE H, XIONG J. Monitoring weld penetration of laser-arc hybrid welding joints without full-penetration requirement based on deep learning[J]. Optics & Laser Technology, 2024, 172: 110538.
[10] ZHANG X D, WANG F, Chen Y R, et al. Weld joint penetration state sequential identification algorithm based on representation learning of weld images[J]. Journal of Manufacturing Processes, 2024, 120: 192 − 204. doi: 10.1016/j.jmapro.2024.04.024
[11] 胡继涛, 马晓锋, 赵荣丽, 等. 基于轻量级DeepLabV3 + 网络的焊接熔池图像分割方法[J]. 计算机集成制造系统, 2025, 31(1): 126 − 134. HU Jitao, MA Xiaofeng, ZHAO Rongli, et al. Welding pool image segmentation method based on lightweight DeepLabV3 + network[J]. Computer Integrated Manufacturing Systems, 2025, 31(1): 126 − 134.
[12] LIU W B, WANG Z D, TIAN L L, et al. Melt pool segmentation for additive manufacturing: a generative adversarial network approach[J]. Computers and Electrical Engineering, 2021, 92: 107183. doi: 10.1016/j.compeleceng.2021.107183