Online monitoring of GMAW welding defect based on deep learning
-
摘要:
以轨道交通高速高铁司机室铝合金外板为载体，围绕智能焊接关键技术，针对焊接缺陷在线监测问题开展研究. 借助工艺试验平台与焊接工艺卡开展焊接缺陷试验设计、批量数据采集、专家经验标定、数据库构建，采用卷积神经网络算法对不同类型数据构建多维信息融合模型，并对融合模型进行参数优化处理，最终完成融合模型的训练、验证和测试. 结果表明，训练后的融合模型比单一信息模型对焊接缺陷具有较好的识别结果，训练集和测试集的焊接缺陷监测精度分别为99.0%和88.3%，此监测系统的数据采集和模型响应总时间小于100 ms，能够满足工程化应用需求，提高机器人焊接的智能化水平，推动企业数字化转型升级.
Abstract:Utilizing the aluminum alloy exterior plate of the driver's cab of high-speed railway in rail transit as the substrate, the research is conducted on key intelligent welding technologies, focusing on the issue of online monitoring of welding defects. With the help of process test platform and welding procedure specification, welding defect experiment design, batch data collection, expert experience calibration and database construction are implemented. The convolutional neural network algorithm is used to construct multi-dimensional information fusion models for different types of data, and parameters of the fusion models are optimized. Finally, training, verification and testing of fusion models are completed. The results show that the fusion model after training has better recognition results for welding defects than the single information model. The monitoring accuracy of welding defects in the training set and the testing set is 99.0% and 88.3%, respectively. The data acquisition and model response total time for this monitoring system is less than 100 ms, which meets the requirements for engineering applications, enhances the level of intelligence in robotic welding, and drives the digital transformation and upgrading of enterprises.
-
Keywords:
- GMAW /
- deep learning /
- multi-dimensional information fusion /
- welding defects /
- online monitoring
-
0. 序言
在轨道交通领域，国内进入了快速发展，经历了引进、消化吸收、再创新阶段，高速动车铸就了“金名片”，为持续保持国内轨道交通在全球的领先优势，中国中车新一代轨道交通装备CR450和时速600 km/h的磁悬浮列车的研制不仅要满足高速快捷的需求，而且更需要安全可靠，其制造过程显得尤其重要. 焊接是高速动车组车体结构连接的主要方式，为了确保焊接质量的提高，核心部件焊接性能的一致性，以及生产效率的提升，焊接过程中的智能传感与控制变得日益重要，在自动化和智能化焊接领域扮演着关键的角色，其中弧压传感[1-2]，视觉传感，声音传感，超声传感，红外线传感，X射线传感以及多维信息传感[3-9]等方法被广泛应用于焊接过程，能够有效地监测焊接缺陷，避免废品废件，保障产品质量.
高速动车组司机室铝合金外板，对焊接质量在线监测和历史数据可视化追溯等方面提出了更高的要求，为了更全面地监测司机室铝合金外板焊接中的焊缝质量问题，对焊接过程中遇到的缺陷进行梳理、分析和归纳，具体包含：焊漏、未焊透、焊偏、气孔、夹渣等问题，将这些问题划分为熔透性、对中性以及设备异常3个类别. 针对焊接熔透性问题，熔透状态依据焊缝背面熔宽/熔深可分为未熔透、临界熔透、全熔透和过熔透，其中全熔透状态为生产制造过程中采用的工艺区间范围，此时焊缝背面熔宽大于未熔透状态，小于过熔透状态. 为了保证焊接质量的一致性，焊缝背面熔宽/熔深应该保持在一定的区间范围，如何有效且实时地监测焊缝熔透状态是目前遇到的一大难题；针对焊缝对中性问题，由于装配误差以及工件变形等引起的焊枪与焊缝之间的偏差，如何有效且实时地识别焊偏是目前遇到的又一难题；在设备异常方面，由于保护气堵塞或者保护气不足引起的焊缝气孔问题，以及铝合金试件待焊区表面氧化膜和油渍去除不充分引起的夹渣问题，这些均是生产现场需要面临解决的问题. 通过对焊接过程可传感的信息进行调研和分析，发现熔池图像可有效映射熔池表面信息，国内学者发现在一定条件下图像表面特征可与熔透状态、焊偏、气孔以及夹渣等建立关联，通过查阅国内外文献发现电弧声音与熔透状态、焊偏、气孔等具有关联性，焊接电流和电弧电压作为焊接电源的输出形式，在一定速度下可表征热输入，与焊接熔透状态具有关联性. 以上调研发现，熔池图像、电弧声音、电流和电压均与焊缝缺陷存在直接或间接的映射关系，如何更有效地提取和融合上述信息的特征，以建立与焊缝缺陷之间的关系，深度学习[10]的快速发展为实现这一目标提供可能性.
卷积神经网络(convolutional neural networks，CNNs)作为当前非常受欢迎的深度学习模型之一，被广泛地应用于图像分类及回归、自然语言处理和信号分析等领域，其中典型的CNNs模型为LeNet，AlexNet，VGG-Nets，GoogLeNet和ResNet[11-14]等，通过这几年的迭代发展，具有强大的特征提取能力和识别能力. 文中通过典型的铝合金熔化极气体保护焊(gas metal arc welding，GMAW)工艺与深度学习的结合，依据采集信息构建多维信息融合模型，对融合模型进行迭代训练以及优化，并验证融合模型的识别能力，解决焊缝缺陷在线监测问题，为焊接生产现场提供预警，保障产品质量与安全.
1. 试验平台搭建
试验平台由焊接系统、运动机构和采集系统组成，如图1所示. 其中焊接系统由福尼斯TPS500i数字化焊接电源、送丝机、清枪器、99.99%纯氩保护气和GMAW焊枪等组成；运动机构由KUKA 10R1420六自由度工业机器人执行；采集系统由Xiris XVC 1000相机、660 nm滤光片、声望科技MPA201传声器、霍尔传感器、电压传感器和工控机等组成，可实现不同类型缺陷的焊接以及焊接过程相关信息的同步采集. 由中车工业研究院有限公司与中车青岛四方车辆研究所有限公司联合设计和开发的信息采集平台界面如图2所示，信息采集平台采集的信息分为4类，分别为熔池正面图像、电弧声音、焊接电流和焊接电压，此采集平台可用于数据的在线显示和历史数据追溯，并对当前焊接缺陷状态进行识别和预警.
2. 数据采集与标定
2.1 试验设计与数据采集
试验采用高速动车司机室铝合金外板材料，焊接试板如图3所示，材料型号为5083，试件长宽尺寸为300 mm × 150 mm，厚度4 mm，坡口60°，无钝边，焊丝采用直径为1.2 mm的ER5356铝合金焊丝，焊接方式为对接，焊缝背面采用衬板，焊前待焊区域均进行氧化膜清除处理以及油渍清洗处理.
依据生产现场工艺卡进行焊接参数设计，其中焊接电流、焊接速度、保护气流量、焊缝中心偏差量以及试件表面整洁度等参数见表1，试验设计过程采用交叉试验对多场景下的焊接缺陷问题进行复刻，使数据样本更加丰富，提高后续训练模型的泛化能力.
表 1 焊接参数Table 1. Welding parameters类型 焊接电流I/A 焊接速度v/(mm·s−1) 气体流量Q/(L·min−1) 偏差量d/mm 表面
整洁度未开始 0 0 0 0 好 正常 120 ~ 150 8 20 0 好 焊偏 120 ~ 150 8 20 0 ~ 10 好 未焊透 80 ~ 120 8 20 0 好 焊漏 150 ~ 200 8 20 0 好 气孔 120 ~ 150 8 0 ~ 10 0 好 夹渣 120 ~ 150 8 20 0 差 试验复现的焊接质量类别共8种，其定义如下：未开始(序号1)为未开始的焊接状态；正常(序号2)为生产现场满足产品要求的焊接状态；焊偏(序号3)为焊枪偏离焊缝中心位置的焊接状态；未焊透(序号4)为焊接热输入过小或者由于焊接试样散热大，导致焊缝未能达到标准全熔透的焊接状态；焊漏(序号5)为焊接热输入过大或者由于焊接试样散热小，导致焊缝超过标准全熔透的焊接状态；气孔(序号6)为保护气不足而导致的焊缝出现气孔的焊接状态；夹渣(序号7)为焊接试样表面未清理干净而导致的焊缝夹渣状态；未确定(序号8)为信息采集中不能够人工区分具体类别的焊接状态. 图4为8种类别某一时刻的熔池正面图像，可以看出不同状态下熔池表面特征主要体现在熔池尺寸、形状和图像灰度等方面的差异，证明了采集图像信息的有效性，图5为几种类别在特定条件下的焊缝宏观形貌.
2.2 数据预处理
试验中采集的焊接过程信号有熔池正面图像、电流、电压和声音，像素大小为200 × 200，采集范围能够较为全面地覆盖熔池和电弧部分，其中一帧图像单独作为一个数据包进行发送、存储和调取；电流、电压和声音分别单独作为一个数据包，每个数据包包含1 000个数据点；图像的采样频率为10 Hz，电流、电压和声音采样频率均为10 000 Hz，即100 ms可获取4个数据包，分别为图像包、电流包、电压包和声音包. 数据包采用Base64进行编码并存储到MySQL数据库，历史查询与分析阶段，可以将编码数据进行解码对数据进行分析和识别；在在线识别阶段，数据均被保存为神经网络能够读取的Numpy格式，送入预先训练的模型进行识别，输出预测结果.
数据标定质量直接关系到模型的识别精度，依据专家经验对数据对进行标定，确保数据与标签匹配的准确性，人工标定的标签与时序下对应的4个数据包组成数据对，大量数据对构成数据集，数据集分为训练集、验证集和测试集. 对于熔透性数据标定方面，通过观察熔池正面图像和焊缝背面熔宽对数据对进行一一标定，为了符合生产需求，认定焊缝背面熔宽w满足w≥2.5 mm且w≤10 mm时，焊缝熔透满足生产要求，即定义为正常熔透；焊缝背面熔宽w<2.5 mm时，定义为未熔透；焊缝背面熔宽w>10 mm时，定义为焊漏；2.5 mm和10 mm熔池背面熔宽值的选取是依据经验及试样横截面测量试验；加上焊偏、气孔、夹渣、未开始以及未确定等标注样本，试验共获取样本84 820对，其中训练集57 915对，验证集12 755对，测试集14 150对，数据集具体分布情况见表2.
表 2 数据集分布Table 2. Data set distribution类别 训练集数量n1 验证集数量n2 测试集数量n3 未开始 5 870 2 168 2 666 正常 14 007 1 944 2 341 焊偏 8 021 1 559 1 534 未焊透 3 970 1 374 1 143 焊漏 10 132 1 474 1 630 气孔 3 856 1 321 1 635 夹渣 7 616 2 128 2 296 未确定 4 443 787 905 3. 深度学习模型构建
3.1 模型架构设计
试验采用基于Pytorch平台设计的卷积神经网络融合模型，对采集的信号进行特征提取和识别，融合模型由4个子神经网络组成，具体的神经网络架构和各子神经网络参数如图6和图7所示. 图6描述了4个子网络与输入和输出之间的关系，图像、电流、电压和声音信号分别送入子神经网络Net_1，Net_2，Net_3和Net_4中进行特征提取和识别，其中，Net_1为18层的残差神经网络(ResNet18)，Net_2，Net_3和Net_4均为8层的一维卷积神经网络，分别包含3层卷积层、3层池化层以及2层全连接层. 子神经网络输出结果分别乘上权重系数W1，W2，W3和W4，再求和作为整个融合模型的输出，经过多次调试，其中W1=0.4，W2=0.2，W3=0.2和W4=0.2时具有较好的效果，且W1 + W2 + W3 + W4=1. 图7为每个子神经网络的层数，数据流的尺寸变化以及每层网络中参数的数量，模型最终输出8种类别的识别概率，以最高概率类别作为识别的结果. 这种通过采集信号(图像、电流、电压和声音)与焊缝质量之间建立关联的人工智能方法，不仅有效地解决了不同类型数据的提取问题，而且智能地融合了不同类别的特征，对焊缝质量进行更精确的识别，从而提高了模型识别结果的精度和泛化能力.
3.2 模型训练、测试与优化
采用上述的网络结构对采集的数据开展训练，并通过调节超参数对模型进行多次优化，模型共进行50次迭代训练，训练中后期，模型精确度和损失值均趋于稳定. 在50次迭代训练中，当验证集精确度达到最高时，保存此时训练得到的模型，并把此次模型作为最优模型，依据最优模型开展模型测试，训练结果表明，模型在24次迭代训练获得最优模型. 为了对比分析多维信息融合模型和单信息模型之间的优劣，在融合模型训练过程中同时保存每个单信息的最优模型，一次迭代训练完成后共获得5个最优模型，分别为融合模型、图像模型、电流模型、电压模型和声音模型. 训练集结果见表3，融合模型和图像模型均有较高的精确度，约为99%，其次是声音模型，约为67.9%，电压模型和电流模型的精确度均较低，约为34.3%.测试集结果表明，5个最优模型识别精确度分别为88.3%，87.5%，35.2%，35.4%和62.9%，融合模型具有最高精确度，证明多维信息融合的有效性，能在一定程度上提高单信息模型的识别精度.
表 3 各模型的精确度Table 3. The accuracy of each model不同模型 数据精确度A(%) 训练集 验证集 测试集 融合模型 99.0 85.8 88.3 图像模型 98.9 84.3 87.5 电流模型 34.3 32.1 35.2 电压模型 34.3 32.2 35.4 声音模型 67.9 64.3 62.9 融合模型训练集、验证集以及测试集中由真实标定标签和识别结果组成的混淆矩阵分别如图8 ~ 图10所示，其表明8种焊接质量的识别结果均分布在对角线区域，每个类别均具有较高的识别精度，图10中未开始、正常、焊偏、未焊透、焊漏、气孔、夹渣以及未确定的识别精确度分别约为100%，85.2%，91.3%，88.7%，91.7%，92.8%，80.0%和63.3%. 结果表明，依据焊接过程传感信息，采用深度学习方法对焊接缺陷进行识别的可行性和有效性.
4. 结论
(1) 构建的焊接过程采集与监测系统，能够对焊缝缺陷的关键信息进行采集、传输和存储，焊接过程中可以实时显示各类信息的变化以及各缺陷类别的判别结果，焊后能够对历史数据进行读取和分析，系统采集的具体信息包含熔池正面图像、焊接电流、焊接电压以及电弧声音.
(2) 依据数据类型设计的多维融合模型，能够对各类数据进行特征提取与融合，有效地解决了不同维度数据融合难的问题，并且能够充分利用各数据的特征与焊缝缺陷建立关联.
(3) 通过多次迭代训练获得的最优深度学习模型，对文中8种类别的综合识别精度约为88.3%，且每一次识别中监测系统运行和模型响应总时间不超过100 ms，在精确度和响应速率方面能够满足工程化应用需求.
(4)文中的焊接缺陷在线监测系统，已在高速高铁司机室铝合金外板焊接过程中完成了相关功能测试，对焊接过程中焊缝质量具有较好的监测效果，目前正在进行工程化应用研究，并持续优化模型与完善监测系统，后续开展进一步推广和应用.
-
表 1 焊接参数
Table 1 Welding parameters
类型 焊接电流I/A 焊接速度v/(mm·s−1) 气体流量Q/(L·min−1) 偏差量d/mm 表面
整洁度未开始 0 0 0 0 好 正常 120 ~ 150 8 20 0 好 焊偏 120 ~ 150 8 20 0 ~ 10 好 未焊透 80 ~ 120 8 20 0 好 焊漏 150 ~ 200 8 20 0 好 气孔 120 ~ 150 8 0 ~ 10 0 好 夹渣 120 ~ 150 8 20 0 差 
下载: 导出CSV
表 2 数据集分布
Table 2 Data set distribution
类别 训练集数量n1 验证集数量n2 测试集数量n3 未开始 5 870 2 168 2 666 正常 14 007 1 944 2 341 焊偏 8 021 1 559 1 534 未焊透 3 970 1 374 1 143 焊漏 10 132 1 474 1 630 气孔 3 856 1 321 1 635 夹渣 7 616 2 128 2 296 未确定 4 443 787 905
下载: 导出CSV
表 3 各模型的精确度
Table 3 The accuracy of each model
不同模型 数据精确度A(%) 训练集 验证集 测试集 融合模型 99.0 85.8 88.3 图像模型 98.9 84.3 87.5 电流模型 34.3 32.1 35.2 电压模型 34.3 32.2 35.4 声音模型 67.9 64.3 62.9
下载: 导出CSV
-
[1] Zhang Zhifen, Chen Xizhang, Chen Huabin, et al. Online welding quality monitoring based on feature extraction of arc voltage signal[J]. The International Journal of Advanced Manufacturing Technology, 2014, 70(9-12): 1661 − 1671. doi: 10.1007/s00170-013-5402-2
[2] 程永超, 肖珺, 陈树君, 等. 基于弧压反馈的薄板GTAW智能熔透控制[J]. 焊接学报, 2018, 39(12): 1 − 4. doi: 10.12073/j.hjxb.2018390287 Cheng Yongchao, Xiao Jun, Chen Shujun, et al. Intelligent penetration welding of thin-plate GTAW process based on arc voltage feedback[J]. Transactions of the China Welding Institution, 2018, 39(12): 1 − 4. doi: 10.12073/j.hjxb.2018390287
[3] Cheng Yongchao, Chen Shujun, Xiao Jun, et al. Dynamic estimation of joint penetration by deep learning from weld pool image[J]. Science and Technology of Welding and Joining, 2021, 26(4): 279 − 285. doi: 10.1080/13621718.2021.1896141
[4] Lü Na, Zhong Jiyong, Chen Huabin, et al. Real-time control of welding penetration during robotic GTAW dynamical process by audio sensing of arc length[J]. The International Journal of Advanced Manufacturing Technology, 2014, 74(1-4): 235 − 249. doi: 10.1007/s00170-014-5875-7
[5] Graham G M, Ume I C. Automated system for laser ultrasonic sensing of weld penetration[J]. Mechatronics, 1997, 7(8): 711 − 721. doi: 10.1016/S0957-4158(97)00031-7
[6] Ghanty P, Vasudevan M, Mukherjee D P, et al. Artificial neural network approach for estimating weld bead width and depth of penetration from infrared thermal image of weld pool[J]. Science and Technology of Welding and Joining, 2008, 13(4): 395 − 401. doi: 10.1179/174329308X300118
[7] Huang Yiming, Wu Di, Lyu Na, et al. Investigation of porosity in pulsed GTAW of aluminum alloys based on spectral and X-ray image analyses[J]. Journal of Materials Processing Technology, 2017, 243: 365 − 373. doi: 10.1016/j.jmatprotec.2016.12.026
[8] 胡文刚, 陆云鹏, 郭世雄, 等. 基于DR数字射线成像技术的铝合金焊缝缺陷检测[J]. 焊接, 2021(2): 46 − 51. Hu Wengang, Lu Yunpeng, Guo Shixiong, et al. Weld defect detection of aluminum alloy based on digital radiography[J]. Welding & Joining, 2021(2): 46 − 51.
[9] Moon H S, Kim Y B, Beattie R J. Multi sensor data fusion for improving performance and reliability of fully automatic welding system[J]. The International Journal of Advanced Manufacturing Technology, 2006, 28: 286 − 293. doi: 10.1007/s00170-004-2359-1
[10] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521: 436 − 444. doi: 10.1038/nature14539
[11] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278 − 2323. doi: 10.1109/5.726791
[12] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84 − 90.
[13] Szegedy C, Liu Wei, Jia Yangqing, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Boston, 2015.
[14] He Kaiming, Zhang Xianyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Las Vegas, 2016.
-
期刊类型引用(3)
1. 卜华全，赵伟，臧晓飞，刘海定，任明皓，连轶博. 9%Ni钢用国产镍基焊丝的焊接试验研究. 压力容器. 2022(01): 19-26 . 
百度学术
2. 陈国耀，徐彤，钟继如，章骁程，关凯书. 小冲杆和压入测试技术获取材料真应力-应变曲线的对比研究. 压力容器. 2022(09): 42-49+55 . 百度学术
3. 徐卫军. 锅炉异种金属焊接的缺陷思考. 化纤与纺织技术. 2022(08): 94-96 . 百度学术
其他类型引用(4)
计量
- 文章访问数: 284
- HTML全文浏览量: 29
- PDF下载量: 97
- 被引次数: 7
