Real-time detection of pseudo-defect in laser welding of power battery tabs based on photoelectric coaxial sensing
-
摘要:
针对多层铝箔极耳和铝片的搭接形式，首先搭建了基于多波段光电同轴传感的激光焊过程实时监测系统，开展了不同激光功率和离焦量的激光焊试验，实时采集不同激光能量下的多波段光电信号；其次，利用小波散射网络从原始信号中提取出多尺度高维特征，并结合长短期记忆网络实现时间动态建模，最终达到实时检测虚焊缺陷的目标. 结果表明，在小样本规模下，构建的WSN-LSTM模型准确率达到99.6%，其分类性能优于其他循环神经网络和轻量化卷积神经网络模型. 同时，WSN-LSTM模型轻量化使其在训练时间最短，且平均单个样本处理时间仅为0.15 ms，有利于在动力电池产线快速部署，并实现虚焊缺陷的实时检测.
Abstract:Targeting the lap joint of multilayer aluminum tabs and an aluminum sheet, a real-time monitoring system for the laser welding process based on multi-band photoelectric coaxial sensing was established. Experiments on laser welding processes with different laser powers and defocusing conditions were conducted, and multi-band photoelectric signals under different laser energies were collected in real-time. Secondly, a wavelet scattering network (WSN) was used to extract multi-scale high-dimensional features from the raw signals. Combined with a long short-term memory (LSTM) network for temporal dynamic modeling, this approach ultimately achieves the goal of real-time detection of pseudo welding defects. The results indicate that, with a small sample size, the constructed WSN-LSTM model achieves an accuracy of 99.6%, and its classification performance surpasses that of other recurrent neural networks and lightweight convolutional neural network models. Additionally, the lightweight characteristic of the WSN-LSTM model results in the shortest training time, with an average processing time per sample of only 0.15 ms, making it advantageous for rapid deployment on power battery production lines and real-time detection of pseudo welding defects.
-
0. 序言
在工程实践中，由于焊件的坡口加工、组对与热积累变形等造成的偏差，会引起间隙、错边的不规则变化，并严重影响了焊接过程的稳定性与焊缝质量[1]. 为了进一步提高焊接效率与智能化水平，亟需开发可以根据焊接工况变化、实时调整焊接位置的焊缝跟踪算法及系统[2].
采用实时性更好的被动视觉算法是实现焊缝跟踪的有效途径之一. 国内外众多学者针对这一领域开展了长期的研究，Xia等人[3]提出了一种基于窗口信息融合的被动视觉焊缝跟踪算法，实现了对焊道摆动电弧过程中焊枪中心偏差的实时识别；Xiao等人[4]提出一种基于改进Snake模型的特征提取算法，可以对多个焊缝具有较好的适应性和鲁棒性；张广军等人[5]实现了对S形曲线焊缝平稳、精确的自主跟踪；Wang等人[6] 分析了图像特征随焊枪位置的变化规律，提出了焊枪的控制策略和实现焊缝跟踪的图像处理方法；Zhang 等人[7]研究了基于深度学习的机器人弧焊铝合金在线缺陷检测方法. 上述研究为弧焊过程被动视觉传感的光学系统构建与信号特征处理提供了有效的途径与模式，但在处理速度与跟踪精度方面仍需进一步优化.
文中提出了图像自动增强算法，提高了复杂焊接环境中图像特征位置对比度及图像检测的准确度.提出了基于边缘检测和卷积神经网络的方法，实现对坡口位置信息、电弧水平位置信息提取与表征，采用模糊控制算法进行了焊缝跟踪试验.
1. 试验系统
试验系统如图1所示，主要包含MOTO WELD-RD350焊机、XIRIS XVC510 焊接相机、NI-IC3171 工业控制器及 Fanuc 机器人等硬件. 电弧电压18 V、焊接电流约为200 A、焊接速度5 mm/s、送丝速度140 mm/s、保护气体为纯氩气，气体流量10 L/min.
2. 试验结果与分析
2.1 焊接图像预增强处理
提出了一种自动增强的方法对图像的灰度进行增强，从而提高整幅图像的对比度. 首先利用直方图分析可得到整张图像的各个像素点灰度值与整张图像的灰度平均值A，经过平均化处理后坡口外灰度值为0，坡口内的灰度值远大于0. 为了进一步提高对比度，给图像的所有灰度值再乘以一个增强系数K，进一步增大坡口内外区域的灰度差值.
MIG焊图像自动增强对比结果如图2所示. 可以发现对于焊枪区域和坡口区域特征信息都得到了明显的增强，提高了焊枪边缘信息与坡口边缘信息的对比度，使得特征信息的提取更为容易. 增强图像的坡口边缘强度远远大于原图像相同位置的边缘强度，边缘灰度值从40增大到110左右.
![]()
图 2 自动增强图像对比分析Figure 2. Automatic enhanced image contrast analysis. (a) unenhanced image; (b) enhanced image; (c) edge enhancement detection results2.2 特征位置信息提取与表征
采取卷积神经网络模型预测定位加边缘检测的办法，通过对焊缝坡口感兴区位置的定位预测，再使用边缘检测的方法获得坡口边缘信息. 综合考虑焊缝跟踪的图像处理实时性与精确度，选择改进型的YOLO v7作为焊缝目标定位与识别检测的模型.
在对焊缝图像进行训练与检测时，要求感兴区域位于坡口区和焊丝区，从而更好的获得坡口边缘信息和焊丝边缘信息. 为此，在原有的 YOLO v7 网络结构上，添加了如图3所示注意力机制模块.
完成模型构建后进行样本训练，选择1 000张焊接图像制作模型训练的数据集. 选用Labelme 对焊缝特征进行精确标注，标注信息为焊丝、熔池和和焊缝坡口. 将1 000张图片划分为训练集、验证集和测试集3个数据集，为了验证集和测试集能够客观地评估训练集上训练的模型的泛化能力和其他性能，选择训练集、验证集与测试集的比例为 2∶8. 选用 mAP指标评价MIG图像目标识别模型的性能，图4显示了模型在不同焊接相关类别上的平均精度(average precision, AP)以及整体的平均精度值(mean average precision, mAP). 不同类别的AP值大于0.98，mAP 值为99.27%，表明模型在这个特定数据集上具有非常高的检测准确性.
焊接位置的特征信息如图5所示. 以图像左上角建立坐标系，焊丝检测框可由矩形框的4个坐标表示：(XL1,YL1)，(XL2,YL2)和点(XR1,YR1)，(XR2,YR2).由此可以获得焊丝表征点的坐标为(X0, Y0)，其中X0，Y0满足
![]()
图 5 坡口与电弧水平位置信息表征示意图Figure 5. Horizontal position information representation diagram of groove and arc$$ \left\{\begin{split} {X}_{0} = \frac{{X}_{{\mathrm{L2}}} + {X}_{{\mathrm{R2}}}}{2}\\{Y}_{0} = \frac{{Y}_{{\mathrm{L2}}} + {Y}_{{\mathrm{R}}2}}{2} \end{split}\right. $$ (1) 式中：X0，Y0表示焊丝位置点在整张图片中的位置坐标；XR2, XR2表示矩形框右下侧端点的位置坐标；XL2, YL2表示矩形框左下侧端点的位置坐标.
坡口信息表征由边缘检测获得，通过边缘线检测可以得到各个边缘位于整张图像中的坐标信息，可以获得坡口左边缘点和右边缘点的特征表征，通过左右坡口信息可以得到坡口边缘线的表征方程. 由于视觉传感的二维视场存在透视畸变，使原本平行的坡口边缘在视场中呈现一定角度. 根据角平分线的性质，焊缝中心线正好位于这两条坡口边缘的角平分线上，因此，通过坡口边缘线的交点和角平分线的斜率可以确定焊缝中心线的表征方程，即
$$ y - {y_{\mathrm{c}}} = \frac{{{k_{\mathrm{L}}} + {k_{\mathrm{R}}}}}{{1 - {k_{\mathrm{L}}}{k_{\mathrm{R}}}}}\left( {x - {x_{\mathrm{c}}}} \right) $$ (2) 式中：(xc, yc)为坡口边缘线的交点；kL和kR分别为左右坡口边缘线的斜率.
将焊丝表征点(X0, Y0)代入焊缝中心线方程可以得到偏差距离D ，即
$$ D = {X_0} - \frac{{1 - {k_{{\mathrm{L1}}}}{k_{{\mathrm{R}}1}}}}{{{k_{{\mathrm{L}}1}} + {k_{{\mathrm{R}}1}}}}{Y_0} + \frac{{1 - {k_{{\mathrm{L}}1}}{k_{{\mathrm{R}}1}}}}{{{k_{{\mathrm{L1}}}} + {k_{{\mathrm{R1}}}}}}({y_{\mathrm{c}}} - {x_{\mathrm{c}}} )$$ (3) 通过偏差距离D的大小可以判断焊枪的对中位置. 当D = 0时，焊枪位于焊缝中心线位置；当D>0时，焊枪位于焊缝中心的右侧；当D<0时，焊枪位于焊缝中心的左侧.
2.3 对中偏差控制试验与结果分析
试验选用的焊接材料为Q345钢，加工尺寸为300 mm × 100 mm × 18 mm，坡口形式为70°V形坡口，如图6所示. 为了检测焊缝跟踪系统的实际控制效果，焊缝起始点到终点预设了15 mm的偏差.
由于焊接过程的高耦合性、非线性和时变性，难以建立一个精确的数学模型实现对焊接偏差的控制. 在焊缝跟踪中采用了模糊控制策略，将焊工的图像观察经验转化为模糊规则，利用模糊控制器根据焊接状态和模糊规则生成控制信号，以实现焊缝的精确跟踪. 模糊规则见表1，其核心逻辑在于确定纠偏控制量与偏差D及偏差变化率Dcr之间的动态关系，并通过实时监控和模糊控制原理对纠偏控制量进行动态调整.
表 1 模糊控制规则Table 1. Rules of fuzzy controller偏差距离D 偏差变化率Dcr NB NM NS ZO PS PM PB NB PB PB PB PB PM PS ZO NM PB PB PB PM PS ZO ZO NS PB PM PM PS ZO NS NM ZO PB PM PS ZO NS NM NB PS PM PS ZO NS NM NM NB PM ZO ZO NS NM NB NB NB PB ZO NS NM NB NB NB NB 注：NB为负方向大偏差，NM为负方向中等偏差，NS为负方向小偏差，ZO为无偏差，PS为正方向小偏差，PM为正方向中等偏差，PB为正方向大偏差 按照预设焊缝偏差展开有无控制对比MIG焊接试验，并对图像信息进行处理得到如图7所示的焊接偏差信息. 图7(a)为无控制情况下焊缝对中像素偏差，可以发现焊枪在焊缝中从一侧向另一侧偏移焊接时，提取到的焊缝中心线与焊丝位置表征点之间的偏差像素也随之不断变化. 图7(b)为加入焊缝跟踪系统的对中偏差像素变化，可以发现在起弧初始阶段焊枪远远偏离焊缝中心位置，此时上位机会持续给出调整控制信号，并在较短时间内调整焊枪位置，使其快速移动到焊缝中心位置.
![]()
图 7 焊缝跟踪效果Figure 7. Welding pixel deviation results. (a) no control; (b) automatic control焊枪距离焊缝中心的位置信息如图8所示，可以发现，通过焊缝跟踪可以使焊枪始终可以保持在焊缝中心线附近 ± 0.5 mm的范围内稳定.
3. 结论
(1) 通过设计的图像自动增强算法使坡口边缘位置的像素灰度值由40增大到110左右；通过添加注意力机制模块提升了检测效率，mAP指标高达99.27%.
(2) 预设偏差试验焊缝跟踪系统的检测准确率在90%以上，图像的对中偏差检测像素误差在8个像素以内，实际焊缝跟踪偏差在 ± 0.5 mm.
-
![]()
图 1 试验平台结构
Figure 1. Experimental platform structure. (a) laser welding workstation; (b) welding and monitoring platform structure
![]()
图 3 焊缝形貌和金相横截面
Figure 3. Qualified and pseudo weld seam morphology, metallographic cross-section. (a) qualified weld seam; (b) qualified metallographic cross-section; (c) pseudo weld seam; (d) pseudo metallographic cross-section
![]()
图 5 轻量化虚焊缺陷检测模型总体框架
Figure 5. Overall framework of the lightweight pseudo welding defect detection model
![]()
图 6 不同模型在训练集上准确率与损失值的迭代曲线
Figure 6. Iteration curves of accuracy and loss values on the training set for different models. (a) accuracy; (b) loss values
表 1 焊接工艺参数
Table 1 Welding experiment paraments
激光功率P/W 离焦量Df /mm 320，360，400，440，480 −2，−1，0，1，2 
下载: 导出CSV
表 2 不同模型的性能对比
Table 2 2 Performance comparison of different models
模型
类别准确率
A(%)精确率
P(%)召回率
R(%)F1分数
F1(%)模型参量
N/KB训练时间
t1/s样本平均时间
t2/msWSN-LSTM 99.6 99.6 100 99.8 55.8 26 0.15 LSTM 89.2 84.8 99.3 91.4 160.6 49 0.52 Bi-LSTM 97.4 98.9 96.3 97.6 321.2 82 0.85 GRU 97.2 96.8 97.6 97.2 120.5 61 0.35 MobileNet-v2 96.8 94.8 99.2 97.0 3 589.2 518 4.37
下载: 导出CSV
-
[1] 张杰. 碳/铝复合集流体的制备及其锂电池应用[D]. 南京: 南京邮电大学, 2024. Zhang Jie. Preparation of carbon/aluminum composite collector and their application in lithium battery[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2024.
[2] 王臣, 袁美蓉, 马茵婷, 等. 集流体在锂电池中的研究进展和应用[J]. 化工管理, 2023, 36: 151 − 155. Wang Chen, Yuan Meirong, Ma Yinting, et al. Research progress and application of current collectors in lithium-ion batteries[J]. Chemical Engineering Management, 2023, 36: 151 − 155.
[3] Das A, Li D Z, Williams D, et al. Joining technologies for automotive battery systems manufacturing[J]. World Electric Vehicle Journal, 2018, 9(2): 22. doi: 10.3390/wevj9020022
[4] 杨彪, 刘福运, 檀财旺, 等. 动力电池激光焊接技术的应用现状与展望[J]. 机械制造文摘(焊接分册), 2023(2): 1 − 9. Yang Biao, Liu Fuyun, Tan Caiwang, et al. Current application status and prospects of laser welding technology for power battery[J]. Welding Digest of Machinery Manufacturing, 2023(2): 1 − 9.
[5] 徐东辉, 孟范鹏, 孙鹏, 等. 基于深度学习的GMAW焊接缺陷在线监测[J]. 焊接学报, 2024, 45(3): 114 − 119. Xu Donghui, Meng Fanpeng, Sun Peng, et al. On-line monitoring of GMAW welding defect based on deep learning[J]. Transactions of the China Welding Institution, 2024, 45(3): 114 − 119.
[6] 白子键, 李治文, 张志芬, 等. 基于电弧光谱的核电堵管TIG焊接质量在线监测[J]. 焊接学报, 2024, 45(5): 8 − 19. Bai Zijian, Li Zhiwen, Zhang Zhifen, et al. On-line monitoring of TIG welding quality of nuclear power plug tube based on arc spectrum[J]. Transactions of the China Welding Institution, 2024, 45(5): 8 − 19.
[7] Zhang Y, Gao X, You D, et al. Online judgment of laser welding process based on time-frequency analyses of in-situ high-speed optical signals[J]. Optik, 2022, 265: 169552. doi: 10.1016/j.ijleo.2022.169552
[8] Wu D, Zhang P, Yu Z, et al. Progress and perspectives of in-situ optical monitoring in laser beam welding: Sensing, characterization and modeling[J]. Journal of Manufacturing Processes, 2022, 75: 767 − 791. doi: 10.1016/j.jmapro.2022.01.044
[9] Wang B, Hu S J, Sun L, et al. Intelligent welding system technologies: State-of-the-art review and perspectives[J]. Journal of Manufacturing Systems, 2020, 56: 373 − 391. doi: 10.1016/j.jmsy.2020.06.020
[10] Li X, Shi Y, Jian Y, et al. Research on welding penetration status monitoring based on Residual-Group convolution model[J]. Optics & Laser Technology, 2023, 163: 109322.
[11] Liu L, Wu J, Li D, et al. Fractional wavelet scattering network and applications[J]. IEEE Transactions on Biomedical Engineering, 2018, 66(2): 553 − 563.
[12] Yu Y, Si X, Hu C, et al. A review of recurrent neural networks: LSTM cells and network architectures[J]. Neural computation, 2019, 31(7): 1235 − 1270. doi: 10.1162/neco_a_01199
计量
- 文章访问数: 91
- HTML全文浏览量: 13
- PDF下载量: 40
