Welding forming quality monitoring based on CNN-LSTM hybrid drive
-
摘要:
焊接成形质量监测对于现代制造业至关重要，现有的质量识别方法大多基于单一传感器，识别精度难以进一步提升，面对复杂条件下的抗干扰能力较弱.针对单一传感器识别技术存在的不足，多源信息融合技术能够发挥不同类型传感器的自身优势，实现对焊接过程更为全面且准确的监测.在进行多信息融合过程中，深度学习模型的特征挖掘机制仍然欠缺解释，不同信息的互补性仍未明晰，为此，提出一种基于多源信息混合驱动的CNN-LSTM焊接成形质量监测模型.结果表明，通过融合图像和电压信号实现了99.72%的平均识别准确率，可视化结果还展示了不同信息之间的互补优势.
Abstract:Welding forming quality monitoring is crucial for modern manufacturing industry, but most of the existing quality identification methods are based on single sensor, which makes it difficult to further improve the identification accuracy and has weak anti-interference ability under complex conditions. To overcome the shortcomings of single sensor identification technology, multi-source information fusion technology can make full use of the advantages of different types of sensors to achieve more comprehensive and accurate monitoring of the welding process. However, in the process of multi-information fusion, the feature mining mechanism of the deep learning model still lacks explanation, and the complementarity of different information is still unclear. In this paper, a multi-information hybrid-driven CNN-LSTM welding quality monitoring model is proposed. By fusing image and voltage signals, an average recognition accuracy of 99.72% is achieved. In addition, the visualization results show the complementary advantages between different information.
-
0. 序言
搅拌摩擦焊(friction stir welding, FSW)作为一种固相焊接技术，具有焊缝质量高、变形小等优点[1-2]. 目前加工制造业对焊接智能化、高效化的要求日益上升，机器人搅拌摩擦焊得以更普遍的应用.在实际大型结构的FSW生产中，由于接头形式、板材加工精度以及工装夹具装配质量问题，焊接过程容易产生较大的间隙，对接头的成形和性能极为不利[3-4]，当工件之间的间隙超过工件厚度的10%时，很难获得无缺陷质量良好的接头[5]. 间隙的存在导致焊核区(weld nugget zone，WNZ)材料流动不充分，焊缝出现孔洞和隧道等缺陷[6]. 同时，工件被塑化的材料流入间隙，弥补材料缺失使得焊缝位置减薄严重，降低接头承载能力[7].
研究人员[8-9]采用粉末、焊丝或者补偿条作为填充材料对大间隙下的工件进行FSW，得到成形良好无缺陷的接头，接头与常规FSW接头力学性能吻合，然而，当焊接速度过快时，这些填充材料很容易飞出间隙，从而形成缺陷. 同时填充材料需要在焊前放置在间隙内，针对复杂结构间隙及焊接过程中产生的间隙，填充材料的尺寸以及填料的连续性受到限制.
基于传统搅拌摩擦焊方法，填充材料旁轴送料，将FSW与填料过程同时进行，实现大间隙机器人搅拌摩擦填丝焊，并对其接头进行盐雾腐蚀试验，分析搅拌摩擦填丝焊接头不同区域的腐蚀行为差异.搅拌摩擦填丝焊提高了FSW对工况条件的适应性，适用于高铁、船舶和飞机上大型及复杂结构焊缝，有望为工程实际应用提供理论依据和技术支撑.
1. 试验方法
试验材料为5A06铝合金轧制板材，尺寸为300 mm × 70 mm × 3 mm，填充材料为直径1.6 mm的5B06丝材. 机器人搅拌摩擦填丝焊焊接过程示意图及焊具尺寸如图1所示，对接板材焊接间隙为2 mm. 填充丝材经过高推力送丝系统从送丝孔连续输送到储料腔内部，高速旋转的螺杆将金属丝材剪切成粒状材料，粒状材料在自身重力及与螺杆侧壁的摩擦力的影响下，在储料腔内塑化从底部的缝隙流出. 轴向压力使储料腔与板材之间产生挤压效果，粒状材料发生变形堆积并被塑化. 在旋转的搅拌针的驱动作用下，塑化的填充材料发生流动并实现与基材的连接. 试验所采用的焊接工艺参数为转速3 000 r/min，焊接速度200 mm/min，送丝速度1.8 m/min，轴向压力5 000 N，倾角1.5°.
![]()
图 1 焊接过程示意图及焊具结构Figure 1. Welding process and the welding tool structure. (a) schematic illustration of wire-feeding friction stir welding; (b) dimensions of the welding tool2. 试验结果与分析
2.1 焊缝成形
图2为机器人搅拌摩擦填丝焊接头焊缝表面形貌. 焊缝表面光滑成形良好，无沟槽缺陷，在搅拌针的驱动作用下，塑化的填充材料发生流动后沉积弥补了间隙位置材料缺失，同时焊缝有一定程度的增厚，提高了接头的承载能力.
2.2 焊缝微观组织
图3为焊缝整体微观形貌及不同区域的微观组织. 焊接接头填充材料与基体母材结合良好，焊缝无孔洞及隧道缺陷，由于搅拌针的存在，搅拌针促进塑化的丝材和基材发生流动，提高了填充材料与基材的结合效果. 丝材经过螺杆的剪切及静轴肩的挤压作用，与焊核区受到搅拌针的搅拌作用一样，填充材料也经历了大塑性变形，发生动态再结晶，形成细小的等轴晶.
![]()
图 3 搅拌摩擦填丝焊接头微观组织Figure 3. Microstructures of wire-feeding friction stir welding. (a) microstructures of the cross-section; (b) top interface; (c) thermo-mechanically affected zone interface; (d) filler materials zone2.3 焊缝腐蚀性能
搅拌摩擦填丝焊接头经过7天盐雾腐蚀试验后接头各区域腐蚀形貌如图4所示. 接头表面均发生了点蚀坑的萌生, 表面出现腐蚀产物；焊核区及填充材料区域的点蚀坑尺寸较小，且分布较为均匀；母材点蚀坑分布不均匀，尺寸较大.热力影响区(thermo- mechanically affected zone，TMAZ)的点蚀坑随晶粒分布特征呈流线分布，热影响区(heat-affected zone，HAZ)的点蚀坑尺寸较大，且出现一定的聚集现象，点蚀坑发生扩展.焊核区和填充材料区表现出更好的耐腐蚀性能.
![]()
图 4 不同区域盐雾腐蚀形貌Figure 4. Salt spray corrosion morphologies in different zones. (a) WNZ; (b) filler materials zone; (c)TMAZ; (d) HAZ; (e)BM第二相分布及尺寸对点蚀坑的形成有巨大影响，第二相和基体之间形成微电偶会导致腐蚀现象发生.焊核区经过塑性变形后第二相颗粒被打碎，尺寸较小分布也更均匀，进而发生腐蚀现象后点蚀坑分布均匀细小；填充材料区域拥有更小且弥散分布的第二相颗粒，填充材料的加入增强了焊核区的耐蚀性.经过轧制后的母材中第二相颗粒尺寸较大且分布不均匀，耐蚀性较差易形成较大的点蚀坑；热力影响区点蚀坑呈流线分布，而热影响区第二相颗粒发生聚集长大，发生点蚀后有利于点蚀坑的扩展,导致热影响区的耐蚀性较差.
图5为热影响区点蚀坑SEM图及附近元素分布.发现在第二相Al6(FeMn)附近产生了明显的腐蚀现象, 点蚀坑发生扩展. 在盐雾环境中，铝合金表面虽然存在一层氧化膜，但是随着溶液中Cl−的侵入，Cl−破坏了表面氧化膜，促进点蚀现象发生. 同时热影响区第二相颗粒Al6(FeMn)与铝基体之间存在腐蚀电位差形成原电池，由于Al6(FeMn)电位高于铝基体[10]，第二相颗粒在腐蚀过程中充当阴极，促使周围基体发生腐蚀，因此在第二相附近形成环形腐蚀区域产生腐蚀坑并向四周扩展. 当第二相尺寸较大时，周围基体溶解的范围增大，点蚀坑的尺寸也会更大. 基于元素分布图可以看出，在腐蚀坑附近Al元素含量减少，点蚀坑内金属发生溶解，点蚀孔内阳离子浓度升高，Cl−就会不断侵入以维持平衡.随着Cl−浓度的升高发生水解，导致点蚀坑内部氢离子浓度升高，溶液酸化，促使基体进一步溶解，点蚀坑发生扩展.
2.4 接头力学性能
图6为经过7天盐雾腐蚀接头、未腐蚀接头及母材的拉伸测试结果.未腐蚀接头抗拉强度为388.9 MPa ± 1.4 MPa，断后伸长率为20.5% ± 0.4%，分别达到母材的99%及94%. 经过7天盐雾腐蚀后接头抗拉强度降低到356.6 MPa ± 1.2 MPa，断后伸长率为18.1% ± 0.9%，盐雾腐蚀后接头强度降低了8.3%，断后伸长率下降了11.7%，盐雾腐蚀试验后接头仍保持较优的力学性能. 盐雾腐蚀环境造成焊缝表面出现点蚀坑，而富Cl−环境使基体金属进一步溶解，点蚀坑发生扩展，减少了接头有效承载面积，在承受载荷时其易成为薄弱位置，裂纹在点蚀坑位置产生，降低了接头承载能力.
3. 结论
(1) 实现了大尺寸间隙下机器人搅拌摩擦填丝焊，焊接过程与填料过程同时进行，提高了搅拌摩擦焊对接头间隙的容忍性，消除了焊缝减薄问题.
(2) 填充材料与基材实现了良好的冶金连接，经过剧烈塑性变形后，焊核区和填充材料发生动态再结晶，表现为细小的等轴晶粒.
(3) 未腐蚀接头抗拉强度达到388.9 MPa ± 1.4 MPa，断后伸长率为20.5% ± 0.4%，分别达到母材的99%及94%. 在腐蚀过程中焊核区和填充材料区耐腐蚀性能优于热影响区与母材，点蚀坑细小且均匀分布，7天盐雾腐蚀后接头保持优异的耐蚀性能.
-
![]()
图 2 焊接试验结果
Figure 2. Welding experiment result. (a) No.1; (b) No.2; (c) No.3; (d) No.4; (e) No.5; (f) No.6
![]()
图 6 CNN和LSTM模型的混淆矩阵
Figure 6. Confusion matrix of CNN and LSTM models. (a) CNN; (b) LSTM
![]()
图 7 不同模型的Grad-CAM可视化结果
Figure 7. Grad-CAM visualization results for different models. (a) CNN model visualization; (b) Hybrid model visualization
表 1 MIG 焊试验参数
Table 1 MIG welding experimental parameters
焊接电流I/A 焊接速度v/(m·min−1) 偏移量B/mm 材料尺寸l/mm 气体流量Q/(L·min−1) 搭接量d/mm 220 ~ 260 1.2，1.5 3 250 × 50 × 1.8 15 8 
下载: 导出CSV
表 2 MIG焊接试验结果
Table 2 MIG welding experimental results
试验
编号焊接电流
I / A偏移量
B / mm试验
结果No.1 220 0 正常 No.2 240 3 焊偏 + 烧穿 No.3 240 -3 焊偏 No.4 260 0 正常 + 烧穿 No.5 260 0 烧穿 No.6 220 0 宽度不均匀
下载: 导出CSV
表 3 不同网络模型的性能
Table 3 Network model performance of different models
模型 准确率A(%) 精确率P(%) 召回率R(%) F1分数F(%) LSTM 83.74 ± 1.75 85.69 ± 1.89 81.91 ± 2.42 82.68 ± 2.45 CNN 98.22 ± 0.28 98.14 ± 0.44 98.18 ± 0.43 98.09 ± 0.36 CNN-LSTM 99.72 ± 0.14 99.59 ± 0.23 99.61 ± 0.25 99.60 ± 0.20
下载: 导出CSV
-
[1] 白子键, 李治文, 张志芬, 等. 基于电弧光谱的核电堵管TIG焊接质量在线监测[J]. 焊接学报, 2024, 45(5): 8 − 19. Bai Zijian, Li Zhiwen, Zhang Zhifen, et al. On-line monitoring of TIG welding quality of nuclear power plug tube based on arc spectrum[J]. Transactions of the China Welding Institution, 2024, 45(5): 8 − 19.
[2] 韩旭. 焊接过程监测技术研究现状[J]. 现代制造技术与装备, 2023, 59(4): 83 − 85. Han Xu. Research status of welding process monitoring technology[J]. Modern Manufacturing Technology and Equipment, 2023, 59(4): 83 − 85.
[3] 王继锋, 陈波, 陈善本. GTAW焊接过程声音信号的分析[J]. 噪声与振动控制, 2019, 29(4): 148 − 150. Wang Jifeng, Chen Bo, Chen Shanben. Analysis of acoustic signals during GTAW welding[J]. Noise and Vibration Control, 2019, 29(4): 148 − 150.
[4] 曾安, 李迪, 潘丹, 等. 基于MSPC方法的GMAW在线监测[J]. 焊接学报, 2003, 24(1): 5 − 8. Zeng An, Li Di, Pan Dan, et al. Online monitoring platform of GMAW based on MSPC[J]. Transactions of the China Welding Institution, 2003, 24(1): 5 − 8.
[5] 洪宇翔, 杨明轩, 都东, 等. 铝合金爬坡TIG焊熔池失稳状态的视觉检测[J]. 焊接学报, 2021, 42(10): 8 − 13. Hong Xiangyu, Yang Mingxuan, Du Dong, et al. Unstable state vision detection of molten pool during aluminum alloy climbing-TIG welding[J]. Transactions of the China Welding Institution, 2021, 42(10): 8 − 13.
[6] Gao Y F, Wang Q S, Xiao J H, et al. Penetration state identification of lap joints in gas tungsten arc welding process based on two channel arc sounds[J]. Journal of Materials Processing Technology, 2020, 285: 116762. doi: 10.1016/j.jmatprotec.2020.116762
[7] Zhang Z F, Chen X Z, Chen H B, et al. Online welding quality monitoring based on feature extraction of arc voltage signal[J]. The International Journal of Advanced Manufacturing Technology, 2014, 70: 1661 − 1671. doi: 10.1007/s00170-013-5402-2
[8] Wang J, Zhang Z F, Bai Z J, et al. On-line defect recognition of MIG lap welding for stainless steel sheet based on weld image and CMT voltage: Feature fusion and attention weights visualization[J]. Journal of Manufacturing Processes, 2023, 108: 430 − 444. doi: 10.1016/j.jmapro.2023.10.081
[9] Zhang Z F, Chen S B. Real-time seam penetration identification in arc welding based on fusion of sound, voltage and spectrum signals[J]. Journal of Intelligent Manufacturing, 2017, 28: 207 − 218. doi: 10.1007/s10845-014-0971-y
[10] Zhang Y X, You D Y, Gao X D, et al. Real-time monitoring of high-power disk laser welding statuses based on deep learning framework[J]. Journal of Intelligent Manufacturing, 2020, 31: 799 − 814. doi: 10.1007/s10845-019-01477-w
[11] Sun H B, Zhao S C. Fault diagnosis for bearing based on 1DCNN and LSTM[J]. Shock and Vibration, 2021, 1: 1221462.
[12] Huang J, Zhang Z F, Qin R, et al. Interpretable real-time monitoring of pipeline weld crack leakage based on wavelet multi-kernel network[J]. Journal of Manufacturing Systems, 2024, 72: 93 − 103. doi: 10.1016/j.jmsy.2023.11.004
[13] Yu R, Kershaw J, Wang P, et al. How to accurately monitor the weld penetration from dynamic weld pool serial images using CNN-LSTM deep learning model[J]. IEEE Robotics and Automation Letters, 2022, 7(3): 6519 − 6525. doi: 10.1109/LRA.2022.3173659
[14] Wang J, Zhang Z F, Qin R, et al. Online identification of burn-through and weld deviation in sheet lap MIG welding based on YOLOv5[J]. Measurement Science and Technology, 2023, 35(2): 025119.
[15] 王杰, 张志芬, 秦锐, 等. 基于机器学习的不锈钢薄板MIG焊焊穿缺陷识别[J]. 电焊机, 2023, 53(9): 70 − 77. Wang Jie, Zhang Zhifen, Qin Rui, et al. Identification of MIG welding burn-through defects in stainless steel sheet based on machine learning[J]. Electric Welding Machine, 2023, 53(9): 70 − 77.
[16] Liu J P, Wu S J, Feng Y C, et al. Optimization of the weld pool boundary calculated by the LSTM-based measurement method in GTAW[J]. Metals, 2022, 12(8): 1321. doi: 10.3390/met12081321
[17] Joseph L P, Deo R C, Prasad R, et al. Near real-time wind speed forecast model with bidirectional LSTM networks[J]. Renewable Energy, 2023, 204: 39 − 58. doi: 10.1016/j.renene.2022.12.123
[18] Liu T Y, Bao J S, Wang J L, et al. A hybrid CNN–LSTM algorithm for online defect recognition of CO2 welding[J]. Sensors, 2018, 18(12): 4369. doi: 10.3390/s18124369
计量
- 文章访问数: 80
- HTML全文浏览量: 9
- PDF下载量: 33
