Three-dimensional reconstruction of GMAW weld pool appearance based on variational stereo matching algorithm
-
摘要:
为实现完整熔池表面形貌三维传感，构建了双棱镜单摄像机立体视觉传感系统. 针对熔池图像纹理缺乏造成的立体匹配困难的问题，引入了全局优化的变分立体匹配算法，通过建立包含灰度差异数据项和空间连续性约束项的能量函数的可行性泛函，经过迭代求解获得具有丰富细节的熔池表面稠密视差图. 对自制非标准凹面形状进行立体匹配和三维重建，结果表明，宽度误差小于3.16%，深度误差小于4.82%. 基于该算法实现了熔化极气体保护焊(gas metal arc welding，GMAW)的堆焊及V形坡口对焊条件下，不同熔透状态熔池稠密视差图计算和表面形貌的三维重建.
Abstract:In order to realize the complete three-dimensional sensing of weld pool surface morphology, a stereo vision sensing system with biprism and single camera was constructed. Aiming at the difficulty of stereo matching caused by the lack of texture in weld pool map, a globally optimized variational stereo matching algorithm was introduced. By establishing the feasibility function of energy function containing gray difference data item and spatial continuity constraint item, the dense disparity figure of weld pool surface with rich details was obtained through iterative. The results of stereo matching and three-dimensional reconstruction of the self-made non-standard concave shape show that the width error is less than 3.16% and the depth error is less than 4.82%. Based on this algorithm, the dense disparity map of weld pool surface is calculated and reconstructed under the conditions of bead on plate and V-groove butt welding with different penetration states.
-
0. 序言
激光焊接由于其焊接速度快、热输入量低、焊接变形小等优势，已经广泛应用于汽车制造、航空航天、能源装备及船舶制造等工业生产焊接制造过程中. 激光焊接过程涉及到材料对激光能量的吸收过程、材料的熔化与蒸发、等离子体(羽烟)的形成、熔池与匙孔的形成、凝固与相变等复杂的多物理场问题，建立合理的反映激光焊接热过程特点的数值模型，定量描述和澄清激光焊接过程中的熔化、蒸发、凝固等物理现象，对于更好地理解和掌握激光热过程对焊缝成形、组织及应力演化的影响规律及内在机理十分重要，故数值模拟方法是焊接关键问题科学研究的强有力分析手段[1].
激光焊接自身快速熔凝的特点导致其焊接过程中更易产生驼峰、气孔、飞溅、侧壁未熔合等焊接缺陷[2-5]，直接影响激光焊缝成形质量，另外激光焊缝组织梯度大及残余应力等问题也成为影响激光焊接构件服役性能的重要因素.
文中从影响激光焊缝成形质量及服役性能的焊接缺陷、组织演变、残余应力几个方面入手，阐述数值模拟技术在激光焊接基础问题方面应用及发展.
1. 激光焊缝成形问题的数值模拟
激光焊缝成形过程及相关缺陷的产生与熔池的流动行为、匙孔的动态波动及熔池的凝固过程密切相关. 此部分主要是针对熔池流动及匙孔行为进行阐述.
1.1 焊缝表面成形
在激光高速焊接时，焊缝表面成形主要涉及驼峰、咬边、未熔合、焊穿等问题，这与熔池流动及匙孔行为密切相关. 在表面驼峰成形方面，Otto等人[6]模拟研究了激光焊接表面驼峰的形成过程，发现金属蒸气的剪切力导致熔化金属向后加速，形成的熔体支流沿侧壁向后铺展，两侧支流汇聚形成驼峰.
在激光熔透焊接时，根部焊缝成形控制非常重要. Zhang等人[7]利用自行研发的三维激光焊接模型，利用锐利界面方法处理了影响匙孔动态行为的关键物理因素，发现小孔根部的流体受到强烈的蒸气反作用力导致根部驼峰的形成，如图1所示. Bachmann等人[8-9]研究表明激光熔透焊接过程中电磁力可以改变熔池的流动方向，进而阻止熔池下坠，利于熔透焊缝根部成形.
在激光焊接咬边、焊穿等成形方面，Cho等人[10]发现增加激光束震动频率改变了能量的传输及熔池的流动行为，从而明显改善焊缝成形质量，咬边和焊穿情况也得到明显改善，如图2所示.
![]()
图 2 不同震动频率下的激光焊缝成形情况Figure 2. Laser weld formation under different vibration frequency1.2 焊接气孔
在焊缝气孔缺陷形成方面，许多学者分别在气泡形成、影响因素及气孔的演化等方面做了大量的数值模拟工作来研究气孔形成过程及其抑制机理. Zhao等人[11]认为当匙孔深度突然变大时容易造成匙孔坍塌，气体进入熔池形成气泡. Pang等人[12-13]自行开发了考虑匙孔、金属蒸气羽烟及熔池动态行为的三维多相自洽模型，发现蒸气羽烟摆动频率与匙孔波动频率近乎一致，阐明了蒸气羽烟形成的负压导致了匙孔后壁形成涡流，从而诱发环境气体卷入匙孔，促进了气泡的形成，如图3所示.
![]()
图 3 匙孔内蒸气羽烟行为及压力分布Figure 3. Evolution of vapor plume velocity inside the transient keyhole and relative pressure气泡能否演化为气孔涉及到熔池流动行为及凝固过程，Lu等人[14-15]模拟发现气泡迁移过程中存在消失、合并等现象，且被凝固界面捕获后才会演变成气孔，如图4所示. 另外低沸点元素蒸发对匙孔动态行为有着重要的影响，Huang等人[16-17]模拟考虑了Mg元素含量对激光焊接铝合金气孔生成的影响，认为Mg元素含量增加使得蒸气反作用力增加，从而使得匙孔更加稳定，降低了匙孔型气孔的生成. 激光震荡在消除气孔方面的作用机理也得到了模拟澄清[18-19]，其根本原因除了激光震荡过程可以提高气泡逃逸速度外，模拟还发现气泡在震荡过程中被匙孔合并导致气泡消失，进而消除气孔的机理.
![]()
图 4 气泡向气孔的演变过程Figure 4. Evolution process from bubble to pore. (a) 0.20 s; (b) 0.25 s; (c) 0.30 s; (d) 0.35 s; (e) 0.40 s; (f) 0.50 s1.3 焊接飞溅
飞溅的产生会带来金属的元素损失，并影响焊缝成形质量. Hugger等人[20]模拟了钢、铝激光焊接过程，发现熔体首先在匙孔的边缘产生驼峰，在表面张力作用下颈缩，在冲击力的作用下离开表面形成飞溅，如图5所示. Chang等人[21]研究认为铝合金激光焊接时飞溅的产生与熔池的流动速度和涡流密切相关. Wu等人[22]模拟发现匙孔后壁的熔池沿熔合线向上流动，导致上表面飞溅产生.由于飞溅产生的影响因素较为复杂，考虑金属蒸气行为对于理解飞溅产生的过程十分必要.
激光焊接过程中低沸点元素蒸发诱发飞溅产生的情况，也引起了学者的兴趣. Hao等人[23-25]模拟研究了锌蒸气对匙孔与熔池动态行为的影响，分析了飞溅产生的过程，如图6所示，模拟还发现激光折线扫描路径下，由于锌蒸气分阶段进入匙孔，冲击力减小，使得匙孔和熔池更加稳定，明显降低了飞溅情况. Qi等人[26]模拟环形激光热源作用下镀锌钢板的飞溅情况，认为产生飞溅的主要原因是熔池中的回流和涡流导致，同轴环形和高斯热源的匹配增加了回流的阻力，进而控制了飞溅的产生.
2. 激光焊缝组织演化数值模拟
宏、微观组织的模拟也是激光焊接数值模拟的重要组成部分，近年来，各国学者已对激光焊缝组织的仿真进行了相关尝试，本节主要针对这方面的研究进展进行介绍.
2.1 宏观偏析
目前，针对焊缝宏观组织的数值模拟主要集中于异种材料因元素混合不均匀引起的宏观偏析方面. Gu等人[27]利用元素分离法实现了不同材料在激光选区熔化过程中的界面相迁移行为的模拟. Yao等人[28]利用该方法，并结合微尺度流体动力学和纳秒级别的热扩散分析，实现了316L不锈钢/Inconel 718异种材料激光熔池中鱼鳞状宏观偏析组织的模拟，如图7所示，这种宏观偏析组织的仿真重点在于界面参数的优化.
![]()
图 7 单道激光扫描焊缝截面元素分布模拟结果Figure 7. Alloy distribution for single-track laser scan. (a) experimental result of element distribution; (b) simulation result of element distribution2.2 微观组织
焊缝微观组织的数值模拟的研究主要有以下3种方法：相场法、元胞自动机法以及蒙特卡罗法，且每种方法的侧重点不同.
Fallah等人[29]采用相场法，针对不同条件下Ti-Nb合金激光熔池中的一次枝晶臂间距进行了模拟计算. Mi等人[30]同样利用这一方法对Al-Cu合金激光焊熔池中的竞争生长行为进行了研究，发现在非最优取向的晶粒会影响到相邻晶粒的生长，晶界处的枝晶更易于在横向生长，通过阻碍其它方向枝晶的生长路径，进而改变不同取向晶粒的尺寸. Geng等人[31-32]发现Al-Mg较Al-Cu合金会在凝固过程中更早地发生广泛的枝晶连接现象，从而使其裂纹敏感性更低，这可以归因于其一次枝晶较低的溶质偏析，如图8a，8b所示.
![]()
图 8 溶质分布及晶粒形貌模拟结果Figure 8. Simulation results of solute distribution and microscopic morphologies. (a) solute distribution in columnar growth of Al-4.0%Cu alloy; (b) solute distribution in columnar growth of Al-4.0%Mg alloy; (c) microscopic morphologies with different pre-heating temperatures in a single track相较于相场法，元胞自动机法以其计算效率高、所需的模型参数少、试验匹配度较好的特点，得到了越来越多的关注. Ao等人[33]利用该方法对激光熔池的微观组织进行了模拟，结果如图8c所示，可见等轴晶比例会随着预热温度的增加和激光扫描速度的降低而显著增加，而等轴晶形貌会随着相邻两道激光距离的增加变得更加长而窄. Shi等人[34]利用该模型结合有限元的方法，实现了含气孔的不同柱状晶和等轴晶比例的熔池的仿真，并发现熔池晶粒生长形态取决于熔池的宽度、深度以及过冷度. 近期，Liu等人[35]提出了结合三维元胞自动机法和一维相场法的新模型，通过结合元胞自动机法的高效性和相场法的准确性，成功实现了大尺度铝合金凝固前沿枝晶形貌的预测.
对于蒙特卡罗法，该模型并不考虑凝固过程中的枝晶形貌、元素偏聚和过冷等因素，目前被广泛地用于晶粒长大、再结晶等晶粒演化行为的数值模拟. Zhang等人[36]利用该模型成功实现了12%Cr铁素体不锈钢在激光-电弧复合焊条件下热影响区晶粒的模拟，并发现顶部区域热影响区的晶粒尺寸要大于根部. Gleason等人[37-38]利用该方法针对激光冲击焊接过程中1100铝合金和304不锈钢的不均匀的界面微观组织进行了仿真，如图9所示，实现了对不同屈服面、层错能以及晶界滑动条件下的晶粒伸长行为的预测.
![]()
图 9 有、无晶粒模型的铝/钢接触界面的温度与等效应变分布情况Figure 9. Comparison of the localized temperature and equivalent plastic strain sampled along the contact interface in both inhomogeneous (grain) and homogeneous (no grain) models3. 焊接残余应力数值模拟
与传统的弧焊相比，激光焊对焊接残余应力和变形的影响主要体现在制造工艺方面[39]，以下将对近几年来在激光焊接残余应力方面取得的进展进行介绍. Sun等人[40]以Q235钢平板对接接头为研究对象，采用试验手段和热-弹-塑性有限元方法研究了激光焊和电弧焊的温度场、残余应力与焊接变形. 图10是激光焊(Case A)与电弧焊(Case C)得到的焊缝中央位置的温度循环曲线，可见激光焊的熔化面积小，而且熔深贯穿整个板厚，而电弧焊尽管熔化面积更大，激光焊的加热速度更快，峰值温度更高，高温停留时间更短而且冷却速度也更快.
![]()
图 10 激光焊与电弧焊焊缝中央位置温度循环曲线Figure 10. Thermal cycle at the weld center of laser and arc welding process图11是薄板接头中央断面上的纵向残余应力与横向残余应力的数值模拟结果，可见在激光焊条件下接头的上、下表面的纵向残余应力的大小与分布几乎完全一致，这是因为激光焊产生的熔化区域在板厚方向分布较均匀所致，拉伸残余应力峰值与材料常温屈服强度基本一致. 在电弧焊条件下的横向残余应力的峰值要远高于激光焊，单就焊接残余应力的峰值大小而言，激光焊并不能有效减缓残余应力，该研究结果也得到了其它学者的支持[41-42].
![]()
图 11 中央截面上的残余应力分布Figure 11. Residual stress distribution on the central section. (a) longitudinal residual stress; (b) transverse residual stress在激光厚板焊接残余应力方面，Xu等人[43]模拟比较了板厚为12 mm的Q460钢在激光焊和多层多道气体保护焊条件下接头的残余应力，发现激光焊接头的高拉伸纵向残余应力范围要明显小于气体保护焊接头，但峰值应力没有明显的差异. Yan等人[44]研究了板厚为10 mm 的316L不锈钢在激光条件下的残余应力，如图12所示，由于板厚较厚，横向残余应力的大小与薄板接头相比有显著增加. Deng等人[45]采用考虑加工硬化及退火软化的热-弹-塑性有限元方法研究了SUS304管-管激光焊对接接头的残余应力，并讨论了由固溶处理引起的初期残余应力对焊接残余应力的影响.
![]()
图 12 316L对接接头的焊接残余应力分布Figure 12. Residual stress distribution of welded joint. (a) mises stress; (b) transverse stress; (c) longitudinal stressElmesalamy等人[46]以板厚为10和20 mm 316L钢对接接头为研究对象，采用轮廓法测量了多道窄间隙激光焊对接接头和多层多道TIG焊对接接头的残余应力. 图13是距焊接接头上表面1.5 mm位置的纵向残余应力分布，可见窄间隙激光焊和多层多道TIG焊产生的峰值应力前者为310 MPa，而后者为520 MPa，且激光焊纵向高拉伸残余应力区域明显较窄，故窄间隙激光焊方法可能是一个控制残余应力的有效途径，且多道窄间隙激光焊接方法将是用于控制加工硬化显著材料厚板接头焊接残余应力一种有效的方法.
![]()
图 13 距上表面1.5 mm处的纵向残余应力分布Figure 13. Longitudinal residual stress distribution at the location of 1.5 mm away from the upper surface近年来，激光焊残余应力的报道在铝合金、镁合金、钛合金[47]以及异种金属激光熔钎焊[48]方面也越来越多.
4. 结束语与展望
(1) 在激光焊缝成形模拟方面，匙孔的动态行为决定了焊接过程的稳定性，现有数值模型已经实现了匙孔壁与激光能量的实时耦合，但是激光束与等离子体(羽烟)的耦合行为很少涉及，考虑金属蒸气流动行为与激光热源的相互作用，是激光焊接过程建模发展的方向.
(2) 在激光焊缝组织模拟方面，熔池的流动对元素宏观偏析行为方面的模拟结果取决于界面参数的选取与优化；而微观组织方面，进一步完善3种模型需要准确获得新晶粒形核的相关参数十分重要，实现宏观与微观组织多尺度模拟还具有很高的挑战性.
(3) 在激光焊接残余应力方面，对于低合金高强钢及超高强钢而言，如何建立完备的“热-组织-力学”多场耦合模型，高精度的模拟激光焊条件下残余应力将是一个挑战性的课题. 此外，对加工硬化较显著材料优化工艺降低残余应力、降低累积塑性应变和减缓敏化程度是值得深入探索的方向.
-
![]()
图 2 双棱镜单摄像机立体视觉系统
Figure 2. Biprism single camera stere vision system. (a) vision system; (b) biprism
![]()
图 3 接头结构示意图
Figure 3. Joint structure diagram. (a) bead on plate welding; (b) partial penetration; (c) full penetration; (d) over penetration
![]()
Figure 4. Three-dimensional reconstruction. (a) graph taken by camera; (b) surface three-dimensional topography
![]()
图 6 熔池图像对和视差图
Figure 6. Weld pool image pair and disparity map. (a) bead on plate welding; (b) partial penetration; (c) full penetration; (d) over penetration
![]()
图 7 其他匹配算法的视差图结果
Figure 7. Disparity map results of other matching algorithm. (a) local stereo matching algorithm; (b) semi-global stereo matching algorithm
![]()
图 8 熔池表面形貌三维重建
Figure 8. Three-dimensional reconstruction of weld pool surface morphology. (a) bead on plate welding; (b) partial penetration; (c) full penetration; (d) over penetration
表 1 焊接工艺参数
Table 1 Welding parameters
工艺 状态 电流
I/A电压
U/V速度
v/(cm·min−1)CMT 堆焊 260 16.9 42 GMAW-P 未熔透 180 23.0 25 GMAW-P 全熔透 205 23.9 25 GMAW-P 过熔透 215 24.3 25 
下载: 导出CSV
表 2 重建结果与实际测量值
Table 2 Reconstruction results and actual measurements
宽度 Lmax/mm 误差
n(%)深度 Hmax/mm 误差
n(%)重建 测量 重建 测量 25.76 24.97 3.16 5.44 5.19 4.82
下载: 导出CSV
-
[1] Zhang Y M, Yang Y P, Zhang W, et al. Advanced welding manufacturing: A brief analysis and review of challenges and solutions: Transactions of the ASME[J]. Journal of Manufacturing Science and Engineering, 2020, 142(11): 110816. doi: 10.1115/1.4047947
[2] 夏卫生, 龚福建, 杨荣国, 等. 基于红外视觉的熔化极气体保护焊外观缺陷识别[J]. 焊接学报, 2020, 41(3): 69 − 73. Xia Weisheng, Gong Fujian, Yang Rongguo, et al. Apparent defect recognition of gas metal arc welding based on infrared vision[J]. Transactions of the China Welding Institution, 2020, 41(3): 69 − 73.
[3] Jiao W H, Wang Q Y, Cheng Y C, et al. End-to-end prediction of weld penetration: A deep learning and transfer learning based method[J]. Journal of Manufacturing Processes, 2021, 63(3): 191 − 197.
[4] Nomura K, Fukushima K, Matsumura T, et al. Burn-through prediction and weld depth estimation by deep learning model monitoring the molten pool in gas metal arc welding with gap fluctuation[J]. Journal of Manufacturing Processes, 2021, 61(1): 590 − 600.
[5] Song H S, Zhang Y M. Measurement and analysis of three-dimensional specular gas tungsten arc weld pool surface[J]. Welding Journal, 2008, 87(4): 85 − 95.
[6] Zhang W J, Liu Y K, Zhang Y M. Real-time measurement of the weld pool surface in GTAW process[C]//2013 IEEE International Instrumentation and Measurement Technology Conference (I2MTC), May 6-9 2013, Minneapolis, MN, USA : IEEE, 2013: 1640-1645.
[7] Huang J K, He J, He X Y, et al. Study on dynamic development of three-dimensional weld pool surface in stationary GTAW[J]. High Temperature Materials and Processes, 2018, 37(5): 455 − 462. doi: 10.1515/htmp-2016-0224
[8] Mnich C, Al-Bayat F, Debrunner C, et al. In situ weld pool measurement using stereovision[C]//2004 Japan-USA Symposium on Flexible Automation, ASME-DSC, 2004: 19-21.
[9] Neill A M, Steele J P H. Modeling and simulation of three dimensional weld pool reconstruction by stereo vision[C]//2016 IEEE international conference on advanced intelligent mechatronics (AIM). 12-15 July 2016 , Banff, AB, Canada: IEEE, 2016: 542-547.
[10] Zhao C X, Richardson I M, Kenjeres S, et al. A stereo vision method for tracking particle flow on the weld pool surface[J]. Journal of Applied Physics, 2009, 105(12): 123104. doi: 10.1063/1.3143789
[11] Zhang Y D, Liang Z M, Wang D L, et al. 3D reconstruction of weld pool surface by a biprism stereo system[J]. Applied Mechanics and Materials, 2012, 236: 469 − 473.
[12] 尹紫秋, 熊俊. 基于ACT匹配的GMA增材制造熔池形貌三维重建[J]. 焊接学报, 2019, 40(1): 49 − 52. Yin Ziqiu, Xiong Jun. Three-dimensional reconstruction of molten pool appearance in GMA additive manufacturing based on ACT stereo matching algorithm[J]. Transactions of the China Welding Institution, 2019, 40(1): 49 − 52.
[13] Gu Z A, Chen J, Wu C S. Three-dimensional reconstruction of welding pool surface by binocular vision[J]. Chinese Journal of Mechanical Engineering, 2021, 34(1): 1 − 13. doi: 10.1186/s10033-020-00524-5
[14] Liang Z M, Chang H X, Wang Q Y, et al. 3D reconstruction of weld pool surface in pulsed GMAW by passive biprism stereo vision[J]. IEEE Robotics and Automation Letters, 2019, 4(3): 3091 − 3097. doi: 10.1109/LRA.2019.2924844
[15] Pock T, Schoenemann T, Graber G, et al. A convex formulation of continuous multi-label problems[C]//Computer Vision–ECCV 2008: 10th European Conference on Computer Vision, Marseille, France, October 12-18, 2008, Heidelberg, Berlin: Springer, 2008: 792-805.
-
期刊类型引用(5)
1. 任成龙. 激光切割工艺对焊接残余应力预测精度影响. 焊接技术. 2025(02): 75-78 . 
百度学术
2. 王磊，杜劭峰，李红星，刘港，张磊，彭勇. 钛合金蒙皮-骨架结构激光焊接变形规律模拟研究. 兵工学报. 2025(03): 266-275 . 百度学术
3. 刘图三，李润，李锐斌，张航，邹宇航，李欢. NiTi多层板激光焊接模拟设计. 化学工程与装备. 2024(08): 7-11+43 . 百度学术
4. 崔爱永，赵佳磊，刘浩东，魏华凯，孙伟奇，王振泽. 不同热处理工艺对TC4钛合金曲线路径激光填丝焊接组织与性能的影响研究. 新技术新工艺. 2024(12): 63-69 . 百度学术
5. 张月来，何清和，朱嘉翌，梁归慧，曾炯萌，邓德安. 机车车辆大型长直弦梁焊接变形预测. 焊接学报. 2023(09): 106-112+135 . 本站查看
其他类型引用(6)
计量
- 文章访问数: 150
- HTML全文浏览量: 12
- PDF下载量: 43
- 被引次数: 11
