Weld identification and robot path planning algorithm based on stereo vision and YOLO deep learning framework
-
摘要:
为了实现机器人焊接的免示教路径规划，结合深度学习与点云处理技术，开发了一种高效、稳定的焊缝智能识别算法. 首先，采用ETH(Eye-to-hand)构型的工业级3D相机获取焊件周围的二维图像和3D点云模型，利用预先训练的YOLOv8目标检测模型识别焊件所在的ROI区域(region of interest，ROI)，模型识别精度为99.5%，从而实现快速剔除背景点云，并基于RANSAC平面拟合、欧式聚类等点云处理算法，对ROI区域的三维点云进行焊缝空间位置的精细识别；最后根据手眼标定结果转化为机器人用户坐标系下的焊接轨迹. 结果表明，文中所开发的算法可实现随机摆放的焊缝自动识别和焊接机器人路径规划，生成的轨迹与人工示教轨迹效果相当，偏差在0.5 mm以内.
Abstract:In order to realize the teaching-free path planning of robot welding, an efficient and stable weld intelligent identification algorithm was developed by combining deep learning and point cloud processing technology. Firstly, an industrial-grade 3D camera with an eye-to-hand identification was used to obtain the two-dimensional image and 3D point cloud model around the weldment, and the pre-trained YOLOv8 target detection model was used to identify the ROI(Region of Interest) area where the weldment is located. The model identification accuracy is 99.5%, thereby realizing the rapid removal of background point clouds. Based on point cloud processing algorithms such as RANSAC plane fitting and Euclidean clustering, the three-dimensional point cloud in the ROI area was finely identified for the spatial position of the weld seam. Finally, the trajectory was converted into welding trajectories in the robotic user coordinate system with the coordinate transformation matrix. The verification experimental results show that the algorithm developed in this paper can realize the automatic identification of randomly placed weld seams and welding robot path planning, and the generated trajectory has a similar effect to the manual teaching trajectory, with a deviation of within 0.5 mm.
-
0. 序言
改进电动汽车电池的连接技术是提高电动汽车可靠性的重要方式之一. 然而，由于铝和铜在化学和物理性能上的差异，导致在焊接过程中接头会出现IMCs，焊接裂纹会沿着IMCs扩展[1]，这极大地影响了接头的性能. 激光焊技术可以非常精确的控制热输入，抑制缺陷的生成. 因此，激光焊工艺成为了电池模块生产中的关键技术之一[2-3]. 同时，铝/铜异种金属激光焊中出现的焊接缺陷可以通过优化激光功率[4]、焊接速度、离焦量和填充材料来减少.
在添加填充材料的研究中，研究者们已尝试了添加镍箔[5]和锡基填料[6]等，虽然取得一定的成果，但焊缝仍存在许多问题. 而在其他异种金属激光焊领域，有研究者尝试将高熵合金作为填充材料进行试验[7-8]，由于高熵合金的高熵效应和迟滞扩散效应，得到了性能更好的异种金属焊接接头.
文中通过正交试验获得试验数据，以激光功率、焊接速度、离焦量和填充材料添加量为输入，翘曲变形量和最大拉力为输出，建立了用黑翅鸢优化算法(BKA)优化的梯度提升回归树(GBRT)模型. 基于该模型，利用多目标随机绘画优化算法(MOSPO)搜索Pareto前沿，通过CRITIC-TOPSIS综合评价，确定了最优的激光焊接参数，最终，通过试验验证了该优化方法的可行性. 结果表明，试验提升了焊接件的质量，降低了焊接成本，对铝/铜异种金属激光焊接参数的优化具有指导意义.
1. 试验方法
试验用T2铜和6061铝合金(40 mm × 10 mm × 1 mm)作为母材，FeCoNiCrTi高熵合金粉末作为填充材料，采用搭接方式，进行铝/铜激光焊接试验.
试验选取了对焊接质量影响显著的4个参数：激光功率(x1, W)：620 ~ 770 W，焊接速度(x2, mm/min)：600 ~ 725 mm/min，离焦量(x3, mm)：0 ~ 5 mm和填充材料添加量(x4, g)：0.02 ~ 0.06 g. 各参数范围由试焊结果确定，没有发现明显的焊接缺陷.其中，激光功率、焊接速度和离焦量被分为6个水平，填充材料添加量被分为3个水平. 根据正交试验设计原理，形成了36组不同的激光焊接参数组合. 试验采用JHM-1GX-1000F型光纤激光焊接机，在焊接过程中，为了保护焊缝免受氧化，使用了氩气作为保护气体，其流量被设定为10 L/min.
在铝/铜异种金属的激光焊接过程中，焊接件的变形程度和强度直接关联到车辆电池的可靠性，同时要考虑工艺成本. 鉴于此，优化3个关键参数：①焊接件的翘曲变形量(y1, mm)，②焊接件可承受的最大拉力(y2, N)，③焊接的成本(y3, 元). 焊接成本可根据式(1)计算得出[9]. 最终得到36组有效数据，试验结果见表1.
表 1 测试结果Table 1. Test results焊接样本 激光功率
x1/W焊接速度
x2/(mm·min−1)离焦量
x3/mm填充材料添加量
x4/g翘曲变形量
y1/mm最大拉力
y2/N成本
y3/元1 650 725 0 0.02 0.503 573 0.073 2 710 600 4 0.06 0.482 543 0.162 ... ... ... ... ... ... ... ... 35 650 675 2 0.02 0.718 675 0.075 36 620 700 4 0.06 0.521 359 0.153 $$ {y_3} = \frac{{(6.23 + 9.95{x_1} \times {{10}^{ - 3}})}}{{0.8}} \times \frac{{90 \times {{10}^{ - 3}}}}{{{x_2} \times {{10}^{ - 3}} \times 60}} + {x_4} \times 2 $$ (1) 为了测量焊接件的翘曲变形量，研究中使用了三维激光扫描仪对36个焊接样本进行了精确测量，随后采用动态热模拟试验机配备的常温拉伸测试模块评估样本可承受的最大拉力. 测量得到的变形量、最大拉力和计算的成本结果详见表1.
2. 参数优化
2.1 基于BKA-GBRT数学模型的构建
梯度提升回归树(GBRT)模型作为集成学习中的一种预测模型，其本质是以决策树为基本学习器的加法模型，由Friedman[10]提出，具有预测精度高、运算速度快、对异常值的鲁棒性强和不容易陷入过拟合等优势，广泛应用于各行业预测研究，但在铝/铜焊接方面应用较少，因此，利用GBRT模型预测铝/铜焊接的变形量和最大拉力，并通过试验验证模型有效性. 虽然GBRT模型在很多实际应用中表现优秀，但是如果超参数设置不合适，容易造成过拟合，所以利用黑翅鸢优化算法(BKA)对GBRT模型的超参数进行寻优.
BKA是一种高效的全局优化算法，主要用于解决复杂的优化问题，无需计算导数. 它通过模拟黑翅鸢的迁徙和捕食行为，在初始种群中生成随机解，并将这些解加入历史样本集，更新当前最优解[11]. BKA在多个标准基准函数和实际工程问题中表现优异，展示了其在解决复杂优化问题上的潜力.
试验以激光功率(x1, W)、焊接速度(x2, mm/min)、离焦量(x3, mm)和填充材料添加量(x4, g)为输入，焊接件的翘曲变形量(y1, mm)和焊接件可承受的最大拉力(y2, N)为输出，构建了2个BKA-GBRT模型. 为了验证模型的预测准确性和有效性，从36组试验中随机抽取80%的数据作为BKA-GBRT模型的训练集，剩下的20%作为测试集.
利用训练好的BKA-GBRT模型进行预测分析，并与预测数据结果进行了比较. 实际焊接试验结果如图1所示. 图1(a)为BKA-GBRT模型对焊接件翘曲变形量预测值与实际试验值的对比，图1(b)为BKA-GBRT模型对焊接件可承受的最大拉力的预测值与实际试验值的对比.
![]()
图 1 BKA-GBRT模型对焊接件的预测值与试验值的对比Figure 1. Comparison between the predicted value and the test value of the welded part by BKA-GBRT model. (a) deformation; (b) maximum tension根据BKA-GBRT模型的预测结果，可以计算出模型误差的大小. 从表2可以看出，两种BKA-GBRT模型的决定系数均大于0.9，平均相对误差值均小于5%. 这说明该模型具有良好的学习能力，并能准确描述激光焊接参数与焊接性能的非线性关系.
表 2 模型训练结果Table 2. Results of model training模型 决定系数R2 平均相对误差EMRE(%) 最大拉力 0.901 5 3.29 变形量 0.921 6 4.52 除了焊接性能，工艺成本在实际生产中也十分重要. 考虑到这3个优化目标在量级和优化方向上的显著差异，并且同等重要，采用了一种优化策略.该策略包括取焊接件可承受最大拉力预测函数的倒数，并引入10的权重系数和对成本的预测函数引入2的权重系数. 其目的是在优化过程中实现3个目标之间的平衡，通过适当放大目标的影响，使得3个目标的影响均得到充分考虑，从而更有效地处理这三者之间的关系，最终获得更优的优化结果. 该优化结果的激光焊工艺参数数学模型为
$$ {\mathrm{Minimize}}\left\{ y_1 , \frac{{10}}{{y_2}}, 2 \times y_3\right\} $$ (2) 通过这种策略，能够在多目标优化过程中兼顾变形量、最大拉力和焊接成本的优化，确保最终优化方法的有效性和可行性.
2.2 基于数学模型的MOSPO多目标优化
随机绘画优化算法是Kaveh等人[12]提出的一种元启发式算法，具有高效的探索能力，并有多种策略生成新解的能力. Khodadadi等人[13]提出了它的多目标版本，称为多目标随机绘画优化算法(MOSPO). MOSPO通过寻找一组近似最优解来解决多目标优化问题，从而能够处理多个相互冲突的目标函数问题.
基于式(2)进行MOSPO多目标寻优得到的Pareto前沿如图2所示.
![]()
图 2 基于BKA-GBRT模型进行优化的MOSPO得到的Pareto前沿Figure 2. Pareto frontier obtained by MOSPO optimized based on BKA-GBRT model2.3 CRITIC-TOPSIS综合评价
由MOSPO获得的38组Pareto前沿，基于CRITIC-TOPSIS综合评价各组解的分数，其中第1组解综合评价分数是38组中的最好的，对应的解为翘曲0.576 mm，拉力800.42 N，成本0.139 元. 此时的激光焊接参数组合为激光功率677.234 W，焊接速度639.265 mm/min，离焦量2.745 mm，高熵合金添加量0.05 g. 根据JHM-1GX-1000F光纤激光焊接机的实际精度，最终确定最优的激光焊参数组合为激光功率677.2 W，焊接速度639.3 mm/min，离焦量2.75 mm，高熵合金添加量0.05 g.
3. 验证分析
利用综合评价得到的最优的参数进行铝/铜异种金属的激光焊接，通过测量得到优化后的试验结果. 优化前后的结果对比见表3.
表 3 优化结果对比Table 3. Comparison of optimization results类别 变形量
y1/mm最大拉力
y2/N成本
y3/元优化后的预测值 0.576 800.42 0.139 优化后的试验值 0.583 813.00 0.139 试验值与预测值之间的误差 1.21% 1.57% — 优化前的试验值 0.730 543.00 0.156 优化程度 20.14% 49.72% 10.90% 根据文中使用的的优化方法预测的焊接试验结果与实际试验值的误差分别为1.21%和1.57%，均在5%的可接受范围内，这表明该优化方法具有较高的精度. 优化后焊接件的翘曲变形量试验值为0.583 mm，可承受的最大拉力为813.00 N，成本为0.139元. 而采用优化前的参数时，焊接件的翘曲变形量、可承受的最大拉力的试验值和成本分别为0.730 mm，543.00 N和0.156元. 与优化前相比，焊接件的翘曲变形量减小了20.14%，焊接件可承受的最大拉力增大了49.72%，成本减少了10.90%. 结果表明，参数优化后显著提高了产品质量，减少了工艺成本，并且验证了优化方法的可行性.
采用扫描电子显微镜(SEM)对激光焊接参数优化前后试样的拉伸断口形貌进行了对比分析，结果如图3所示. 在优化前的激光焊接参数下，拉伸断口的断裂面有较多、较大的裂纹和孔隙，如图3(a)所示. 裂纹和孔隙的存在容易造成应力集中，使焊接件发生脆性断裂，从而减少了焊接件所能承受的最大拉力. 然而，通过优化激光焊接参数，试样的拉伸断口形貌得到了显著改善，裂纹和孔隙的数量有所减少，并且形成了数目多且较深的韧窝，如图3(b)所示. 韧窝的存在使焊接件在断裂前能够经历更多的塑性形变，吸收更多的能量，从而提高了焊接件所能承受的最大拉力. 上述结果验证了优化参数对断裂性能的显著影响，为铝/铜异种金属激光焊接的应用提供了可靠的技术支持.
![]()
图 3 优化前试样和优化后试样的拉伸断口微观形貌Figure 3. Tensile fracture microstructure of samples before and after optimization. (a) before optimization; (b) after optimization4. 结论
(1) 基于BKA-GBRT与MOSPO优化方法，采用CRITIC-TOPSIS综合评价方法进行评价，确定了最优参数组合为激光功率677.2 W，焊接速度639.3 mm/min，离焦量2.75 mm，高熵合金添加量0.05 g.
(2) 试验结果表明，优化模型的试验值与预测值的误差不超过5%，从而证实了优化模型的准确性. 与优化前相比，焊接件的翘曲变形量减小了20.14%，焊接件能承受的最大拉力增大了49.72%，成本减少了10.90%. 这些结果验证了优化方法的有效性. SEM结果表明，参数优化成功改善了焊接接头的断口形貌，提高了焊接接头的强度和韧性.
(3) 提出了一种基于BKA-GBRT与MOSPO的优化方法，为铝/铜异种金属激光焊接参数优化提供了一种有效可行的方法.
-
![]()
图 2 Mech-Eye相机数据获取格式
Figure 2. Mech-Eye camera data acquisition format. (a) 2D image; (b) 3D point cloud
![]()
图 3 基于YOLO和立体视觉的焊缝识别过程
Figure 3. Weld seam identification process based on YOLO and stereo vision
![]()
图 4 YOLOv8模型训练效果
Figure 4. YOLOv8 model training results. (a) welding plate image; (b) identification results of welding plate
![]()
图 5 YOLOv8 ROI焊接试板点云识别过程
Figure 5. YOLOv8 ROI welding plate point cloud identification process. (a) weld seam image; (b) the result of YOLO identification; (c) the first welding plate point cloud; (d) second welding plate point cloud
![]()
图 6 焊接试板点云的边界分割算法
Figure 6. Boundary segmentation algorithm for welding plate point cloud. (a) original point cloud; (b) plane fitting; (c) Euclidean clustering; (d) boundary extraction; (e) boundary segmentation; (f) boundary segmentation results
![]()
图 7 焊缝识别效果
Figure 7. Weld seam recognition results. (a) welding seam center-starting point; (b) welding seam center-ending poin; (c) welding seam edge-starting point; (d) welding seam edge-ending point
![]()
图 8 系统生成轨迹与示教轨迹对比
Figure 8. Comparison between system generated trajectory and taught trajectory. (a) overall comparison; (b) comparison details
-
[1] 吴明晖, 黄海军, 王先伟, 等. 基于改进蚁群算法的机器人焊接路径规划[J]. 焊接学报, 2018, 39(10): 113 − 118. Wu Minghui, Huang Haijun, Wang Xianwei, et al. Robot welding path planning based on improved ant colony algorithm[J]. Transactions of the China Welding Institution, 2018, 39(10): 113 − 118.
[2] 王斐, 梁宸, 韩晓光, 等. 基于焊件识别与位姿估计的焊接机器人视觉引导[J]. 控制与决策, 2020, 35(8): 1873 − 1878. Wang Fei, Liang Chen, Han Xiaoguang, et al. Visual guidance of welding robot based on weldment recognition and pose estimation[J]. Control and Decision, 2020, 35(8): 1873 − 1878.
[3] 王浩, 赵小辉, 徐龙哲, 等. 结构光视觉辅助焊接的轨迹识别与控制技术[J]. 焊接学报, 2023, 44(6): 50 − 57. doi: 10.12073/j.hjxb.20220715002 Wang Hao, Zhao Xiaohui, Xu Longzhe, et al. Research on trajectory recognition and control technology of structured light vision-assisted welding[J]. Transactions of the China Welding Institution, 2023, 44(6): 50 − 57. doi: 10.12073/j.hjxb.20220715002
[4] Zhou Peng, Peng Rui, Xu M, et al. Path planning with automatic seam extraction over point cloud models for robotic arc welding[J]. IEEE Robotics and Automation Letters, 2021, 6(3): 5002 − 5009. doi: 10.1109/LRA.2021.3070828
[5] 陈思豪, 余震, 王中任, 等. 基于结构光三维视觉角焊缝定位系统的研究[J]. 激光与红外, 2019, 49(3): 303 − 308. Chen Sihao, Yu Zhen, Wang Zhongren, et al. Research on three-dimensional visual fillet weld positioning system based on structured light[J]. Laser & Infrared, 2019, 49(3): 303 − 308.
[6] 方纬华. 基于3D视觉的机器人焊接智能轨迹规划关键技术研究[D]. 济南: 山东大学, 2023. Fang Weihua. Research on key technologies of intelligent trajectory planning for robot welding based on 3D vision[D]. Jinan: Shandong University, 2023.
[7] Zou Yanbiao, Zhan Runqin. Research on 3D curved weld seam trajectory position and orientation detection method[J]. Optics and Lasers in Engineering, 2023, 162: 107435. doi: 10.1016/j.optlaseng.2022.107435
[8] Zhang Yuankai, Geng Yusen, Tian Xincheng, et al. Feature extraction and robot path planning method in 3D vision-guided welding for multi-blade wheel structures[J]. Optics and Lasers in Engineering, 2024, 176: 108066. doi: 10.1016/j.optlaseng.2024.108066
[9] Geng Yusen, Zhang Yuankai, Tian Xincheng, et al. A novel 3D vision-based robotic welding path extraction method for complex intersection curves[J]. Robotics and Computer-Integrated Manufacturing, 2024, 87: 102702. doi: 10.1016/j.rcim.2023.102702
[10] Ma Yunkai, Fan Junfeng, Yang Huizhen, et al. An efficient and robust complex weld seam feature point extraction method for seam tracking and posture adjustment[J]. IEEE Transactions on Industrial Informatics, 2023, 19(11): 10704 − 10715.
下载:
计量
- 文章访问数: 224
- HTML全文浏览量: 49
- PDF下载量: 86
