Weld identification and robot path planning algorithm based on stereo vision and YOLO deep learning framework
-
摘要:
为了实现机器人焊接的免示教路径规划，结合深度学习与点云处理技术，开发了一种高效、稳定的焊缝智能识别算法. 首先，采用ETH(Eye-to-hand)构型的工业级3D相机获取焊件周围的二维图像和3D点云模型，利用预先训练的YOLOv8目标检测模型识别焊件所在的ROI区域(region of interest，ROI)，模型识别精度为99.5%，从而实现快速剔除背景点云，并基于RANSAC平面拟合、欧式聚类等点云处理算法，对ROI区域的三维点云进行焊缝空间位置的精细识别；最后根据手眼标定结果转化为机器人用户坐标系下的焊接轨迹. 结果表明，文中所开发的算法可实现随机摆放的焊缝自动识别和焊接机器人路径规划，生成的轨迹与人工示教轨迹效果相当，偏差在0.5 mm以内.
Abstract:In order to realize the teaching-free path planning of robot welding, an efficient and stable weld intelligent identification algorithm was developed by combining deep learning and point cloud processing technology. Firstly, an industrial-grade 3D camera with an eye-to-hand identification was used to obtain the two-dimensional image and 3D point cloud model around the weldment, and the pre-trained YOLOv8 target detection model was used to identify the ROI(Region of Interest) area where the weldment is located. The model identification accuracy is 99.5%, thereby realizing the rapid removal of background point clouds. Based on point cloud processing algorithms such as RANSAC plane fitting and Euclidean clustering, the three-dimensional point cloud in the ROI area was finely identified for the spatial position of the weld seam. Finally, the trajectory was converted into welding trajectories in the robotic user coordinate system with the coordinate transformation matrix. The verification experimental results show that the algorithm developed in this paper can realize the automatic identification of randomly placed weld seams and welding robot path planning, and the generated trajectory has a similar effect to the manual teaching trajectory, with a deviation of within 0.5 mm.
-
0. 序言
众所周知，机器人焊接的关键问题之一是焊接轨迹如何生成[1]，传统的示教在线和离线编程方式由于各自的局限性已经不能满足机器人智能化焊接的要求. 近年来，基于视觉传感的免示教机器人焊接方式成为研究热点[2-4].
目前主要有线结构光视觉传感和立体相机视觉传感两种方式[5]. 线结构光视觉传感具有稳定和检测精度高等特点，但只能获取焊缝的局部信息；而立体相机视觉传感可以在一次扫描中获取焊缝的全貌和空间位置，效率更高，可实现焊缝自动识别和焊接机器人路径自主规划.
很多学者对基于立体视觉的焊缝识别进行了研究. 方纬华[6]研究了基于3D视觉的机器人焊接智能轨迹规划关键技术，采用高灰度期望值方法加强图像中焊缝特征，提出了一种图像边缘链方法实现图像中部分焊缝检测；Zou等人[7]通过计算工件点云中每个点的表面变化，并设置表面变化阈值以提取焊缝特征点；Zhang等人[8]采用双3D摄像机对多叶轮结构机器人焊接路径规划进行了研究，基于DBSCAN的方法对点云进行分割，实现了免示教路径规划；Geng等人[9]提出了一种手眼标定和ICP算法的多视角点云拼接方法，实现了基于三维视觉的复杂相贯曲线机器人焊接路径提取.
当前机器人焊接轨迹规划研究一般直接在立体视觉传感器获取的三维点云上直接进行焊缝特征识别与提取. 然而实际焊接场景中，直接获取的点云往往含有大量非焊件部分的冗余信息，一方面影响算法效率，另一方面，冗余点云存在的繁杂、随机特征，也会导致算法稳定性差.
近年来，随着计算机视觉的高速发展，一种针对二维图像的目标检测深度学习框架YOLO由于检测准确性高和速度快的特点，受到了国内外学者的广泛关注[10]. 为此，文中提出了一种先在二维图像上进行YOLO目标识别，获取焊件ROI三维点云，随后在精简后的点云上进行焊缝提取的思路，该方法可以有效的提高点云识别效率和鲁棒性.
1. 基于立体视觉的焊缝识别系统
基于立体视觉的机器人焊缝识别系统组成如图1所示.系统包括Motoman MH24六轴机器人、旋转倾斜变位机、Panasonic YD-500FR焊机、Mech-Eye Pro M Enhanced工业级3D相机和上位机.
选用ETH构型方式，将Mech-Eye Pro M Enhanced工业级3D相机独立于机器人固定于工作台上方，该相机可以获取二维图和三维点云的数据，如图2所示，分辨率为1 920 像素 × 1 200像素，工作距离为1 000 ~ 2 000 mm，VDI/VDE测量精度为0.2 mm@2.0 m，采用TCP通讯协议与上位机相连.
![]()
图 2 Mech-Eye相机数据获取格式Figure 2. Mech-Eye camera data acquisition format. (a) 2D image; (b) 3D point cloud2. 基于YOLO和点云模型的焊缝识别算法
基于立体视觉的焊缝识别难点在于点云模型大，噪音多，为了提高焊缝识别的效率和准确性，提出二维图像YOLO深度学习与焊缝ROI三维点云处理相结合的策略，实现了兼顾效率和稳定性的焊缝识别算法，算法处理流程如图3所示.
![]()
图 3 基于YOLO和立体视觉的焊缝识别过程Figure 3. Weld seam identification process based on YOLO and stereo vision2.1 YOLOv8焊接试板识别模型训练
YOLOv8是一种基于卷积神经网络的目标检测框架，训练一个YOLO模型的步骤为：收集数据、标注图像、划分数据集、设置训练参数及训练与验证模型效果.
数据集的收集与标注是训练YOLOv8焊接试板识别模型的核心部分，数据集的数量和质量会直接影响后续模型的精度以及准确性. 用3D相机收集了800张不同光照下多种尺寸焊接试板随机摆放的图像，并使用数据增强、图像旋转等技术将800张图像扩充到2 400张图像，并按70%，15%和15%比例分配训练集、测试集和验证集.
利用PyTorch深度学习库训练了YOLOv8模型，上位机配置了NVIDIA RTX 3070 GPU，使用NVIDIA CUDA组件提高训练和推理速度，最终训练得到的模型可以从一副图像中自动识别焊接试板，效果如图4所示.最终得到的模型在测试集上的精度为99.5%，召回率为100%，训练结果表明，该模型可以从复杂背景图像中识别并得到焊接试板图像的二维坐标，焊件识别及点云提取效果如图5所示.
![]()
图 4 YOLOv8模型训练效果Figure 4. YOLOv8 model training results. (a) welding plate image; (b) identification results of welding plate![]()
图 5 YOLOv8 ROI焊接试板点云识别过程Figure 5. YOLOv8 ROI welding plate point cloud identification process. (a) weld seam image; (b) the result of YOLO identification; (c) the first welding plate point cloud; (d) second welding plate point cloud2.2 ROI区域点云模型焊缝识别算法
得到精简的ROI区域焊件点云后，为了生成机器人焊接轨迹，还需要提取焊缝并计算焊缝特征点.为此提出了一种使用焊接试板平面拟合、边界识别与分割的焊缝提取策略(图6)，具体流程如下.
![]()
图 6 焊接试板点云的边界分割算法Figure 6. Boundary segmentation algorithm for welding plate point cloud. (a) original point cloud; (b) plane fitting; (c) Euclidean clustering; (d) boundary extraction; (e) boundary segmentation; (f) boundary segmentation results(1)基于RANSAC的焊接试板平面拟合. 由于YOLO模型只能输出一个轴对齐矩形框，导致得到的ROI点云仍然包含少量无用的环境信息，不能直接进行平面拟合. 采用随机采样一致性 (RANSAC)平面拟合算法，通过迭代拟合的方法计算焊接试板平面方程，可以在有较多噪点的情况下有效增加拟合精度，拟合效果如图6(b)所示.
(2)基于欧式聚类的焊接试板点云精细识别. 拟合后的平面点云可能包含其他焊接试板的局部点云，需要对其进行聚类分割成不同的点云对象. 根据设定的阈值将与最邻近点距离小于阈值的点聚集在一起，形成一个聚类，最终分割并提取出数量最多的点云对象为焊接试板点云，识别效果如图6(c)所示.
(3)焊接试板点云边界提取. 利用边缘点周围的点大多处在同一侧的特点，采用基于局部点云角度阈值的边界分割算法，将每一个点半径 r 范围内的局部点云投影到拟合的法平面上，并计算该点与其它点之间的最大夹角是否大于设定阈值来判断是否为边界点，最终提取出边界点云，边界提取效果如图6(d)所示.
(4)焊接试板点云边界分割. 以边界点云中距离质心最近的点作为起始点，将其半径 r 范围内的距离当前点最远的点作为移动方向，不断向前移动，将搜索过的点加入到边的结果容器中，不再参与搜索，当边上相邻线段夹角超过指定阈值时，以边为类将点云分割出来，最终得到了良好的边界分割效果，如图6(e)所示.
(5)焊缝边界点提取. 提取出两个焊接试板点云的边界分割点云后，通过判断不同焊接试板点云的边与边的位置关系，容易得到两个焊接试板点云的相邻边，最终提取出焊缝的路径轨迹点，如图6(f)所示.
3. 试验验证
以随机摆放的平板对接焊缝为验证案例，对所开发的焊缝识别和机器人路径规划算法进行验证. 系统自主引导机器人运动到所提取的焊缝中心位置、焊接试板边缘位置，效果如图7所示.
![]()
图 7 焊缝识别效果Figure 7. Weld seam recognition results. (a) welding seam center-starting point; (b) welding seam center-ending poin; (c) welding seam edge-starting point; (d) welding seam edge-ending point为了验证系统精度，将生成的焊接试板边缘轨迹与通过示教的方式得到的边缘位置进行了比对和偏差分析. 图8中蓝色的离散点为系统生成的焊接试板边缘轨迹路径点，绿色的线为通过人工示教得到的焊接试板边缘位置. 两者之间的空间位置偏差分布如图9所示，计算得到平均偏差为0.229 mm，均方差为0.257 mm. 结果表明，基于立体视觉焊缝自主识别系统生成的轨迹与人工示教效果相当，满足一般焊接的要求.
![]()
图 8 系统生成轨迹与示教轨迹对比Figure 8. Comparison between system generated trajectory and taught trajectory. (a) overall comparison; (b) comparison details![]()
图 9 系统生成轨迹与示教轨迹偏差分布Figure 9. Deviation distribution between system generated trajectory and taught trajectory4. 结论
(1) 利用二维图像YOLO目标检测框架，构建了焊件识别模型，识别准确率可达99.5%.
(2) 结合深度学习和点云处理技术，有效的去除了点云冗余信息，实现了一种高效、稳定的焊缝智能识别算法.
(3) 进行了随意放置平板对接焊缝的提取及轨迹生成试验，试验结果表明系统生成的轨迹与示教轨迹偏差在0.5 mm以内.
-
![]()
图 2 Mech-Eye相机数据获取格式
Figure 2. Mech-Eye camera data acquisition format. (a) 2D image; (b) 3D point cloud
![]()
图 3 基于YOLO和立体视觉的焊缝识别过程
Figure 3. Weld seam identification process based on YOLO and stereo vision
![]()
图 4 YOLOv8模型训练效果
Figure 4. YOLOv8 model training results. (a) welding plate image; (b) identification results of welding plate
![]()
图 5 YOLOv8 ROI焊接试板点云识别过程
Figure 5. YOLOv8 ROI welding plate point cloud identification process. (a) weld seam image; (b) the result of YOLO identification; (c) the first welding plate point cloud; (d) second welding plate point cloud
![]()
图 6 焊接试板点云的边界分割算法
Figure 6. Boundary segmentation algorithm for welding plate point cloud. (a) original point cloud; (b) plane fitting; (c) Euclidean clustering; (d) boundary extraction; (e) boundary segmentation; (f) boundary segmentation results
![]()
图 7 焊缝识别效果
Figure 7. Weld seam recognition results. (a) welding seam center-starting point; (b) welding seam center-ending poin; (c) welding seam edge-starting point; (d) welding seam edge-ending point
![]()
图 8 系统生成轨迹与示教轨迹对比
Figure 8. Comparison between system generated trajectory and taught trajectory. (a) overall comparison; (b) comparison details
-
[1] 吴明晖, 黄海军, 王先伟, 等. 基于改进蚁群算法的机器人焊接路径规划[J]. 焊接学报, 2018, 39(10): 113 − 118. Wu Minghui, Huang Haijun, Wang Xianwei, et al. Robot welding path planning based on improved ant colony algorithm[J]. Transactions of the China Welding Institution, 2018, 39(10): 113 − 118.
[2] 王斐, 梁宸, 韩晓光, 等. 基于焊件识别与位姿估计的焊接机器人视觉引导[J]. 控制与决策, 2020, 35(8): 1873 − 1878. Wang Fei, Liang Chen, Han Xiaoguang, et al. Visual guidance of welding robot based on weldment recognition and pose estimation[J]. Control and Decision, 2020, 35(8): 1873 − 1878.
[3] 王浩, 赵小辉, 徐龙哲, 等. 结构光视觉辅助焊接的轨迹识别与控制技术[J]. 焊接学报, 2023, 44(6): 50 − 57. doi: 10.12073/j.hjxb.20220715002 Wang Hao, Zhao Xiaohui, Xu Longzhe, et al. Research on trajectory recognition and control technology of structured light vision-assisted welding[J]. Transactions of the China Welding Institution, 2023, 44(6): 50 − 57. doi: 10.12073/j.hjxb.20220715002
[4] Zhou Peng, Peng Rui, Xu M, et al. Path planning with automatic seam extraction over point cloud models for robotic arc welding[J]. IEEE Robotics and Automation Letters, 2021, 6(3): 5002 − 5009. doi: 10.1109/LRA.2021.3070828
[5] 陈思豪, 余震, 王中任, 等. 基于结构光三维视觉角焊缝定位系统的研究[J]. 激光与红外, 2019, 49(3): 303 − 308. Chen Sihao, Yu Zhen, Wang Zhongren, et al. Research on three-dimensional visual fillet weld positioning system based on structured light[J]. Laser & Infrared, 2019, 49(3): 303 − 308.
[6] 方纬华. 基于3D视觉的机器人焊接智能轨迹规划关键技术研究[D]. 济南: 山东大学, 2023. Fang Weihua. Research on key technologies of intelligent trajectory planning for robot welding based on 3D vision[D]. Jinan: Shandong University, 2023.
[7] Zou Yanbiao, Zhan Runqin. Research on 3D curved weld seam trajectory position and orientation detection method[J]. Optics and Lasers in Engineering, 2023, 162: 107435. doi: 10.1016/j.optlaseng.2022.107435
[8] Zhang Yuankai, Geng Yusen, Tian Xincheng, et al. Feature extraction and robot path planning method in 3D vision-guided welding for multi-blade wheel structures[J]. Optics and Lasers in Engineering, 2024, 176: 108066. doi: 10.1016/j.optlaseng.2024.108066
[9] Geng Yusen, Zhang Yuankai, Tian Xincheng, et al. A novel 3D vision-based robotic welding path extraction method for complex intersection curves[J]. Robotics and Computer-Integrated Manufacturing, 2024, 87: 102702. doi: 10.1016/j.rcim.2023.102702
[10] Ma Yunkai, Fan Junfeng, Yang Huizhen, et al. An efficient and robust complex weld seam feature point extraction method for seam tracking and posture adjustment[J]. IEEE Transactions on Industrial Informatics, 2023, 19(11): 10704 − 10715.
下载:
计量
- 文章访问数: 234
- HTML全文浏览量: 52
- PDF下载量: 88
