Magnetic pole weld identification and robot trajectory generation technology based on 3D point cloud
-
摘要:
针对大型水电站发电机磁极变长度、变间隙的复杂焊缝存在的示教编程效率低、精度差的问题,开发了一种基于光栅视觉传感的焊缝识别及机器人轨迹免示教生成技术. 采用安装于机器人末端的光栅传感器获取不同部位的磁极焊缝点云,提出了一种结合机器人工具位姿变换矩阵和迭代最近点算法(ICP)的点云配准算法,得到大尺寸磁极焊缝完整点云数据. 基于随机采样一致性(RANSAC)开发了焊缝识别算法,实现了机器人焊接轨迹的自动生成. 结果表明,该算法可识别出多种复杂工况的磁极焊缝,识别率高,抗干扰能力强,平均识别误差在±0.4 mm范围内,满足焊接要求.
Abstract:Aiming at the problems of low efficiency and poor accuracy of teaching programming in complex welds with variable magnetic pole length and gap of large hydropower generators, a technology of welding seam identification and robot track generation without teaching was developed based on grating visual sensing. A grating sensor installed at the end of the robot was used to obtain the point cloud of the magnetic pole weld at different positions. A point cloud registration algorithm combining the robot tool pose transformation matrix and iterative closest point algorithm (ICP) was proposed to obtain the complete point cloud data of the large size magnetic pole weld. Based on random sampling consistency (RANSAC), a weld recognition algorithm was developed to realize the automatic generation of robot welding trajectories. The results show that the algorithm can identify a variety of complex magnetic pole welds with high recognition rate and strong anti-interference ability, and the average recognition error is with in ± 0.4 mm, which meets the welding requirements.
-
0. 序言
磁极是发电机中的核心部件之一,通常由铁心、线圈、铁托板、阻尼绕组及极身绝缘等组成. 磁极焊缝是指铁托板与铁心间的焊缝,通过该焊缝将线圈固定在铁心上,防止机组运行时线圈松散和变形,因此焊缝的质量直接影响磁极结构的稳定性[1]. 目前采用手工的GMAW难以满足高效、稳定的焊接要求.
由于铁托板和铁心组对的加工和装配误差,导致磁极焊缝存在位置不固定,间隙随机变化的问题.对于这种变长度、变间隙的焊缝,依靠示教进行机器人焊接的方式存在加工效率低、精度不可控等问题,如何实现磁极焊缝的自适应焊接,成为了机器人焊接的关键问题[2].
Li等人[3]构造焊缝轨迹特征三角形提取形状特征, 并基于欧几里德距离判别焊缝轨迹, 提高了复杂箱梁构件加工中的焊接制造效率和质量;郭忠峰等人[4]基于关键点检测方法进行焊缝识别, 实现对多种坡口类型焊缝的定位;修延飞等人[5]提出了一种基于双条纹激光视觉传感技术的视觉识别算法.但上述方法均受限于焊缝特征类型,为实现大型工件空间复杂焊缝的自主焊接路径规划建模,Zhang等人[6]通过多段扫描有效获取工件的三维信息,然后通过灰度图像处理提取焊缝特征, 但其识别精度多会受到图像处理的影响;Tian等人[7]通过使用自适应生成动态感兴趣区域, 有效提高焊缝识别精度;梁志敏等人[8]建立了基于单摄像机的双棱镜立体视觉传感系统,基于变分立体匹配算法实现完整熔池表面视差计算和三维重建;Zhang等人[9]提出二阶导数算法对特征点进行初始定位,然后进行线性拟合实现精确定位;余佳杰等人[10]利用质心法提取焊缝中心线, 通过最小二乘法和k均值聚类提取焊缝特征点, 提高了焊缝识别的准确度.
综合以上,并未提出可靠的算法实现大型水电站发电机磁极变长度、变间隙的复杂焊缝识别及机器人轨迹生成. 因此,提出了一种结合机器人工具位姿变换矩阵和迭代最近点算法(ICP)的高精度点云配准算法,基于随机采样一致性(RANSAC)开发了针对磁极焊缝结构的识别算法,实现了磁极焊缝的高精度和可靠性特征的快速提取.
1. 试验平台系统
试验平台由焊接系统、运动机构、视觉系统和上位机系统组成,如图1所示,其中焊接系统由福尼斯TPS 500i数字化焊接电源、送丝机、清枪器和GMAW焊枪等组成;运动机构为FANUC M-20iA六轴工业机器人;视觉系统由工业相机和数字光栅等组成,相机型号为MER-131-75GM/C-P,光栅型号为DLP4500EVM. 上位机软件采用C + + 编程语言,Qt跨平台UI界面库自主开发,系统上位机软件界面如图2所示,可实现焊接姿态设置、自动图像采集、点云生成、自动计算焊接路径. 通过TCP/IP协议实现与机器人通讯,从而获取机器人位姿,控制机器人运动等功能.
2. 磁极焊缝识别算法
磁极焊缝为矩形周向间断角焊缝,如图3所示,长边长度L为1 200 ~ 3 600 mm,宽边长度W为300 ~ 700 mm,每段焊缝长度50 ~ 140 mm.
磁极焊缝视觉识别算法主要包括结合机器人工具位姿变换矩阵和迭代最近点算法(ICP)的点云配准算法和基于随机采样一致性(RANSAC)的磁极焊缝结构识别算法,开发的磁极焊缝识别算法整体流程如图4所示.
2.1 磁极焊缝点云获取
2.1.1 局部点云获取
光栅深度传感器由相机和投影仪组成,由投影仪投射一组正弦相位的光栅条纹,相机同步获取一组图像, 采用四步相移法和多频外差法对图像进行相位解算[11],根据标定的相机内外参数,获取被测区域表面三维点云信息[12],具体原理如下.
二维像素坐标下某一点绝对相位θ与其在相机坐标系中三维坐标(Xc ,Yc ,Zc)存在的关系式为
$$ \theta = \frac{{{a_1}{X_{\mathrm{c}}} + {a_2}{Y_{\mathrm{c}}} + {a_3}{Z_{\mathrm{c}}} + {a_4}}}{{{a_5}{X_{\mathrm{c}}} + {a_6}{Y_{\mathrm{c}}} + {a_7}{Z_{\mathrm{c}}} + {a_8}}} $$ (1) 式中:a1 ~ a8为待标定系统参量.
根据相机成像原理,相机坐标系下的三维坐标(Xc ,Yc ,Zc)与图像坐标系下的二维坐标(m,n)存在关系式为
$$ Z_{\mathrm{c}}\left[ {\begin{array}{*{20}{c}} m \\ n \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{f_{{x}}}}&{ - {f_{{x}}}\cot \theta }&{{u_0}} \\ 0&{{f_y}\dfrac{1}{{\sin \theta }}}&{{v_0}} \\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {X_{\mathrm{c}}} \\ {Y_{\mathrm{c}}} \\ {Z_{\mathrm{c}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{c_1}}&{{c_2}}&{{c_3}} \\ 0&{{c_4}}&{{c_5}} \\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_{\mathrm{c}}}} \\ {{Y_{\mathrm{c}}}} \\ {{Z_{\mathrm{c}}}} \end{array}} \right] $$ (2) 式中:c1 ~ c5为相机内参,由相机标定过程获得;u0和v0为图像所在平面与相机光轴交点横纵坐标值;fx和fy为相机像素在图像坐标系下x和y方向放大系数.综合式(1)和式(2),可以求得三维坐标,即
$$ \left\{ {\begin{array}{*{20}{l}} {{{{Z}}_{\text{c}}} = \dfrac{{( - {a_8}{c_1}{c_4})\theta + {a_4}{c_1}{c_4}}}{{\left[ {\left( {a{}_5{c_2} - {a_6}{c_1}} \right)\left( {{c_5} - n} \right) + {a_5}{c_4}\left( {m - {c_3}} \right) + {a_7}{c_1}{c_4}} \right]\theta + \left( {{a_2}{c_1} - {a_1}{c_2}} \right)\left( {{c_5} - n} \right) + {a_1}{c_4}\left( {{c_3} - m} \right) - {a_3}{c_1}{c_4}}}} \\ {{X_{\mathrm{c}}} = \dfrac{{{Z_{\mathrm{c}}}({c_2}{c_5} - {c_3}c{}_4 + {c_4}m - {c_2}n)}}{{{c_1}{c_4}}}} \\ {{Y_{\mathrm{c}}} = - \dfrac{{{Z_{\mathrm{c}}}({c_5} - n)}}{{{c_4}}}} \end{array}} \right. $$ (3) 2.1.2 点云配准
由于磁极尺寸大,相机单次识别的为局部区域,需要进行点云配准, 整体点云的三维重建调用PCL点云库进行点云处理,在点云配准中采用了粗配准与精配准结合的方式.
粗配准:利用采集点云的机器人位姿,将点云转换到机器人坐标系下,实现点云的粗配准.
精配准:根据ICP算法进行点云的精配准. 文中将首次获取的点云作为基准,后续点云(源点云S)与前一个点云(目标点云D)进行配准并变换位置,实现整体点云的建立,实现ICP配准步骤如下.
第一步,寻找最近点,将源点云S中的点找到与目标点云最近的点.
第二步,计算精确变换矩阵$ {T}^{{'}} $,通过最小化源点云与目标点云之间的距离计算,即
$$ {T}^{{'}} = {{\mathrm{argmin}}}_{T}{\sum }_{i}{\left\|T({s}_{i}-{d}_{i})\right\|}^{2} $$ (4) 式中:$ {s}_{i} $为源点云中的点;$ {d}_{i} $为目标点云中的点;$ {T}^{{'}} $和$ T $为变换矩阵.
第三步,迭代计算,将$ {T}^{{'}} $应用到源点云,并不断重复上述三步,直到收敛.
利用粗配准与精配准相结合的方式,有效避免了ICP算法累计误差和收敛的问题,提高了点云配准的计算速度. 整体点云如图5所示. 通过均方误差分析,得到ICP配准均方误差为0.119.
2.2 基于RANSAC的磁极焊缝识别
考虑磁极焊缝为长直角焊缝,且工件焊缝区域可视为平面,人工选定ROI区域,通过RANSAC方法多次分离并保存点云中可组成平面的部分,提取出点云中焊缝的上下表面,具体步骤如下.
在三维点云中随机选择3个点,然后计算平面模型参数$A,B,C,D $,即
$$ \mathit{A\cdot X_{\mathrm{w }}+ B\cdot Y_{\mathrm{w }} + C\cdot Z_{\mathrm{w }} = D} $$ (5) 式中:$X_{\mathrm{w }} $,$Y_{\mathrm{w }} $,$Z_{\mathrm{w }} $为点在机器人坐标系中的三维坐标.
根据估计的平面模型,确定平面内部点和平面外部点,计算该参数模型下平面内点的个数并记录.重复上面两步,不断迭代, 直到达到设置的最大迭代次数, 找到平面内点个数最多的模型参数, 最后用平面内点再次对模型参数进行估计,得到最终的模型参数.
使用RANSAC算法分离得到多个平面点云,点云Z值最小的平面为工作台平面,比工作台平面稍高的为铁托板平面(PA),比焊缝平面稍高的为铁心平面(PB),通过铁托板平面和铁心平面,可进行边界即焊缝位置的提取,步骤如下.
第一步,获取PA和PB的质心$ {{\mathrm{C}}}_{\mathrm{P}\mathrm{A}}\mathrm{和}{{\mathrm{C}}}_{\mathrm{P}\mathrm{B}} $.
第二步,在PA中遍历,最外侧轮廓$ {\mathrm{P}\mathrm{A}}^{{{'}}}. $
第三步,在$ {\mathrm{P}\mathrm{A}}^{{{'}}} $中遍历,如满足以下关系则提取点P(点P是$ {\mathrm{P}\mathrm{A}}^{{{'}}} $中的一点,即$ {\mathrm{P}\mathrm{A}}^{{{'}}} $中遍历的当前点),即
$$ \left\{\begin{array}{c}{{{\boldsymbol{C}}}_{{\bf{PA}}}{\boldsymbol{P}}}\cdot {{{\boldsymbol{C}}}_{\bf{PA}}{{\boldsymbol{C}}}_{\bf{PB}}} > 0\\ {{{\boldsymbol{C}}}_{{\bf{PB}}}{\boldsymbol{P}}}\cdot {{{\boldsymbol{C}}}_{{\bf{PB}}}{{\boldsymbol{C}}}_{\bf{PA}}} > 0\end{array} \right.$$ (6) 第四步,确定焊缝点,对获得的点集进行RANSANC直线拟合,其中与$ {{\mathrm{C}}}_{\mathrm{P}\mathrm{A}} $和$ {{\mathrm{C}}}_{\mathrm{P}\mathrm{B}} $接近垂直的,即为焊缝.
通过重复上述过程,实现对整个配准点云的遍历,即可获取整体焊缝的位置,如图6所示,随后可以根据焊接要求进行分段处理.
3. 试验结果
试验采用的磁极焊缝模拟件,长边L为1 200 mm,宽边W为330 mm,周向间断焊缝共18条,长边7条,短边2条,焊缝长度50 mm,间隔长度100 mm.
应用文中提出的算法,识别的完整磁极焊缝模拟试验件点云图如图7所示.
获得焊缝轨迹中每段焊缝的起始点坐标和结束点坐标,利用上述轨迹进行焊接试验,最终试验结果如图8所示.
为验证焊缝定位精度,进行37 组试验,计算机器人识别调整后的坐标x,y,z轴的测量值与实际焊缝坐标的绝对误差,计算其均方差,如图9所示,x,y,z轴的误差都在±0.4 mm范围之内,计算得到的均方差分别为x轴0.223 mm,y轴0.278 mm,z轴0.198 mm. 以上数据表明,焊接路径的获取较为理想,可以满足焊接机器人对焊接精度的要求.
4. 结论
(1) 结合磁极焊缝结构特点,开发了一套机器人焊缝识别的视觉识别系统,可应用于磁极自主焊接.
(2) 建立了基于改进ICP算法,实现焊缝点云配准,基于RANSAC的点云焊缝自主识别,实现了对焊缝长度、间隙等多维度信息进行快速高精度识别.
(3) 经过对比采样数据对算法的识别精度进行了误差分析,结果表明,焊缝起点、终点的误差都在±0.4 mm的范围之内,实现了磁极焊缝视觉识别的高精度和可靠性.
-
[1] 王慧. 向心磁极铁托板焊接质量的分析[J]. 防爆电机, 2016, 51(4): 52 − 54. doi: 10.3969/J.ISSN.1008-7281.2016.04.17 Wang Hui. Analysis of welding quality of centripetal pole iron plate[J]. Explosion-Proof Electric Machine, 2016, 51(4): 52 − 54. doi: 10.3969/J.ISSN.1008-7281.2016.04.17
[2] 魏方锴, 贾瑞燕, 周宇飞, 等. 一种基于视觉定位的磁极铁托板自动化焊接方法, CN202210543971.5 [P]. 2024-02-13. Wei Fangkai, Jia Ruiyan, Zhou Yufei, et al. An automatic welding method of magnetic pole iron plate based on visual positioning, CN202210543971.5[P]. 2024-02-13.
[3] Li G, Hong Y, Gao J, et al. Welding seam trajectory recognition for automated skip welding guidance of a spatially intermittent welding seam based on laser vision sensor[J]. Sensors, 2020, 20(13): 36 − 57.
[4] 郭忠峰, 刘俊池, 杨钧麟. 基于关键点检测方法的焊缝识别[J]. 焊接学报, 2024, 45(1): 88 − 93. doi: 10.12073/j.hjxb.20230204001 Guo Zhongfeng, Liu Junchi, Yang Junlin. Weld identification based on key point detection method[J]. Transactions of the China Welding Institution, 2024, 45(1): 88 − 93. doi: 10.12073/j.hjxb.20230204001
[5] 修延飞, 李海超, 胡广泽, 等. 一种用于穿孔塞焊焊缝特征提取的视觉识别算法[J]. 焊接学报, 2020, 41(2): 75 − 79. doi: 10.12073/j.hjxb.20190927002 Xiu Yanfei, Li Haichao, Hu Guangze, et al. A visual recognition algorithm for feature extraction of perforated plug welding seams[J]. Transactions of the China Welding Institution, 2020, 41(2): 75 − 79. doi: 10.12073/j.hjxb.20190927002
[6] Zhang K, Yan M, Huang T, et al. 3D reconstruction of complex spatial weld seam for autonomous welding by laser structured light scanning[J]. Journal of Manufacturing Processes, 2019, 39: 200 − 207. doi: 10.1016/j.jmapro.2019.02.010
[7] Tian Y Z, Liu H F, Li L, et al. Robust identification of weld seam based on region of interest operation[J]. Advances in Manufacturing, 2020, 8(4): 473 − 485. doi: 10.1007/s40436-020-00325-y
[8] 梁志敏, 高旭, 任政, 等. 基于变分立体匹配算法的GMAW熔池形貌三维重建[J]. 焊接学报, 2024, 45(2): 61 − 66. doi: 10.12073/j.hjxb.20230224001 Liang Zhimin, Gao Xu, Ren Zheng, et al. Three-dimensional reconstruction of GMAW molten pool morphology based on variational stereo matching algorithm[J]. Transactions of the China Welding Institution, 2024, 45(2): 61 − 66. doi: 10.12073/j.hjxb.20230224001
[9] Zhang G, Zhang Y, Tuo S, et al. A novel seam tracking technique with a four-step method and experimental investigation of robotic welding oriented to complex welding seam[J]. Sensors, 2021, 21(9): 30 − 67.
[10] 余佳杰, 周建平, 薛瑞雷, 等. 基于结构光视觉和光照模型的焊 缝表面质量检测[J]. 中国激光, 2022, 49(16): 2 − 4. Yu Jiajie, Zhou Jianping, Xue Ruilei, et al. Weld surface quality detection based on structured light and illumination model[J]. Chinese Journal of Lasers, 2022, 49(16): 2 − 4.
[11] 魏小保. 基于数字光栅投影的三维测量关键技术研究[D]. 杭州: 浙江大学, 2019. Wei Xiaobao. Research on key technology of 3D measurement based on digital raster projection[D]. Hangzhou: Zhejiang University, 2019.
[12] 王曦. 基于数字光栅投影结构光的三维重建技术研究[D]. 哈尔滨: 哈尔滨工业大学, 2017. Wang Xi. Research on 3D reconstruction technique based on digital grating projection structured light[D]. Harbin: Harbin Institute of Technology, 2017.