Research on trajectory recognition and control technology of structured light vision-assisted welding
-
摘要: 对激光多点寻位、焊前轨迹拟合、焊缝实时跟踪的3种结构光视觉辅助焊接的轨迹识别与控制技术进行了研究.提出了适用于上述三者的以CNN模型、自适应特征提取算法、先验模型、坐标矩阵转换为核心的焊接轨迹识别流程.提出了分别对应上述三者的焊接轨迹控制模型:示教轨迹修正模型、焊前轨迹拟合模型、焊缝跟踪实时纠偏模型. 结果表明,激光多点寻位、焊前轨迹拟合模式焊接时,能够在焊前高效地识别出焊接轨迹曲线,焊接轨迹与焊缝中心线基本重合;焊缝实时跟踪模式焊接时,系统能够实时矫正焊枪的偏差.文中提到的焊接轨迹识别流程与轨迹控制模型足以保证结构光视觉辅助焊接的稳定运行.Abstract: Three trajectory recognition and control techniques for laser multi-point positioning, pre-welding trajectory fitting, and seam real-time tracking for structured light vision-assisted welding are investigated. A CNN model, adaptive feature extraction algorithm, a priori model, and coordinate matrix conversion are proposed as the core of the welding trajectory recognition process for these three. Welding trajectory control models are proposed for each of the above three, which including a taught trajectory correction model, a pre-welding trajectory fitting model, and a real-time deflection correction model for seam tracking. The experiments prove that laser multi-point positioning, pre-welding trajectory fitting model can efficiently identify the weld trajectory curve before welding, and the welding trajectory basically coincides with the centerline of the seam; when welding in the real-time seam tracking model, the real-time deviation is mainly controlled within ± 0.2 mm, with an average deviation of 0.1160 mm. The results show that the welding trajectory identification process and trajectory control model mentioned in this paper are sufficient to ensure stable operation of structured light vision-assisted welding.
-
Keywords:
- structured light vision /
- trajectory recognition and control /
- welding
-
0. 序言
示教-再现焊接正向着以“高质量、高效率”为核心的智能化自主化方向快速变革.数据传感必将大规模集成于实际焊接生产中,使焊接机器人具备施焊轨迹自主可控的功能.在焊接轨迹识别传感器中,基于三角成像原理的结构光视觉传感器获取的是焊缝三维坐标信息,能够完成一维、二维、三维的焊接轨迹识别与控制操作,具备柔性高精度焊接能力,是未来发展的重要走向,在焊接工程应用中,结构光视觉辅助焊接的技术模式有3种:激光多点寻位、焊前轨迹拟合与焊缝实时跟踪焊接.
Zou等人[1-6]对结构光视觉辅助焊接的焊缝跟踪图像处理模块提出了能够准确提取焊缝特征点的创新性算法,比如WLCS、STC、RNN、KCF、SVM、ERFNet等,这些算法保证了实时跟踪焊接的稳定性.但是,激光多点寻位及焊前轨迹拟合的焊接方式却没有受到系统的研究,在某些焊接工程问题上,这两种技术的重要性不可忽略.
文中将对结构光视觉辅助焊接的轨迹识别与控制技术进行细致的分析,提出了分别对应寻位、拟合、跟踪焊接的轨迹识别流程与轨迹控制模型,探究3种轨迹识别流程与控制模式的执行效果.
1. 轨迹识别流程
焊接轨迹识别传感器如图1所示,其中结构光视觉辅助焊接的原理为装置于焊枪前端的传感器扫描接头并根据轨迹识别流程获取焊接点,后将其传输到运动控制模型中,进而完成一系列智能化焊接操作,如图2所示. 根据图2,设计的焊接轨迹识别流程如图3所示,其中焊前拟合焊接与实时跟踪焊接的轨迹识别流程类似,但由于实时跟踪焊接过程中存在不可抗拒的、动态的、不规则的电弧、飞溅、金属烟尘等干扰,其需要更高效、更稳定的轨迹识别算法.文中以焊缝实时跟踪的轨迹识别流程展开研究,其获取的相关算法同样适用于寻位、拟合焊接模式.
1.1 CNN模型
为能够从拍摄的激光条纹中实时跟踪、定位、提取感兴趣区域(ROI),进而提高特征点的提取精度与效率,文中提出了一种卷积神经网络(CNN)模型如图4所示. CNN处理的流程如下.
(1) 原图像尺寸变换为224 × 224.
(2) 利用3 × 3的卷积核对输入图像进行多次卷积运算,后输出的结果将变为一维向量.
(3) Softmax层通过处理全连接完成对目标区域的识别和定位.
研究训练的样本集由4 134幅不同干扰程度的激光图像组成,对472幅实际焊接图像进行目标跟踪测试,模型预测精度约为97%,如图5所示.
1.2 自适应特征点提取
V形接头的特征点如图6所示,其中Te_c是焊缝中心点,也是焊接轨迹识别的目标点.特征点提取之前需要从ROI内提取到焊缝激光条纹的中心线,图7和图8是灰度重心法激光条纹中心线的提取效果.由图7d与图8d可以看出,提取的中心线能够准确映射出焊缝的空间坐标信息.此外,以条纹中心线像素的列为自变量,像素的行为因变量,自变量与因变量之间存在一一映射的函数关系.
当激光条纹中心线存在跳跃点、孔洞、光点缺失等不连续特征(容易出现在弱电弧飞溅环境中)或凸起、下凹等波动性特征(容易出现在强电弧飞溅环境中)时,以拐点法[7]、斜率分析法、连通区域法[8-9]、霍夫直线检测法[10-12]等为核心的特征点提取方法容易失效.为此本文将提出一种基于行扫描和列扫描的自适应特征提取算法来解决这一问题.自适应特征提取算法的设计思想如图9所示,处理流程如下:
(1) 屏蔽激光中心线上空洞缺陷,之后得到待处理的横坐标集
$ p\_col $ 和纵坐标集$ p\_row $ .(2) 移除跳跃点.如果点(
$ p\_col\left[a\right] $ ,$ p\_row\left[a\right] $ )满足式(1),该点为跳跃点并去除,否则,该点将作为下一个待确定点的比较点.通过式(1),得到新的横坐标集合$ p\_c $ ,纵坐标集合$ p\_r $ .$$ \begin{array}{c}\Delta p=\left|p\_row\left[a\right]-p\_row\left[b\right]\right|\\ \Delta p > \left|\left(p\_col\left[a\right]-p\_col\left[b\right]\right)*{k}_{\alpha /2}*\vartheta \right|=pa\end{array} $$ (1) 式中:
$ {k}_{\alpha /2} $ 与$ \vartheta $ 分别是坡口面斜率与修正系数;($ p\_col\left[b\right] $ ,$ p\_row\left[b\right] $ )为($ p\_col\left[a\right] $ ,$ p\_row\left[a\right] $ )前最近的非跳跃点;a与b是整数,且a>b.(3) 分别对Ω的前n1与后n4个点进行最小二乘法拟合,获取直线
$ v={f}_{1}\left(u\right) $ 与$ v={f}_{4}\left(u\right) $ .(4) 行扫描将中心线谷底的
$ \Delta v $ 行数据进行隔离.(5) 从点(
$ p\_col\left[{n}_{1}\right] $ ,$ p\_row\left[{n}_{1}\right] $ )向谷底扫描,从谷底向点($ p\_col\left[{n-n}_{4}\right] $ ,$ p\_row\left[{n-n}_{4}\right] $ )扫描,对满足式(2)的点进行拟合,分别得到直线$ v={f}_{2}\left(u\right) $ 与$ v={f}_{3}\left(u\right) $ .$$ \frac{\left|a\times p\_c\left[s\right]-p\_r\left[s\right] + b\right|}{\sqrt{{a}^{2} + 1}}=\Delta d > da $$ (2) 式中:
$ da $ 为10;计算$ {f}_{2} $ 时,a和b分别为$ {f}_{1} $ 的斜率和截距,计算$ {f}_{3} $ 时,a和b分别为$ {f}_{4} $ 的斜率和截距.(6) 依据式(3)计算Te_c的坐标值.
$$ \left\{\begin{array}{l}{u}_{\mathrm{T}\mathrm{e}\_\mathrm{c}}=\dfrac{{u}_{\mathrm{T}\mathrm{e}\_\mathrm{l}} + {u}_{\mathrm{T}\mathrm{e}\_\mathrm{r}}}{4} + \dfrac{{u}_{\mathrm{T}\mathrm{e}\_\mathrm{b}}}{2}\\ {v}_{\mathrm{T}\mathrm{e}\_\mathrm{c}}=\dfrac{{v}_{\mathrm{T}\mathrm{e}\_\mathrm{l}} + {v}_{\mathrm{T}\mathrm{e}\_\mathrm{r}}}{2}\end{array}\right. $$ (3) 式中:Te_l、Te_r、Te_b坐标由上述直线求交所得.
自适应特征提取算法的处理效果如图10和图11所示,可以看出该算法对电弧飞溅具有较强的抗干扰能力,对不同特性的条纹具备较好的适应性,提取的Te_c能够真实地代表焊缝中心的实际位置;即使激光中心线存在孔洞、凸起、凹点和跳跃点等缺陷或具备波动特性时,该算法也具有较好的特征点提取效果.
1.3 先验模型
强烈的弧光与飞溅会使激光条纹中心线偏离理论位置,但条纹的角度和宽度在相邻帧中几乎没有变化,即根据上下文信息能够对下一帧图像的噪声进行有效过滤,从而可以实现Te_c点精度的进一步提升.每个条带的坡度和宽度的确定公式被定义为一种先验模型(式(4)),只保留满足该模型的点,先验模型的作用过程如图12和图13所示.
$$ {\rm{Stripe}}\;i:\left\{\begin{array}{l}width=\left[{y}_{min}\;\;{y}_{max}\right]\\ \theta =\left[{\theta }_{min}\;\;{\theta }_{max}\right]\end{array}\right\} $$ (4) 式中:
$ i $ 是条纹图像的帧序;$ width $ 为条纹的宽度范围;$ \theta $ 为条纹的角度范围.得出强弧光飞溅和弱弧光飞溅下的公式为$$ {\rm{Stripe}}\;i:\left\{\begin{array}{l} { Width }=\left[f\left(x_{i-1}\right)-20 \quad f\left(x_{i-1}\right)+20\right] \\ \theta=\left\lceil\theta_{i-1}-4 \quad \theta_{i-1}+4\right\rceil \end{array}\right\} $$ (5) $$ {\rm{Stripe}}\;i:\left\{\begin{array}{l} { Width }=\left[f\left(x_{i-1}\right)-45 \quad f\left(x_{i-1}\right)+45\right] \\ \theta=\left[\theta_{i-1}-4 \quad \theta_{i-1}+4\right] \end{array} \right\}$$ (6) 根据每段连通区域的中心线角度和前一帧条纹中心线方程,利用先验模型的角度准则和宽度准则将主条纹信息从背景噪声中分离出来.提高Te_c精度的效果. 如图14和图15所示,先验模型克服了强电弧飞溅的干扰,促使激光条纹中心线更位于理想位置,更具备实际姿态,在像素级别内进一步降低了中心点提取的误差.
1.4 坐标矩阵转换
坐标矩阵转换:将图像拍摄的像素坐标(u, v)转换为机器人可以识别的基坐标系下的三维坐标(XB, YB, ZB),具体为像素坐标系OpXpYp、图像坐标系OIXIYI、相机坐标系OCXCYCZC、机器人末端坐标系OHXHYHZH、机器人基坐标系OBXBYBZB之间的转化,主要涉及相机内外参标定、光平面标定及手眼标定.
OpXpYp与OCXCYCZC之间的转换公式为
$$ \left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]=\dfrac{1}{Z_c}\left[\begin{array}{ccc} \dfrac{1}{d X_I} & 0 & u_0 \\ 0 & \dfrac{1}{d Y_I} & v_0 \\ 0 & 0 & \dfrac{1}{d Z_I} \end{array}\right]\left[\begin{array}{llll} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{c} X_C \\ Y_C \\ Z_C \\ 1 \end{array}\right] $$ (7) 式中:
$ \dfrac{1}{{dX}_{I}} $ ,$ \dfrac{1}{{dY}_{I}} $ ,$ {u}_{0} $ ,$ {v}_{0} $ ,$ f $ 由相机标定获取;且$ {Z}_{c}=c + a\times{X}_{C} + b\times{Y}_{C} $ ;c,a,b由光平面标定获取.OCXCYCZC与OBXBYBZB之间的转换公式为
$$ \left[\begin{array}{c}{X}_{B}\\ {Y}_{B}\\ {Z}_{B}\\ 1\end{array}\right]=\left[\begin{array}{c}R\quad T\\ 0\quad1\end{array}\right]{X}_{S}\left[\begin{array}{c}{X}_{C}\\ {Y}_{C}\\ {Z}_{C}\\ 1\end{array}\right] $$ (8) 式中:
$ {{\boldsymbol{X}}}_{S} $ 为手眼变换矩阵,由手眼标定获取;R与T的公式为$$ {\boldsymbol{R}}={R}_{1}\cdot {R}_{2}\cdot {R}_{3} $$ (9) $$ \boldsymbol{T}={\left[X\quad Y\quad Z\quad 1\right]}^{T} $$ (10) $$ {{\boldsymbol{R}}}_{1}=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\begin{array}{c}0\\ \mathrm{cos}{R}_{X}\\ \mathrm{sin}{R}_{X}\end{array}\begin{array}{c}0\\ -\mathrm{sin}{R}_{X}\\ \mathrm{cos}{R}_{X}\end{array}\right] $$ (11) $$ {{\boldsymbol{R}}}_{2}=\left[\begin{array}{c}\mathrm{cos}{R}_{Y}\\ 0\\ -\mathrm{sin}{R}_{Y}\end{array}\begin{array}{c}0\\ 1\\ 0\end{array}\begin{array}{c}\mathrm{sin}{R}_{Y}\\ 0\\ \mathrm{cos}{R}_{Y}\end{array}\right] $$ (12) $$ {{\boldsymbol{R}}}_{3}=\left[\begin{array}{c}\mathrm{cos}{R}_{Z}\\ \mathrm{sin}{R}_{Z}\\ 0\end{array}\begin{array}{c}-\mathrm{sin}{R}_{Z}\\ \mathrm{cos}{R}_{Z}\\ 0\end{array}\begin{array}{c}0\\ 0\\ 1\end{array}\right] $$ (13) 式中:X,Y,Z,RX,RY,RZ是机器人直角坐标系运动的六个参数,由示教器读出.
将图像处理获取的特征点Te_c的像素坐标(u, v)与机器人实时运动参数(X, Y, Z, RX, RY, RZ)带入式(7)与式(8)中,即可求得焊缝中心点在机器人基坐标系下的三维坐标值.
2. 轨迹控制模型
2.1 示教轨迹修正模型
大批量生产中,焊缝较多、空间分布复杂、焊缝长度较短的工件难以定位,装卡误差、下料误差、组对误差等导致机器人不能准确识别焊缝的位置,对于上述类型的工件,采用激光多点寻位的焊接轨迹识别与控制方式进行焊接较为适合.
图16为示教轨迹修正模型,其通过固定的多个传感器拍摄点获取该焊枪位姿下新的寻位点,用新的寻位点代替该焊枪位姿下之前的示教点,修正示教轨迹,进而完成焊接.在该模式下工人只需要进行一次示教焊接轨迹的编辑,后续所有同规格产品的焊接轨迹都是在该示教轨迹的基础上进行修正的.
2.2 焊前轨迹拟合模型
对于多层多道、深窄间隙、立向上、立向下焊接,焊缝跟踪及激光多点寻位的焊接模式难以高校准稳定地获取施焊轨迹,采用焊前轨迹拟合的焊接方式能够在施焊之前准确获取到待施焊的各层各道轨迹,具备高鲁棒性、高焊接精度等特性.
图17为焊前轨迹拟合的焊接模型,其利用结构光传感器扫描待焊区域,通过图像处理获取特征点,并转化为基坐标系下的三维坐标,后将这些无数的点通过准均匀三次B样条曲线拟合,获取轨迹曲线,并传输于运动控制系统中进行焊接运动控制.
2.3 焊缝跟踪实时纠偏模型
实时跟踪焊接模式对于长直线单道焊缝,具备高的焊接精度及高的焊接效率,可适用的焊接场合更广,其在焊接过程中实时获取焊枪的横向偏差与高度偏差,如图18所示,后将偏差传输到如图19所示的PID纠偏控制模型中,进而实现焊接过程中焊枪实时纠偏的功能.
依据图18,焊缝跟踪t时刻的实际偏差e(t)求取公式为
$$ \mathrm{e}\left(\mathrm{t}\right)={\mathrm{e}}_{1}\left(\mathrm{t}\right)-\left[\mathrm{y}\left(\mathrm{t}\right)-\mathrm{y}\left(\mathrm{t}-\mathrm{\tau }\right)\right] $$ (14) 对式14进行拉普拉斯变换得到式15,即
$$ \mathrm{E}\left(s\right)={\mathrm{E}}_{1}\left(\mathrm{s}\right)-\left(1-{e}^{-ts}\right)\mathrm{Y}\left(\mathrm{s}\right) $$ (15) 依据式(15),设计的焊缝跟踪PID控制结构参见图19所示.其中C(s)为运动控制器传输函数,P(s)为步进电机传递函数.
3. 试验结果
3.1 结构光视觉焊接系统
为了验证文中提出的轨迹识别流程与轨迹控制模型的准确性,在如图20所示的结构光视觉焊接系统中,以坡口为60°、板厚为5 mm的对接焊缝作为试验对象,如图21所示. MAG焊接的电流和电压分别为120 A和17.3 V,气体流量为15 L/min.焊接速度为15 cm/min,送丝速度为3.2 m/min.
3.2 激光多点寻位焊接测试
图22为激光多点寻位模式下,3次对同规则工件寻位焊接的结果,其中黑色实线为示教轨迹,蓝色点划线为焊接轨迹,红色点划线为焊缝中心线,可以得出3次寻位获取的真实焊接轨迹与焊缝中心曲线基本重合,证实了激光多点寻位焊接轨迹识别流程与控制模型能够准确在焊前寻位到真实焊接轨迹,其具备良好的施焊精度.
3.3 焊前轨迹拟合焊接测试
图23与图24为焊前轨迹拟合焊接模式在XY与XZ平面内识别的效果. 从图中可以得出,通过示教获取的焊接轨迹并非是实际的焊缝中心线,焊前轨迹拟合模式能够在施焊之前获取真实的焊接轨迹,保证了焊缝横向方向与高度方向的施焊精度,拟合的轨迹呈现二阶连续可导,焊枪运行平稳,焊缝精度较高,其精度能够满足实际生产的需求.
3.4 焊缝实时跟踪焊接测试
实时跟踪轨迹与焊缝中心线的关系如图25所示.示教轨迹的终点偏离焊缝15 mm;跟踪轨迹与接缝中心线基本一致.上述算法可以实时校正焊枪到实际焊缝中心.图26中显示了跟踪轨迹和接缝中心线之间的实时测量误差.在整个焊接过程中,测量的偏差在零点附近震荡,振幅不等.试验结果表明,跟踪焊接的最大误差为−0.233 0 mm,平均误差为0.116 0 mm,这证明了所提出的焊缝跟踪轨迹识别流程与轨迹控制模型总体上具有较高的鲁棒性,能够满足实际焊接的需求.
4. 结论
(1) 建立了结构光视觉辅助焊接的3种智能化技术模式,即激光多点寻位焊接、焊前轨迹拟合焊接、焊缝实时跟踪焊接;通过以CNN模型、自适应特征提取算法、先验模型、坐标矩阵转换为核心焊接轨迹识别流程能够准确获取待焊点的三维坐标.
(2) 3种轨迹控制模型(示教轨迹修正模型、焊前轨迹拟合模型、焊缝跟踪实时纠偏模型)制定了各焊接模式的工艺方法,能够稳定高效的完成焊接轨迹的运动控制.
(3) 试验结果表明,激光寻位能够准确定位焊接点进而修正示教轨迹,焊接轨迹与焊缝中心线重合,具备较高精度焊接的能力;焊前轨迹拟合能够通过准均匀3次B样条曲线拟合出二阶连续可导的焊接轨迹,提高系统运行的稳定性,且能够识别出因坡口成形不良与操作台平面倾斜导致的轨迹偏差,并且拟合出真实的焊接轨迹;焊缝实时跟踪的误差主要控制在± 0.2 mm以内,平均误差为0.116 0 mm,足以保证机器人精确可靠的实时跟踪焊接.
-
-
[1] Zou Y, Li J, Chen X. Seam tracking investigation via striped line laser sensor[J]. Industrial Robot:An International Journal, 2017, 44(5): 609 − 617. doi: 10.1108/IR-11-2016-0294
[2] Zou Y, Chen X, Gong G, et al. A seam tracking system based on a laser vision sensor[J]. Measurement, 2018, 127: 489 − 500. doi: 10.1016/j.measurement.2018.06.020
[3] Zou Y, Zhu M, Chen X. A Robust Detector for Automated Welding Seam Tracking System[J]. Journal of Dynamic Systems, Measurement, and Control, 2021, 143(7): 071001. doi: 10.1115/1.4049547
[4] Zou Y, Wang Y, Zhou W, et al. Real-time seam tracking control system based on line laser visions[J]. Optics & Laser Technology, 2018, 103: 182 − 192.
[5] Zou Y, Chen J, Wei X. Research on a real-time pose estimation method for a seam tracking system[J]. Optics and Lasers in Engineering, 2020, 127: 105947. doi: 10.1016/j.optlaseng.2019.105947
[6] Zhao Z, Luo J, Wang Y, et al. Additive seam tracking technology based on laser vision[J]. The International Journal of Advanced Manufacturing Technology, 2021, 116(1): 197 − 211.
[7] Xiao R, Xu Y, Hou Z, et al. An adaptive feature extraction algorithm for multiple typical seam tracking based on vision sensor in robotic arc welding[J]. Sensors and Actuators A:Physical, 2019, 297: 111533. doi: 10.1016/j.sna.2019.111533
[8] Zhang G, Yun T-J, Oh W-B, et al. A study on seam tracking in robotic GMA welding process[J]. Materials Today:Proceedings, 2020, 22: 1771 − 1777. doi: 10.1016/j.matpr.2020.03.010
[9] Xue B, Chang B, Peng G, et al. A Vision Based Detection Method for Narrow Butt Joints and a Robotic Seam Tracking System[J]. Sensors, 2019, 19(5): 1144. doi: 10.3390/s19051144
[10] Wu Q Q, Lee J P, Park M H, et al. A study on the modified Hough algorithm for image processing in weld seam tracking[J]. Journal of Mechanical Science and Technology, 2015, 29(11): 4859 − 4865. doi: 10.1007/s12206-015-1033-x
[11] Muhammad J, Altun H, Abo-Serie E. A robust butt welding seam finding technique for intelligent robotic welding system using active laser vision[J]. The International Journal of Advanced Manufacturing Technology, 2018, 94(1): 13 − 29.
[12] Fan J, Jing F, Yang L, et al. A precise seam tracking method for narrow butt seams based on structured light vision sensor[J]. Optics & Laser Technology, 2019, 109: 616 − 626.
-
期刊类型引用(6)
1. 季现亮,张文杰,王玉强,刘勇,田祖织,付拯. 基于机器视觉的带式输送机高精度煤流检测研究. 工矿自动化. 2024(05): 75-83 . 百度学术
2. 姚江云,王宽田,李旺昆,梁世华. 基于改进T-S模糊模型的弧焊机器人轨迹实时跟踪. 组合机床与自动化加工技术. 2024(09): 147-152 . 百度学术
3. 李玉荣. 物联网工控平台下移动焊接机器人焊缝轨迹跟踪控制方法. 工业控制计算机. 2024(10): 53-55 . 百度学术
4. 陈华斌,肖润泉,陈善本. 焊接机器人视觉感知及智能化焊接关键技术研究进展. 焊接学报. 2024(11): 1-9 . 本站查看
5. 马佳玮,孙菁伯,迟关心,张广军,李鑫磊. 基于立体视觉和YOLO深度学习框架的焊缝识别与机器人路径规划算法. 焊接学报. 2024(11): 45-49 . 本站查看
6. 龚文华,刘钊,王兴东. 基于生成式对抗网络的龙门式焊接机器人双目视觉方法. 信息与控制. 2024(06): 783-792 . 百度学术
其他类型引用(1)