箱型钢结构轨道式焊接机器人D-H模型与连续轨迹规划
-
摘要: 针对箱型钢的结构特征和焊接过程特点，设计了一款5自由度的轨道式焊接机器人，用于箱型钢结构安装现场的自动化焊接. 采用D-H法，建立了机器人运动学模型，并通过特定的代数方法进行了逆运动学求解，推导出了焊枪末端的空间位姿参数与焊接机器人各关节变量的解析关系模型. 在此基础上，采用连续路径运动的轨迹规划法，在给定焊枪末端轨迹时，对各关节的运动情况进行了MATLAB仿真研究. 结果表明，导出的逆运动学求解模型可用于箱型钢结构焊接机器人的连续运动轨迹和姿态规划和控制，为实施机器人的运动控制奠定了基础.
-
0. 序言
示教-再现焊接正向着以“高质量、高效率”为核心的智能化自主化方向快速变革.数据传感必将大规模集成于实际焊接生产中，使焊接机器人具备施焊轨迹自主可控的功能.在焊接轨迹识别传感器中，基于三角成像原理的结构光视觉传感器获取的是焊缝三维坐标信息，能够完成一维、二维、三维的焊接轨迹识别与控制操作，具备柔性高精度焊接能力，是未来发展的重要走向，在焊接工程应用中，结构光视觉辅助焊接的技术模式有3种：激光多点寻位、焊前轨迹拟合与焊缝实时跟踪焊接.
Zou等人[1-6]对结构光视觉辅助焊接的焊缝跟踪图像处理模块提出了能够准确提取焊缝特征点的创新性算法，比如WLCS、STC、RNN、KCF、SVM、ERFNet等，这些算法保证了实时跟踪焊接的稳定性.但是，激光多点寻位及焊前轨迹拟合的焊接方式却没有受到系统的研究，在某些焊接工程问题上，这两种技术的重要性不可忽略.
文中将对结构光视觉辅助焊接的轨迹识别与控制技术进行细致的分析，提出了分别对应寻位、拟合、跟踪焊接的轨迹识别流程与轨迹控制模型，探究3种轨迹识别流程与控制模式的执行效果.
1. 轨迹识别流程
焊接轨迹识别传感器如图1所示，其中结构光视觉辅助焊接的原理为装置于焊枪前端的传感器扫描接头并根据轨迹识别流程获取焊接点，后将其传输到运动控制模型中，进而完成一系列智能化焊接操作，如图2所示. 根据图2，设计的焊接轨迹识别流程如图3所示，其中焊前拟合焊接与实时跟踪焊接的轨迹识别流程类似，但由于实时跟踪焊接过程中存在不可抗拒的、动态的、不规则的电弧、飞溅、金属烟尘等干扰，其需要更高效、更稳定的轨迹识别算法.文中以焊缝实时跟踪的轨迹识别流程展开研究，其获取的相关算法同样适用于寻位、拟合焊接模式.
![]()
图 3 结构光视觉辅助焊接的轨迹识别流程Figure 3. Trajectory recognition process of welding assisted by structured light vision1.1 CNN模型
为能够从拍摄的激光条纹中实时跟踪、定位、提取感兴趣区域(ROI)，进而提高特征点的提取精度与效率，文中提出了一种卷积神经网络(CNN)模型如图4所示. CNN处理的流程如下.
(1) 原图像尺寸变换为224 × 224.
(2) 利用3 × 3的卷积核对输入图像进行多次卷积运算，后输出的结果将变为一维向量.
(3) Softmax层通过处理全连接完成对目标区域的识别和定位.
研究训练的样本集由4 134幅不同干扰程度的激光图像组成，对472幅实际焊接图像进行目标跟踪测试，模型预测精度约为97%，如图5所示.
![]()
图 5 目标区域识别结果Figure 5. Target area identification results. (a) image ROI extraction results under strong arc splash; (b) image ROI extraction results under weak arc splash1.2 自适应特征点提取
V形接头的特征点如图6所示，其中Te_c是焊缝中心点，也是焊接轨迹识别的目标点.特征点提取之前需要从ROI内提取到焊缝激光条纹的中心线，图7和图8是灰度重心法激光条纹中心线的提取效果.由图7d与图8d可以看出，提取的中心线能够准确映射出焊缝的空间坐标信息.此外，以条纹中心线像素的列为自变量，像素的行为因变量，自变量与因变量之间存在一一映射的函数关系.
![]()
图 7 强弧光飞溅下激光条纹中心线提取效果Figure 7. Laser stripe centerline extraction effect under strong arc splash. (a) initial image; (b) otsu threshold segmentation after median filtering; (c) morphological processing; (d) extracting stripe centerline![]()
图 8 弱弧光飞溅下激光条纹中心线提取效果Figure 8. Laser stripe centerline extraction effect under weak arc splash. (a) initial image; (b) otsu threshold segmentation after median filtering; (c) morphological processing; (d) extracting stripe centerline当激光条纹中心线存在跳跃点、孔洞、光点缺失等不连续特征(容易出现在弱电弧飞溅环境中)或凸起、下凹等波动性特征(容易出现在强电弧飞溅环境中)时，以拐点法[7]、斜率分析法、连通区域法[8-9]、霍夫直线检测法[10-12]等为核心的特征点提取方法容易失效.为此本文将提出一种基于行扫描和列扫描的自适应特征提取算法来解决这一问题.自适应特征提取算法的设计思想如图9所示，处理流程如下：
(1) 屏蔽激光中心线上空洞缺陷，之后得到待处理的横坐标集
$ p\_col $ 和纵坐标集$ p\_row $ .(2) 移除跳跃点.如果点(
$ p\_col\left[a\right] $ ，$ p\_row\left[a\right] $ )满足式(1)，该点为跳跃点并去除，否则，该点将作为下一个待确定点的比较点.通过式(1)，得到新的横坐标集合$ p\_c $ ，纵坐标集合$ p\_r $ .$$ \begin{array}{c}\Delta p=\left|p\_row\left[a\right]-p\_row\left[b\right]\right|\\ \Delta p > \left|\left(p\_col\left[a\right]-p\_col\left[b\right]\right)*{k}_{\alpha /2}*\vartheta \right|=pa\end{array} $$ (1) 式中：
$ {k}_{\alpha /2} $ 与$ \vartheta $ 分别是坡口面斜率与修正系数；($ p\_col\left[b\right] $ ，$ p\_row\left[b\right] $ )为($ p\_col\left[a\right] $ ，$ p\_row\left[a\right] $ )前最近的非跳跃点；a与b是整数，且a＞b.(3) 分别对Ω的前n1与后n4个点进行最小二乘法拟合，获取直线
$ v={f}_{1}\left(u\right) $ 与$ v={f}_{4}\left(u\right) $ .(4) 行扫描将中心线谷底的
$ \Delta v $ 行数据进行隔离.(5) 从点(
$ p\_col\left[{n}_{1}\right] $ ，$ p\_row\left[{n}_{1}\right] $ )向谷底扫描，从谷底向点($ p\_col\left[{n-n}_{4}\right] $ ，$ p\_row\left[{n-n}_{4}\right] $ )扫描，对满足式(2)的点进行拟合，分别得到直线$ v={f}_{2}\left(u\right) $ 与$ v={f}_{3}\left(u\right) $ .$$ \frac{\left|a\times p\_c\left[s\right]-p\_r\left[s\right] + b\right|}{\sqrt{{a}^{2} + 1}}=\Delta d > da $$ (2) 式中：
$ da $ 为10；计算$ {f}_{2} $ 时，a和b分别为$ {f}_{1} $ 的斜率和截距，计算$ {f}_{3} $ 时，a和b分别为$ {f}_{4} $ 的斜率和截距.(6) 依据式(3)计算Te_c的坐标值.
$$ \left\{\begin{array}{l}{u}_{\mathrm{T}\mathrm{e}\_\mathrm{c}}=\dfrac{{u}_{\mathrm{T}\mathrm{e}\_\mathrm{l}} + {u}_{\mathrm{T}\mathrm{e}\_\mathrm{r}}}{4} + \dfrac{{u}_{\mathrm{T}\mathrm{e}\_\mathrm{b}}}{2}\\ {v}_{\mathrm{T}\mathrm{e}\_\mathrm{c}}=\dfrac{{v}_{\mathrm{T}\mathrm{e}\_\mathrm{l}} + {v}_{\mathrm{T}\mathrm{e}\_\mathrm{r}}}{2}\end{array}\right. $$ (3) 式中：Te_l、Te_r、Te_b坐标由上述直线求交所得.
自适应特征提取算法的处理效果如图10和图11所示，可以看出该算法对电弧飞溅具有较强的抗干扰能力，对不同特性的条纹具备较好的适应性，提取的Te_c能够真实地代表焊缝中心的实际位置；即使激光中心线存在孔洞、凸起、凹点和跳跃点等缺陷或具备波动特性时，该算法也具有较好的特征点提取效果.
![]()
图 10 强弧光飞溅下特征点提取的结果Figure 10. Results of the feature point extraction under strong arc splash![]()
图 11 弱弧光飞溅下特征点提取的结果Figure 11. Results of the feature point extraction under weak arc splash1.3 先验模型
强烈的弧光与飞溅会使激光条纹中心线偏离理论位置，但条纹的角度和宽度在相邻帧中几乎没有变化，即根据上下文信息能够对下一帧图像的噪声进行有效过滤，从而可以实现Te_c点精度的进一步提升.每个条带的坡度和宽度的确定公式被定义为一种先验模型(式(4))，只保留满足该模型的点，先验模型的作用过程如图12和图13所示.
$$ {\rm{Stripe}}\;i:\left\{\begin{array}{l}width=\left[{y}_{min}\;\;{y}_{max}\right]\\ \theta =\left[{\theta }_{min}\;\;{\theta }_{max}\right]\end{array}\right\} $$ (4) 式中：
$ i $ 是条纹图像的帧序；$ width $ 为条纹的宽度范围；$ \theta $ 为条纹的角度范围.得出强弧光飞溅和弱弧光飞溅下的公式为$$ {\rm{Stripe}}\;i:\left\{\begin{array}{l} { Width }=\left[f\left(x_{i-1}\right)-20 \quad f\left(x_{i-1}\right)+20\right] \\ \theta=\left\lceil\theta_{i-1}-4 \quad \theta_{i-1}+4\right\rceil \end{array}\right\} $$ (5) $$ {\rm{Stripe}}\;i:\left\{\begin{array}{l} { Width }=\left[f\left(x_{i-1}\right)-45 \quad f\left(x_{i-1}\right)+45\right] \\ \theta=\left[\theta_{i-1}-4 \quad \theta_{i-1}+4\right] \end{array} \right\}$$ (6) 根据每段连通区域的中心线角度和前一帧条纹中心线方程，利用先验模型的角度准则和宽度准则将主条纹信息从背景噪声中分离出来.提高Te_c精度的效果. 如图14和图15所示，先验模型克服了强电弧飞溅的干扰，促使激光条纹中心线更位于理想位置，更具备实际姿态，在像素级别内进一步降低了中心点提取的误差.
![]()
图 14 弱弧光飞溅下提高Te_c精度的效果Figure 14. The effect of improving the accuracy of the Te_c under weak arc splash![]()
图 15 强弧光飞溅下提高Te_c精度的效果Figure 15. The effect of improving the accuracy of the Te_c under strong arc splash1.4 坐标矩阵转换
坐标矩阵转换：将图像拍摄的像素坐标(u, v)转换为机器人可以识别的基坐标系下的三维坐标(XB, YB, ZB)，具体为像素坐标系OpXpYp、图像坐标系OIXIYI、相机坐标系OCXCYCZC、机器人末端坐标系OHXHYHZH、机器人基坐标系OBXBYBZB之间的转化，主要涉及相机内外参标定、光平面标定及手眼标定.
OpXpYp与OCXCYCZC之间的转换公式为
$$ \left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]=\dfrac{1}{Z_c}\left[\begin{array}{ccc} \dfrac{1}{d X_I} & 0 & u_0 \\ 0 & \dfrac{1}{d Y_I} & v_0 \\ 0 & 0 & \dfrac{1}{d Z_I} \end{array}\right]\left[\begin{array}{llll} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{c} X_C \\ Y_C \\ Z_C \\ 1 \end{array}\right] $$ (7) 式中：
$ \dfrac{1}{{dX}_{I}} $ ，$ \dfrac{1}{{dY}_{I}} $ ，$ {u}_{0} $ ，$ {v}_{0} $ ，$ f $ 由相机标定获取；且$ {Z}_{c}=c + a\times{X}_{C} + b\times{Y}_{C} $ ；c，a，b由光平面标定获取.OCXCYCZC与OBXBYBZB之间的转换公式为
$$ \left[\begin{array}{c}{X}_{B}\\ {Y}_{B}\\ {Z}_{B}\\ 1\end{array}\right]=\left[\begin{array}{c}R\quad T\\ 0\quad1\end{array}\right]{X}_{S}\left[\begin{array}{c}{X}_{C}\\ {Y}_{C}\\ {Z}_{C}\\ 1\end{array}\right] $$ (8) 式中：
$ {{\boldsymbol{X}}}_{S} $ 为手眼变换矩阵，由手眼标定获取；R与T的公式为$$ {\boldsymbol{R}}={R}_{1}\cdot {R}_{2}\cdot {R}_{3} $$ (9) $$ \boldsymbol{T}={\left[X\quad Y\quad Z\quad 1\right]}^{T} $$ (10) $$ {{\boldsymbol{R}}}_{1}=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\begin{array}{c}0\\ \mathrm{cos}{R}_{X}\\ \mathrm{sin}{R}_{X}\end{array}\begin{array}{c}0\\ -\mathrm{sin}{R}_{X}\\ \mathrm{cos}{R}_{X}\end{array}\right] $$ (11) $$ {{\boldsymbol{R}}}_{2}=\left[\begin{array}{c}\mathrm{cos}{R}_{Y}\\ 0\\ -\mathrm{sin}{R}_{Y}\end{array}\begin{array}{c}0\\ 1\\ 0\end{array}\begin{array}{c}\mathrm{sin}{R}_{Y}\\ 0\\ \mathrm{cos}{R}_{Y}\end{array}\right] $$ (12) $$ {{\boldsymbol{R}}}_{3}=\left[\begin{array}{c}\mathrm{cos}{R}_{Z}\\ \mathrm{sin}{R}_{Z}\\ 0\end{array}\begin{array}{c}-\mathrm{sin}{R}_{Z}\\ \mathrm{cos}{R}_{Z}\\ 0\end{array}\begin{array}{c}0\\ 0\\ 1\end{array}\right] $$ (13) 式中：X，Y，Z，RX，RY，RZ是机器人直角坐标系运动的六个参数，由示教器读出.
将图像处理获取的特征点Te_c的像素坐标(u, v)与机器人实时运动参数(X, Y, Z, RX, RY, RZ)带入式(7)与式(8)中，即可求得焊缝中心点在机器人基坐标系下的三维坐标值.
2. 轨迹控制模型
2.1 示教轨迹修正模型
大批量生产中，焊缝较多、空间分布复杂、焊缝长度较短的工件难以定位，装卡误差、下料误差、组对误差等导致机器人不能准确识别焊缝的位置，对于上述类型的工件，采用激光多点寻位的焊接轨迹识别与控制方式进行焊接较为适合.
图16为示教轨迹修正模型，其通过固定的多个传感器拍摄点获取该焊枪位姿下新的寻位点，用新的寻位点代替该焊枪位姿下之前的示教点，修正示教轨迹，进而完成焊接.在该模式下工人只需要进行一次示教焊接轨迹的编辑，后续所有同规格产品的焊接轨迹都是在该示教轨迹的基础上进行修正的.
2.2 焊前轨迹拟合模型
对于多层多道、深窄间隙、立向上、立向下焊接，焊缝跟踪及激光多点寻位的焊接模式难以高校准稳定地获取施焊轨迹，采用焊前轨迹拟合的焊接方式能够在施焊之前准确获取到待施焊的各层各道轨迹，具备高鲁棒性、高焊接精度等特性.
图17为焊前轨迹拟合的焊接模型，其利用结构光传感器扫描待焊区域，通过图像处理获取特征点，并转化为基坐标系下的三维坐标，后将这些无数的点通过准均匀三次B样条曲线拟合，获取轨迹曲线，并传输于运动控制系统中进行焊接运动控制.
2.3 焊缝跟踪实时纠偏模型
实时跟踪焊接模式对于长直线单道焊缝，具备高的焊接精度及高的焊接效率，可适用的焊接场合更广，其在焊接过程中实时获取焊枪的横向偏差与高度偏差，如图18所示，后将偏差传输到如图19所示的PID纠偏控制模型中，进而实现焊接过程中焊枪实时纠偏的功能.
依据图18，焊缝跟踪t时刻的实际偏差e(t)求取公式为
$$ \mathrm{e}\left(\mathrm{t}\right)={\mathrm{e}}_{1}\left(\mathrm{t}\right)-\left[\mathrm{y}\left(\mathrm{t}\right)-\mathrm{y}\left(\mathrm{t}-\mathrm{\tau }\right)\right] $$ (14) 对式14进行拉普拉斯变换得到式15，即
$$ \mathrm{E}\left(s\right)={\mathrm{E}}_{1}\left(\mathrm{s}\right)-\left(1-{e}^{-ts}\right)\mathrm{Y}\left(\mathrm{s}\right) $$ (15) 依据式(15)，设计的焊缝跟踪PID控制结构参见图19所示.其中C(s)为运动控制器传输函数，P(s)为步进电机传递函数.
3. 试验结果
3.1 结构光视觉焊接系统
为了验证文中提出的轨迹识别流程与轨迹控制模型的准确性，在如图20所示的结构光视觉焊接系统中，以坡口为60°、板厚为5 mm的对接焊缝作为试验对象，如图21所示. MAG焊接的电流和电压分别为120 A和17.3 V，气体流量为15 L/min.焊接速度为15 cm/min，送丝速度为3.2 m/min.
![]()
图 21 V形焊缝的对接工件Figure 21. Butt joint workpiece with a V-shaped seam. (a) the butt joint workpiece; (b) the 3D point cloud data of V-shaped seam3.2 激光多点寻位焊接测试
图22为激光多点寻位模式下，3次对同规则工件寻位焊接的结果，其中黑色实线为示教轨迹，蓝色点划线为焊接轨迹，红色点划线为焊缝中心线，可以得出3次寻位获取的真实焊接轨迹与焊缝中心曲线基本重合，证实了激光多点寻位焊接轨迹识别流程与控制模型能够准确在焊前寻位到真实焊接轨迹，其具备良好的施焊精度.
![]()
图 22 激光多点寻位焊接的试验结果Figure 22. The experimental results of the laser multi-point positioning welding3.3 焊前轨迹拟合焊接测试
图23与图24为焊前轨迹拟合焊接模式在XY与XZ平面内识别的效果. 从图中可以得出，通过示教获取的焊接轨迹并非是实际的焊缝中心线，焊前轨迹拟合模式能够在施焊之前获取真实的焊接轨迹，保证了焊缝横向方向与高度方向的施焊精度，拟合的轨迹呈现二阶连续可导，焊枪运行平稳，焊缝精度较高，其精度能够满足实际生产的需求.
3.4 焊缝实时跟踪焊接测试
实时跟踪轨迹与焊缝中心线的关系如图25所示.示教轨迹的终点偏离焊缝15 mm；跟踪轨迹与接缝中心线基本一致.上述算法可以实时校正焊枪到实际焊缝中心.图26中显示了跟踪轨迹和接缝中心线之间的实时测量误差.在整个焊接过程中，测量的偏差在零点附近震荡，振幅不等.试验结果表明，跟踪焊接的最大误差为−0.233 0 mm，平均误差为0.116 0 mm，这证明了所提出的焊缝跟踪轨迹识别流程与轨迹控制模型总体上具有较高的鲁棒性，能够满足实际焊接的需求.
4. 结论
(1) 建立了结构光视觉辅助焊接的3种智能化技术模式，即激光多点寻位焊接、焊前轨迹拟合焊接、焊缝实时跟踪焊接；通过以CNN模型、自适应特征提取算法、先验模型、坐标矩阵转换为核心焊接轨迹识别流程能够准确获取待焊点的三维坐标.
(2) 3种轨迹控制模型(示教轨迹修正模型、焊前轨迹拟合模型、焊缝跟踪实时纠偏模型)制定了各焊接模式的工艺方法，能够稳定高效的完成焊接轨迹的运动控制.
(3) 试验结果表明，激光寻位能够准确定位焊接点进而修正示教轨迹，焊接轨迹与焊缝中心线重合，具备较高精度焊接的能力；焊前轨迹拟合能够通过准均匀3次B样条曲线拟合出二阶连续可导的焊接轨迹，提高系统运行的稳定性，且能够识别出因坡口成形不良与操作台平面倾斜导致的轨迹偏差，并且拟合出真实的焊接轨迹；焊缝实时跟踪的误差主要控制在± 0.2 mm以内，平均误差为0.116 0 mm，足以保证机器人精确可靠的实时跟踪焊接.
-
[1] 朱志明, 马国锐, 刘 晗, 等. 箱型钢结构焊接机器人系统机构设计与研究[J]. 焊接, 2014(3): 2-7.Zhu Zhiming, Ma Guorui, Liu Han,et al. Design and study of steel structure welding robot system[J]. Welding & Joining, 2014(3): 2-7.[2] 王 玉, 王旗华, 赵建光, 等. 焊接机器人虚拟样机轨迹模拟和运动仿真分析[J]. 焊接学报, 2012, 33(4): 109-112.Wang Yu, Wang Qihua, Zhao Jianguang,et al. Research on welding robot trajectory and motion simulation based on virtual prototype technology[J]. Transactions of the China Welding Institution, 2012, 33(4): 109-112.[3] 杜宏旺, 王宗义, 刘少刚, 等. 接管焊接机器人运动学及轨迹修正[J]. 焊接学报, 2009, 30(7): 45-48.Du Hongwang, Wang Zongyi, Liu Shaogang,et al. Kinematics and track amendments of intersecting pipe welding robot[J]. Transactions of the China Welding Institution, 2009, 30(7): 45-48.[4] 崔 鲲, 戴 明, 吴 林, 等. 冗余自由度弧焊机器人路径自主规划的优化控制[J]. 焊接学报, 1998, 19(3): 64-70.Cui Kun, Dai Ming, Wu Lin,et al. Autonomous path planning for arc welding robot with redundant degree of freedom[J]. Transactions of the China Welding Institution, 1998, 19(3): 64-70. -
期刊类型引用(6)
1. 季现亮，张文杰，王玉强，刘勇，田祖织，付拯. 基于机器视觉的带式输送机高精度煤流检测研究. 工矿自动化. 2024(05): 75-83 . 
百度学术
2. 姚江云，王宽田，李旺昆，梁世华. 基于改进T-S模糊模型的弧焊机器人轨迹实时跟踪. 组合机床与自动化加工技术. 2024(09): 147-152 . 百度学术
3. 李玉荣. 物联网工控平台下移动焊接机器人焊缝轨迹跟踪控制方法. 工业控制计算机. 2024(10): 53-55 . 百度学术
4. 陈华斌，肖润泉，陈善本. 焊接机器人视觉感知及智能化焊接关键技术研究进展. 焊接学报. 2024(11): 1-9 . 本站查看
5. 马佳玮，孙菁伯，迟关心，张广军，李鑫磊. 基于立体视觉和YOLO深度学习框架的焊缝识别与机器人路径规划算法. 焊接学报. 2024(11): 45-49 . 本站查看
6. 龚文华，刘钊，王兴东. 基于生成式对抗网络的龙门式焊接机器人双目视觉方法. 信息与控制. 2024(06): 783-792 . 百度学术
其他类型引用(1)
下载:
计量
- 文章访问数: 737
- HTML全文浏览量: 4
- PDF下载量: 205
- 被引次数: 7
