高级检索

结构光视觉辅助焊接的轨迹识别与控制技术

王浩, 赵小辉, 徐龙哲, 蒋豪, 刘宇

王浩, 赵小辉, 徐龙哲, 蒋豪, 刘宇. 结构光视觉辅助焊接的轨迹识别与控制技术[J]. 焊接学报, 2023, 44(6): 50-57. DOI: 10.12073/j.hjxb.20220715002
引用本文: 王浩, 赵小辉, 徐龙哲, 蒋豪, 刘宇. 结构光视觉辅助焊接的轨迹识别与控制技术[J]. 焊接学报, 2023, 44(6): 50-57. DOI: 10.12073/j.hjxb.20220715002
WANG Hao, ZHAO Xiaohui, XU Longzhe, JIANG Hao, LIU Yu. Research on trajectory recognition and control technology of structured light vision-assisted welding[J]. TRANSACTIONS OF THE CHINA WELDING INSTITUTION, 2023, 44(6): 50-57. DOI: 10.12073/j.hjxb.20220715002
Citation: WANG Hao, ZHAO Xiaohui, XU Longzhe, JIANG Hao, LIU Yu. Research on trajectory recognition and control technology of structured light vision-assisted welding[J]. TRANSACTIONS OF THE CHINA WELDING INSTITUTION, 2023, 44(6): 50-57. DOI: 10.12073/j.hjxb.20220715002

结构光视觉辅助焊接的轨迹识别与控制技术

基金项目: 国家自然科学基金(52275338);吉林省科技厅重点科技研究与发展项目(20210201056GX)
详细信息
    作者简介:

    王浩,1997年出生,硕士研究生;主要研究方向为机器视觉、焊接轨迹识别与控制;Email: hwang22@mails.jlu.edu.cn

    通讯作者:

    赵小辉,教授;主要研究方向为智能焊接与检测;Email: zhaoxiaohui@jlu.edu.cn

  • 中图分类号: TG 409

Research on trajectory recognition and control technology of structured light vision-assisted welding

  • 摘要: 对激光多点寻位、焊前轨迹拟合、焊缝实时跟踪的3种结构光视觉辅助焊接的轨迹识别与控制技术进行了研究.提出了适用于上述三者的以CNN模型、自适应特征提取算法、先验模型、坐标矩阵转换为核心的焊接轨迹识别流程.提出了分别对应上述三者的焊接轨迹控制模型:示教轨迹修正模型、焊前轨迹拟合模型、焊缝跟踪实时纠偏模型. 结果表明,激光多点寻位、焊前轨迹拟合模式焊接时,能够在焊前高效地识别出焊接轨迹曲线,焊接轨迹与焊缝中心线基本重合;焊缝实时跟踪模式焊接时,系统能够实时矫正焊枪的偏差.文中提到的焊接轨迹识别流程与轨迹控制模型足以保证结构光视觉辅助焊接的稳定运行.
    Abstract: Three trajectory recognition and control techniques for laser multi-point positioning, pre-welding trajectory fitting, and seam real-time tracking for structured light vision-assisted welding are investigated. A CNN model, adaptive feature extraction algorithm, a priori model, and coordinate matrix conversion are proposed as the core of the welding trajectory recognition process for these three. Welding trajectory control models are proposed for each of the above three, which including a taught trajectory correction model, a pre-welding trajectory fitting model, and a real-time deflection correction model for seam tracking. The experiments prove that laser multi-point positioning, pre-welding trajectory fitting model can efficiently identify the weld trajectory curve before welding, and the welding trajectory basically coincides with the centerline of the seam; when welding in the real-time seam tracking model, the real-time deviation is mainly controlled within ± 0.2 mm, with an average deviation of 0.1160 mm. The results show that the welding trajectory identification process and trajectory control model mentioned in this paper are sufficient to ensure stable operation of structured light vision-assisted welding.
  • 示教-再现焊接正向着以“高质量、高效率”为核心的智能化自主化方向快速变革.数据传感必将大规模集成于实际焊接生产中,使焊接机器人具备施焊轨迹自主可控的功能.在焊接轨迹识别传感器中,基于三角成像原理的结构光视觉传感器获取的是焊缝三维坐标信息,能够完成一维、二维、三维的焊接轨迹识别与控制操作,具备柔性高精度焊接能力,是未来发展的重要走向,在焊接工程应用中,结构光视觉辅助焊接的技术模式有3种:激光多点寻位、焊前轨迹拟合与焊缝实时跟踪焊接.

    Zou等人[1-6]对结构光视觉辅助焊接的焊缝跟踪图像处理模块提出了能够准确提取焊缝特征点的创新性算法,比如WLCS、STC、RNN、KCF、SVM、ERFNet等,这些算法保证了实时跟踪焊接的稳定性.但是,激光多点寻位及焊前轨迹拟合的焊接方式却没有受到系统的研究,在某些焊接工程问题上,这两种技术的重要性不可忽略.

    文中将对结构光视觉辅助焊接的轨迹识别与控制技术进行细致的分析,提出了分别对应寻位、拟合、跟踪焊接的轨迹识别流程与轨迹控制模型,探究3种轨迹识别流程与控制模式的执行效果.

    焊接轨迹识别传感器如图1所示,其中结构光视觉辅助焊接的原理为装置于焊枪前端的传感器扫描接头并根据轨迹识别流程获取焊接点,后将其传输到运动控制模型中,进而完成一系列智能化焊接操作,如图2所示. 根据图2,设计的焊接轨迹识别流程如图3所示,其中焊前拟合焊接与实时跟踪焊接的轨迹识别流程类似,但由于实时跟踪焊接过程中存在不可抗拒的、动态的、不规则的电弧、飞溅、金属烟尘等干扰,其需要更高效、更稳定的轨迹识别算法.文中以焊缝实时跟踪的轨迹识别流程展开研究,其获取的相关算法同样适用于寻位、拟合焊接模式.

    图  1  焊接轨迹识别传感器
    Figure  1.  Welding trajectory recognition sensors
    图  2  结构光视觉辅助焊接的原理
    Figure  2.  Principle of welding assisted by structured light vision
    图  3  结构光视觉辅助焊接的轨迹识别流程
    Figure  3.  Trajectory recognition process of welding assisted by structured light vision

    为能够从拍摄的激光条纹中实时跟踪、定位、提取感兴趣区域(ROI),进而提高特征点的提取精度与效率,文中提出了一种卷积神经网络(CNN)模型如图4所示. CNN处理的流程如下.

    图  4  CNN模型示意图
    Figure  4.  Schematic diagram of CNN model

    (1) 原图像尺寸变换为224 × 224.

    (2) 利用3 × 3的卷积核对输入图像进行多次卷积运算,后输出的结果将变为一维向量.

    (3) Softmax层通过处理全连接完成对目标区域的识别和定位.

    研究训练的样本集由4 134幅不同干扰程度的激光图像组成,对472幅实际焊接图像进行目标跟踪测试,模型预测精度约为97%,如图5所示.

    图  5  目标区域识别结果
    Figure  5.  Target area identification results. (a) image ROI extraction results under strong arc splash; (b) image ROI extraction results under weak arc splash

    V形接头的特征点如图6所示,其中Te_c是焊缝中心点,也是焊接轨迹识别的目标点.特征点提取之前需要从ROI内提取到焊缝激光条纹的中心线,图7图8是灰度重心法激光条纹中心线的提取效果.由图7d图8d可以看出,提取的中心线能够准确映射出焊缝的空间坐标信息.此外,以条纹中心线像素的列为自变量,像素的行为因变量,自变量与因变量之间存在一一映射的函数关系.

    图  6  V形焊缝特征点
    Figure  6.  The feature points of V-shaped seam
    图  7  强弧光飞溅下激光条纹中心线提取效果
    Figure  7.  Laser stripe centerline extraction effect under strong arc splash. (a) initial image; (b) otsu threshold segmentation after median filtering; (c) morphological processing; (d) extracting stripe centerline
    图  8  弱弧光飞溅下激光条纹中心线提取效果
    Figure  8.  Laser stripe centerline extraction effect under weak arc splash. (a) initial image; (b) otsu threshold segmentation after median filtering; (c) morphological processing; (d) extracting stripe centerline

    当激光条纹中心线存在跳跃点、孔洞、光点缺失等不连续特征(容易出现在弱电弧飞溅环境中)或凸起、下凹等波动性特征(容易出现在强电弧飞溅环境中)时,以拐点法[7]、斜率分析法、连通区域法[8-9]、霍夫直线检测法[10-12]等为核心的特征点提取方法容易失效.为此本文将提出一种基于行扫描和列扫描的自适应特征提取算法来解决这一问题.自适应特征提取算法的设计思想如图9所示,处理流程如下:

    图  9  自适应特征提取算法
    Figure  9.  Adaptive feature extraction algorithm ..

    (1) 屏蔽激光中心线上空洞缺陷,之后得到待处理的横坐标集$ p\_col $和纵坐标集$ p\_row $.

    (2) 移除跳跃点.如果点($ p\_col\left[a\right] $$ p\_row\left[a\right] $)满足式(1),该点为跳跃点并去除,否则,该点将作为下一个待确定点的比较点.通过式(1),得到新的横坐标集合$ p\_c $,纵坐标集合$ p\_r $.

    $$ \begin{array}{c}\Delta p=\left|p\_row\left[a\right]-p\_row\left[b\right]\right|\\ \Delta p > \left|\left(p\_col\left[a\right]-p\_col\left[b\right]\right)*{k}_{\alpha /2}*\vartheta \right|=pa\end{array} $$ (1)

    式中:$ {k}_{\alpha /2} $$ \vartheta $分别是坡口面斜率与修正系数;($ p\_col\left[b\right] $$ p\_row\left[b\right] $)为($ p\_col\left[a\right] $$ p\_row\left[a\right] $)前最近的非跳跃点;ab是整数,且ab.

    (3) 分别对Ω的前n1与后n4个点进行最小二乘法拟合,获取直线$ v={f}_{1}\left(u\right) $$ v={f}_{4}\left(u\right) $.

    (4) 行扫描将中心线谷底的$ \Delta v $行数据进行隔离.

    (5) 从点($ p\_col\left[{n}_{1}\right] $$ p\_row\left[{n}_{1}\right] $)向谷底扫描,从谷底向点($ p\_col\left[{n-n}_{4}\right] $$ p\_row\left[{n-n}_{4}\right] $)扫描,对满足式(2)的点进行拟合,分别得到直线$ v={f}_{2}\left(u\right) $$ v={f}_{3}\left(u\right) $.

    $$ \frac{\left|a\times p\_c\left[s\right]-p\_r\left[s\right] + b\right|}{\sqrt{{a}^{2} + 1}}=\Delta d > da $$ (2)

    式中:$ da $为10;计算$ {f}_{2} $时,ab分别为$ {f}_{1} $的斜率和截距,计算$ {f}_{3} $时,a和b分别为$ {f}_{4} $的斜率和截距.

    (6) 依据式(3)计算Te_c的坐标值.

    $$ \left\{\begin{array}{l}{u}_{\mathrm{T}\mathrm{e}\_\mathrm{c}}=\dfrac{{u}_{\mathrm{T}\mathrm{e}\_\mathrm{l}} + {u}_{\mathrm{T}\mathrm{e}\_\mathrm{r}}}{4} + \dfrac{{u}_{\mathrm{T}\mathrm{e}\_\mathrm{b}}}{2}\\ {v}_{\mathrm{T}\mathrm{e}\_\mathrm{c}}=\dfrac{{v}_{\mathrm{T}\mathrm{e}\_\mathrm{l}} + {v}_{\mathrm{T}\mathrm{e}\_\mathrm{r}}}{2}\end{array}\right. $$ (3)

    式中:Te_l、Te_r、Te_b坐标由上述直线求交所得.

    自适应特征提取算法的处理效果如图10图11所示,可以看出该算法对电弧飞溅具有较强的抗干扰能力,对不同特性的条纹具备较好的适应性,提取的Te_c能够真实地代表焊缝中心的实际位置;即使激光中心线存在孔洞、凸起、凹点和跳跃点等缺陷或具备波动特性时,该算法也具有较好的特征点提取效果.

    图  10  强弧光飞溅下特征点提取的结果
    Figure  10.  Results of the feature point extraction under strong arc splash
    图  11  弱弧光飞溅下特征点提取的结果
    Figure  11.  Results of the feature point extraction under weak arc splash

    强烈的弧光与飞溅会使激光条纹中心线偏离理论位置,但条纹的角度和宽度在相邻帧中几乎没有变化,即根据上下文信息能够对下一帧图像的噪声进行有效过滤,从而可以实现Te_c点精度的进一步提升.每个条带的坡度和宽度的确定公式被定义为一种先验模型(式(4)),只保留满足该模型的点,先验模型的作用过程如图12图13所示.

    图  12  弱弧光飞溅下先验模型
    Figure  12.  The prior model under weak arc splash
    图  13  强弧光飞溅下先验模型
    Figure  13.  The prior model under strong arc splash
    $$ {\rm{Stripe}}\;i:\left\{\begin{array}{l}width=\left[{y}_{min}\;\;{y}_{max}\right]\\ \theta =\left[{\theta }_{min}\;\;{\theta }_{max}\right]\end{array}\right\} $$ (4)

    式中:$ i $是条纹图像的帧序;$ width $为条纹的宽度范围;$ \theta $为条纹的角度范围.得出强弧光飞溅和弱弧光飞溅下的公式为

    $$ {\rm{Stripe}}\;i:\left\{\begin{array}{l} { Width }=\left[f\left(x_{i-1}\right)-20 \quad f\left(x_{i-1}\right)+20\right] \\ \theta=\left\lceil\theta_{i-1}-4 \quad \theta_{i-1}+4\right\rceil \end{array}\right\} $$ (5)
    $$ {\rm{Stripe}}\;i:\left\{\begin{array}{l} { Width }=\left[f\left(x_{i-1}\right)-45 \quad f\left(x_{i-1}\right)+45\right] \\ \theta=\left[\theta_{i-1}-4 \quad \theta_{i-1}+4\right] \end{array} \right\}$$ (6)

    根据每段连通区域的中心线角度和前一帧条纹中心线方程,利用先验模型的角度准则和宽度准则将主条纹信息从背景噪声中分离出来.提高Te_c精度的效果. 如图14图15所示,先验模型克服了强电弧飞溅的干扰,促使激光条纹中心线更位于理想位置,更具备实际姿态,在像素级别内进一步降低了中心点提取的误差.

    图  14  弱弧光飞溅下提高Te_c精度的效果
    Figure  14.  The effect of improving the accuracy of the Te_c under weak arc splash
    图  15  强弧光飞溅下提高Te_c精度的效果
    Figure  15.  The effect of improving the accuracy of the Te_c under strong arc splash

    坐标矩阵转换:将图像拍摄的像素坐标(u, v)转换为机器人可以识别的基坐标系下的三维坐标(XB, YB, ZB),具体为像素坐标系OpXpYp、图像坐标系OIXIYI、相机坐标系OCXCYCZC、机器人末端坐标系OHXHYHZH、机器人基坐标系OBXBYBZB之间的转化,主要涉及相机内外参标定、光平面标定及手眼标定.

    OpXpYpOCXCYCZC之间的转换公式为

    $$ \left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]=\dfrac{1}{Z_c}\left[\begin{array}{ccc} \dfrac{1}{d X_I} & 0 & u_0 \\ 0 & \dfrac{1}{d Y_I} & v_0 \\ 0 & 0 & \dfrac{1}{d Z_I} \end{array}\right]\left[\begin{array}{llll} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{c} X_C \\ Y_C \\ Z_C \\ 1 \end{array}\right] $$ (7)

    式中:$ \dfrac{1}{{dX}_{I}} $$ \dfrac{1}{{dY}_{I}} $$ {u}_{0} $$ {v}_{0} $$ f $由相机标定获取;且$ {Z}_{c}=c + a\times{X}_{C} + b\times{Y}_{C} $cab由光平面标定获取.

    OCXCYCZCOBXBYBZB之间的转换公式为

    $$ \left[\begin{array}{c}{X}_{B}\\ {Y}_{B}\\ {Z}_{B}\\ 1\end{array}\right]=\left[\begin{array}{c}R\quad T\\ 0\quad1\end{array}\right]{X}_{S}\left[\begin{array}{c}{X}_{C}\\ {Y}_{C}\\ {Z}_{C}\\ 1\end{array}\right] $$ (8)

    式中:$ {{\boldsymbol{X}}}_{S} $为手眼变换矩阵,由手眼标定获取;RT的公式为

    $$ {\boldsymbol{R}}={R}_{1}\cdot {R}_{2}\cdot {R}_{3} $$ (9)
    $$ \boldsymbol{T}={\left[X\quad Y\quad Z\quad 1\right]}^{T} $$ (10)
    $$ {{\boldsymbol{R}}}_{1}=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\begin{array}{c}0\\ \mathrm{cos}{R}_{X}\\ \mathrm{sin}{R}_{X}\end{array}\begin{array}{c}0\\ -\mathrm{sin}{R}_{X}\\ \mathrm{cos}{R}_{X}\end{array}\right] $$ (11)
    $$ {{\boldsymbol{R}}}_{2}=\left[\begin{array}{c}\mathrm{cos}{R}_{Y}\\ 0\\ -\mathrm{sin}{R}_{Y}\end{array}\begin{array}{c}0\\ 1\\ 0\end{array}\begin{array}{c}\mathrm{sin}{R}_{Y}\\ 0\\ \mathrm{cos}{R}_{Y}\end{array}\right] $$ (12)
    $$ {{\boldsymbol{R}}}_{3}=\left[\begin{array}{c}\mathrm{cos}{R}_{Z}\\ \mathrm{sin}{R}_{Z}\\ 0\end{array}\begin{array}{c}-\mathrm{sin}{R}_{Z}\\ \mathrm{cos}{R}_{Z}\\ 0\end{array}\begin{array}{c}0\\ 0\\ 1\end{array}\right] $$ (13)

    式中:XYZRXRYRZ是机器人直角坐标系运动的六个参数,由示教器读出.

    将图像处理获取的特征点Te_c的像素坐标(u, v)与机器人实时运动参数(X, Y, Z, RX, RY, RZ)带入式(7)与式(8)中,即可求得焊缝中心点在机器人基坐标系下的三维坐标值.

    大批量生产中,焊缝较多、空间分布复杂、焊缝长度较短的工件难以定位,装卡误差、下料误差、组对误差等导致机器人不能准确识别焊缝的位置,对于上述类型的工件,采用激光多点寻位的焊接轨迹识别与控制方式进行焊接较为适合.

    图16为示教轨迹修正模型,其通过固定的多个传感器拍摄点获取该焊枪位姿下新的寻位点,用新的寻位点代替该焊枪位姿下之前的示教点,修正示教轨迹,进而完成焊接.在该模式下工人只需要进行一次示教焊接轨迹的编辑,后续所有同规格产品的焊接轨迹都是在该示教轨迹的基础上进行修正的.

    图  16  示教轨迹修正模型
    Figure  16.  Teach trajectory correction model

    对于多层多道、深窄间隙、立向上、立向下焊接,焊缝跟踪及激光多点寻位的焊接模式难以高校准稳定地获取施焊轨迹,采用焊前轨迹拟合的焊接方式能够在施焊之前准确获取到待施焊的各层各道轨迹,具备高鲁棒性、高焊接精度等特性.

    图17为焊前轨迹拟合的焊接模型,其利用结构光传感器扫描待焊区域,通过图像处理获取特征点,并转化为基坐标系下的三维坐标,后将这些无数的点通过准均匀三次B样条曲线拟合,获取轨迹曲线,并传输于运动控制系统中进行焊接运动控制.

    图  17  焊前轨迹拟合的焊接模型
    Figure  17.  Welding mode of the pre-welding trajectoryfitting

    实时跟踪焊接模式对于长直线单道焊缝,具备高的焊接精度及高的焊接效率,可适用的焊接场合更广,其在焊接过程中实时获取焊枪的横向偏差与高度偏差,如图18所示,后将偏差传输到如图19所示的PID纠偏控制模型中,进而实现焊接过程中焊枪实时纠偏的功能.

    图  18  焊缝跟踪偏差求取原理
    Figure  18.  The principle of seam tracking deviation
    图  19  焊缝跟踪实时纠偏模型
    Figure  19.  Real-time correction model for seam tracking

    依据图18,焊缝跟踪t时刻的实际偏差e(t)求取公式为

    $$ \mathrm{e}\left(\mathrm{t}\right)={\mathrm{e}}_{1}\left(\mathrm{t}\right)-\left[\mathrm{y}\left(\mathrm{t}\right)-\mathrm{y}\left(\mathrm{t}-\mathrm{\tau }\right)\right] $$ (14)

    对式14进行拉普拉斯变换得到式15,即

    $$ \mathrm{E}\left(s\right)={\mathrm{E}}_{1}\left(\mathrm{s}\right)-\left(1-{e}^{-ts}\right)\mathrm{Y}\left(\mathrm{s}\right) $$ (15)

    依据式(15),设计的焊缝跟踪PID控制结构参见图19所示.其中C(s)为运动控制器传输函数,P(s)为步进电机传递函数.

    为了验证文中提出的轨迹识别流程与轨迹控制模型的准确性,在如图20所示的结构光视觉焊接系统中,以坡口为60°、板厚为5 mm的对接焊缝作为试验对象,如图21所示. MAG焊接的电流和电压分别为120 A和17.3 V,气体流量为15 L/min.焊接速度为15 cm/min,送丝速度为3.2 m/min.

    图  20  结构光视觉焊接系统
    Figure  20.  Structural light visual welding system
    图  21  V形焊缝的对接工件
    Figure  21.  Butt joint workpiece with a V-shaped seam. (a) the butt joint workpiece; (b) the 3D point cloud data of V-shaped seam

    图22为激光多点寻位模式下,3次对同规则工件寻位焊接的结果,其中黑色实线为示教轨迹,蓝色点划线为焊接轨迹,红色点划线为焊缝中心线,可以得出3次寻位获取的真实焊接轨迹与焊缝中心曲线基本重合,证实了激光多点寻位焊接轨迹识别流程与控制模型能够准确在焊前寻位到真实焊接轨迹,其具备良好的施焊精度.

    图  22  激光多点寻位焊接的试验结果
    Figure  22.  The experimental results of the laser multi-point positioning welding

    图23图24为焊前轨迹拟合焊接模式在XYXZ平面内识别的效果. 从图中可以得出,通过示教获取的焊接轨迹并非是实际的焊缝中心线,焊前轨迹拟合模式能够在施焊之前获取真实的焊接轨迹,保证了焊缝横向方向与高度方向的施焊精度,拟合的轨迹呈现二阶连续可导,焊枪运行平稳,焊缝精度较高,其精度能够满足实际生产的需求.

    图  23  XY平面内施焊轨迹
    Figure  23.  Welding trajectory in the XY plane
    图  24  XZ平面内施焊轨迹
    Figure  24.  Welding trajectory in the XZ plane

    实时跟踪轨迹与焊缝中心线的关系如图25所示.示教轨迹的终点偏离焊缝15 mm;跟踪轨迹与接缝中心线基本一致.上述算法可以实时校正焊枪到实际焊缝中心.图26中显示了跟踪轨迹和接缝中心线之间的实时测量误差.在整个焊接过程中,测量的偏差在零点附近震荡,振幅不等.试验结果表明,跟踪焊接的最大误差为−0.233 0 mm,平均误差为0.116 0 mm,这证明了所提出的焊缝跟踪轨迹识别流程与轨迹控制模型总体上具有较高的鲁棒性,能够满足实际焊接的需求.

    图  25  实时跟踪下的焊接轨迹
    Figure  25.  The welding trajectory under real-time tracking
    图  26  实时跟踪精度
    Figure  26.  The real-time tracking accuracy

    (1) 建立了结构光视觉辅助焊接的3种智能化技术模式,即激光多点寻位焊接、焊前轨迹拟合焊接、焊缝实时跟踪焊接;通过以CNN模型、自适应特征提取算法、先验模型、坐标矩阵转换为核心焊接轨迹识别流程能够准确获取待焊点的三维坐标.

    (2) 3种轨迹控制模型(示教轨迹修正模型、焊前轨迹拟合模型、焊缝跟踪实时纠偏模型)制定了各焊接模式的工艺方法,能够稳定高效的完成焊接轨迹的运动控制.

    (3) 试验结果表明,激光寻位能够准确定位焊接点进而修正示教轨迹,焊接轨迹与焊缝中心线重合,具备较高精度焊接的能力;焊前轨迹拟合能够通过准均匀3次B样条曲线拟合出二阶连续可导的焊接轨迹,提高系统运行的稳定性,且能够识别出因坡口成形不良与操作台平面倾斜导致的轨迹偏差,并且拟合出真实的焊接轨迹;焊缝实时跟踪的误差主要控制在± 0.2 mm以内,平均误差为0.116 0 mm,足以保证机器人精确可靠的实时跟踪焊接.

  • 图  1   焊接轨迹识别传感器

    Figure  1.   Welding trajectory recognition sensors

    图  2   结构光视觉辅助焊接的原理

    Figure  2.   Principle of welding assisted by structured light vision

    图  3   结构光视觉辅助焊接的轨迹识别流程

    Figure  3.   Trajectory recognition process of welding assisted by structured light vision

    图  4   CNN模型示意图

    Figure  4.   Schematic diagram of CNN model

    图  5   目标区域识别结果

    Figure  5.   Target area identification results. (a) image ROI extraction results under strong arc splash; (b) image ROI extraction results under weak arc splash

    图  6   V形焊缝特征点

    Figure  6.   The feature points of V-shaped seam

    图  7   强弧光飞溅下激光条纹中心线提取效果

    Figure  7.   Laser stripe centerline extraction effect under strong arc splash. (a) initial image; (b) otsu threshold segmentation after median filtering; (c) morphological processing; (d) extracting stripe centerline

    图  8   弱弧光飞溅下激光条纹中心线提取效果

    Figure  8.   Laser stripe centerline extraction effect under weak arc splash. (a) initial image; (b) otsu threshold segmentation after median filtering; (c) morphological processing; (d) extracting stripe centerline

    图  9   自适应特征提取算法

    Figure  9.   Adaptive feature extraction algorithm ..

    图  10   强弧光飞溅下特征点提取的结果

    Figure  10.   Results of the feature point extraction under strong arc splash

    图  11   弱弧光飞溅下特征点提取的结果

    Figure  11.   Results of the feature point extraction under weak arc splash

    图  12   弱弧光飞溅下先验模型

    Figure  12.   The prior model under weak arc splash

    图  13   强弧光飞溅下先验模型

    Figure  13.   The prior model under strong arc splash

    图  14   弱弧光飞溅下提高Te_c精度的效果

    Figure  14.   The effect of improving the accuracy of the Te_c under weak arc splash

    图  15   强弧光飞溅下提高Te_c精度的效果

    Figure  15.   The effect of improving the accuracy of the Te_c under strong arc splash

    图  16   示教轨迹修正模型

    Figure  16.   Teach trajectory correction model

    图  17   焊前轨迹拟合的焊接模型

    Figure  17.   Welding mode of the pre-welding trajectoryfitting

    图  18   焊缝跟踪偏差求取原理

    Figure  18.   The principle of seam tracking deviation

    图  19   焊缝跟踪实时纠偏模型

    Figure  19.   Real-time correction model for seam tracking

    图  20   结构光视觉焊接系统

    Figure  20.   Structural light visual welding system

    图  21   V形焊缝的对接工件

    Figure  21.   Butt joint workpiece with a V-shaped seam. (a) the butt joint workpiece; (b) the 3D point cloud data of V-shaped seam

    图  22   激光多点寻位焊接的试验结果

    Figure  22.   The experimental results of the laser multi-point positioning welding

    图  23   XY平面内施焊轨迹

    Figure  23.   Welding trajectory in the XY plane

    图  24   XZ平面内施焊轨迹

    Figure  24.   Welding trajectory in the XZ plane

    图  25   实时跟踪下的焊接轨迹

    Figure  25.   The welding trajectory under real-time tracking

    图  26   实时跟踪精度

    Figure  26.   The real-time tracking accuracy

  • [1]

    Zou Y, Li J, Chen X. Seam tracking investigation via striped line laser sensor[J]. Industrial Robot:An International Journal, 2017, 44(5): 609 − 617. doi: 10.1108/IR-11-2016-0294

    [2]

    Zou Y, Chen X, Gong G, et al. A seam tracking system based on a laser vision sensor[J]. Measurement, 2018, 127: 489 − 500. doi: 10.1016/j.measurement.2018.06.020

    [3]

    Zou Y, Zhu M, Chen X. A Robust Detector for Automated Welding Seam Tracking System[J]. Journal of Dynamic Systems, Measurement, and Control, 2021, 143(7): 071001. doi: 10.1115/1.4049547

    [4]

    Zou Y, Wang Y, Zhou W, et al. Real-time seam tracking control system based on line laser visions[J]. Optics & Laser Technology, 2018, 103: 182 − 192.

    [5]

    Zou Y, Chen J, Wei X. Research on a real-time pose estimation method for a seam tracking system[J]. Optics and Lasers in Engineering, 2020, 127: 105947. doi: 10.1016/j.optlaseng.2019.105947

    [6]

    Zhao Z, Luo J, Wang Y, et al. Additive seam tracking technology based on laser vision[J]. The International Journal of Advanced Manufacturing Technology, 2021, 116(1): 197 − 211.

    [7]

    Xiao R, Xu Y, Hou Z, et al. An adaptive feature extraction algorithm for multiple typical seam tracking based on vision sensor in robotic arc welding[J]. Sensors and Actuators A:Physical, 2019, 297: 111533. doi: 10.1016/j.sna.2019.111533

    [8]

    Zhang G, Yun T-J, Oh W-B, et al. A study on seam tracking in robotic GMA welding process[J]. Materials Today:Proceedings, 2020, 22: 1771 − 1777. doi: 10.1016/j.matpr.2020.03.010

    [9]

    Xue B, Chang B, Peng G, et al. A Vision Based Detection Method for Narrow Butt Joints and a Robotic Seam Tracking System[J]. Sensors, 2019, 19(5): 1144. doi: 10.3390/s19051144

    [10]

    Wu Q Q, Lee J P, Park M H, et al. A study on the modified Hough algorithm for image processing in weld seam tracking[J]. Journal of Mechanical Science and Technology, 2015, 29(11): 4859 − 4865. doi: 10.1007/s12206-015-1033-x

    [11]

    Muhammad J, Altun H, Abo-Serie E. A robust butt welding seam finding technique for intelligent robotic welding system using active laser vision[J]. The International Journal of Advanced Manufacturing Technology, 2018, 94(1): 13 − 29.

    [12]

    Fan J, Jing F, Yang L, et al. A precise seam tracking method for narrow butt seams based on structured light vision sensor[J]. Optics & Laser Technology, 2019, 109: 616 − 626.

  • 期刊类型引用(6)

    1. 季现亮,张文杰,王玉强,刘勇,田祖织,付拯. 基于机器视觉的带式输送机高精度煤流检测研究. 工矿自动化. 2024(05): 75-83 . 百度学术
    2. 姚江云,王宽田,李旺昆,梁世华. 基于改进T-S模糊模型的弧焊机器人轨迹实时跟踪. 组合机床与自动化加工技术. 2024(09): 147-152 . 百度学术
    3. 李玉荣. 物联网工控平台下移动焊接机器人焊缝轨迹跟踪控制方法. 工业控制计算机. 2024(10): 53-55 . 百度学术
    4. 陈华斌,肖润泉,陈善本. 焊接机器人视觉感知及智能化焊接关键技术研究进展. 焊接学报. 2024(11): 1-9 . 本站查看
    5. 马佳玮,孙菁伯,迟关心,张广军,李鑫磊. 基于立体视觉和YOLO深度学习框架的焊缝识别与机器人路径规划算法. 焊接学报. 2024(11): 45-49 . 本站查看
    6. 龚文华,刘钊,王兴东. 基于生成式对抗网络的龙门式焊接机器人双目视觉方法. 信息与控制. 2024(06): 783-792 . 百度学术

    其他类型引用(1)

图(26)
计量
  • 文章访问数:  355
  • HTML全文浏览量:  62
  • PDF下载量:  103
  • 被引次数: 7
出版历程
  • 收稿日期:  2022-07-14
  • 网络出版日期:  2023-05-14
  • 刊出日期:  2023-06-24

目录

/

返回文章
返回