Molten pool contour extraction method based on edge oriented operator template matching
-
摘要: 轮廓提取作为熔池的基本视觉形态特征，在焊接质量在线监测中起着重要作用. 文中建立了非熔化极惰性气体保护电弧焊(tungsten Inert gas welding, TIG)焊接工艺环境下的熔池视觉传感系统，采集了高质量的熔池图像. 针对TIG焊不锈钢熔池图像中弱边缘检测的难点提出了一种基于边缘导向算子模板匹配的熔池轮廓提取算法(operator template matching based on edge direction guidance, OTM-EDG)，算法中首先基于非线性灰度变换方法增强弱边缘. 之后利用4个方向的Sobel算子与熔池图像进行卷积操作来判断后端弱边缘的方向并计算梯度图. 最后对梯度图进行边缘连接操作以及基于数学形态学的边缘平滑操作，得到需要提取的熔池轮廓. 结果表明，文中算法能够提取到封闭完整且定位准确的TIG焊不锈钢熔池轮廓. 在实际焊接环境中具有较高的鲁棒性，有效解决了熔池区域弱边缘难以准确检测的问题.Abstract: As the basic visual morphological feature of molten pool, contour extraction plays an important role in on-line monitoring of welding quality. A molten pool visual sensing system under the environment of tungsten inert gas welding (TIG) welding process is established, and high-quality molten pool images are collected. Aiming at the difficulty of weak edge detection in TIG welding stainless steel molten pool image, a molten pool contour extraction algorithm based on operator template matching based on edge direction guidance (OTM-EDG) is proposed. Firstly, the algorithm enhances the weak edge based on the nonlinear gray transformation method. Then, the Sobel operator in four directions is used to convolute with the molten pool image to judge the direction of the back-end weak edge and calculate the gradient map. Finally, the edge connection operation and edge smoothing operation based on mathematical morphology are carried out on the gradient map to obtain the molten pool contour to be extracted. Experiments show that the algorithm can extract the closed, complete and accurate molten pool contour of TIG welding stainless steel. It has high robustness in the actual welding environment, and effectively solves the problem that the weak edge of the molten pool area is difficult to accurately detect.
-
0. 序言
示教-再现焊接正向着以“高质量、高效率”为核心的智能化自主化方向快速变革.数据传感必将大规模集成于实际焊接生产中，使焊接机器人具备施焊轨迹自主可控的功能.在焊接轨迹识别传感器中，基于三角成像原理的结构光视觉传感器获取的是焊缝三维坐标信息，能够完成一维、二维、三维的焊接轨迹识别与控制操作，具备柔性高精度焊接能力，是未来发展的重要走向，在焊接工程应用中，结构光视觉辅助焊接的技术模式有3种：激光多点寻位、焊前轨迹拟合与焊缝实时跟踪焊接.
Zou等人[1-6]对结构光视觉辅助焊接的焊缝跟踪图像处理模块提出了能够准确提取焊缝特征点的创新性算法，比如WLCS、STC、RNN、KCF、SVM、ERFNet等，这些算法保证了实时跟踪焊接的稳定性.但是，激光多点寻位及焊前轨迹拟合的焊接方式却没有受到系统的研究，在某些焊接工程问题上，这两种技术的重要性不可忽略.
文中将对结构光视觉辅助焊接的轨迹识别与控制技术进行细致的分析，提出了分别对应寻位、拟合、跟踪焊接的轨迹识别流程与轨迹控制模型，探究3种轨迹识别流程与控制模式的执行效果.
1. 轨迹识别流程
焊接轨迹识别传感器如图1所示，其中结构光视觉辅助焊接的原理为装置于焊枪前端的传感器扫描接头并根据轨迹识别流程获取焊接点，后将其传输到运动控制模型中，进而完成一系列智能化焊接操作，如图2所示. 根据图2，设计的焊接轨迹识别流程如图3所示，其中焊前拟合焊接与实时跟踪焊接的轨迹识别流程类似，但由于实时跟踪焊接过程中存在不可抗拒的、动态的、不规则的电弧、飞溅、金属烟尘等干扰，其需要更高效、更稳定的轨迹识别算法.文中以焊缝实时跟踪的轨迹识别流程展开研究，其获取的相关算法同样适用于寻位、拟合焊接模式.
![]()
图 3 结构光视觉辅助焊接的轨迹识别流程Figure 3. Trajectory recognition process of welding assisted by structured light vision1.1 CNN模型
为能够从拍摄的激光条纹中实时跟踪、定位、提取感兴趣区域(ROI)，进而提高特征点的提取精度与效率，文中提出了一种卷积神经网络(CNN)模型如图4所示. CNN处理的流程如下.
(1) 原图像尺寸变换为224 × 224.
(2) 利用3 × 3的卷积核对输入图像进行多次卷积运算，后输出的结果将变为一维向量.
(3) Softmax层通过处理全连接完成对目标区域的识别和定位.
研究训练的样本集由4 134幅不同干扰程度的激光图像组成，对472幅实际焊接图像进行目标跟踪测试，模型预测精度约为97%，如图5所示.
![]()
图 5 目标区域识别结果Figure 5. Target area identification results. (a) image ROI extraction results under strong arc splash; (b) image ROI extraction results under weak arc splash1.2 自适应特征点提取
V形接头的特征点如图6所示，其中Te_c是焊缝中心点，也是焊接轨迹识别的目标点.特征点提取之前需要从ROI内提取到焊缝激光条纹的中心线，图7和图8是灰度重心法激光条纹中心线的提取效果.由图7d与图8d可以看出，提取的中心线能够准确映射出焊缝的空间坐标信息.此外，以条纹中心线像素的列为自变量，像素的行为因变量，自变量与因变量之间存在一一映射的函数关系.
![]()
图 7 强弧光飞溅下激光条纹中心线提取效果Figure 7. Laser stripe centerline extraction effect under strong arc splash. (a) initial image; (b) otsu threshold segmentation after median filtering; (c) morphological processing; (d) extracting stripe centerline![]()
图 8 弱弧光飞溅下激光条纹中心线提取效果Figure 8. Laser stripe centerline extraction effect under weak arc splash. (a) initial image; (b) otsu threshold segmentation after median filtering; (c) morphological processing; (d) extracting stripe centerline当激光条纹中心线存在跳跃点、孔洞、光点缺失等不连续特征(容易出现在弱电弧飞溅环境中)或凸起、下凹等波动性特征(容易出现在强电弧飞溅环境中)时，以拐点法[7]、斜率分析法、连通区域法[8-9]、霍夫直线检测法[10-12]等为核心的特征点提取方法容易失效.为此本文将提出一种基于行扫描和列扫描的自适应特征提取算法来解决这一问题.自适应特征提取算法的设计思想如图9所示，处理流程如下：
(1) 屏蔽激光中心线上空洞缺陷，之后得到待处理的横坐标集
$ p\_col $ 和纵坐标集$ p\_row $ .(2) 移除跳跃点.如果点(
$ p\_col\left[a\right] $ ，$ p\_row\left[a\right] $ )满足式(1)，该点为跳跃点并去除，否则，该点将作为下一个待确定点的比较点.通过式(1)，得到新的横坐标集合$ p\_c $ ，纵坐标集合$ p\_r $ .$$ \begin{array}{c}\Delta p=\left|p\_row\left[a\right]-p\_row\left[b\right]\right|\\ \Delta p > \left|\left(p\_col\left[a\right]-p\_col\left[b\right]\right)*{k}_{\alpha /2}*\vartheta \right|=pa\end{array} $$ (1) 式中：
$ {k}_{\alpha /2} $ 与$ \vartheta $ 分别是坡口面斜率与修正系数；($ p\_col\left[b\right] $ ，$ p\_row\left[b\right] $ )为($ p\_col\left[a\right] $ ，$ p\_row\left[a\right] $ )前最近的非跳跃点；a与b是整数，且a＞b.(3) 分别对Ω的前n1与后n4个点进行最小二乘法拟合，获取直线
$ v={f}_{1}\left(u\right) $ 与$ v={f}_{4}\left(u\right) $ .(4) 行扫描将中心线谷底的
$ \Delta v $ 行数据进行隔离.(5) 从点(
$ p\_col\left[{n}_{1}\right] $ ，$ p\_row\left[{n}_{1}\right] $ )向谷底扫描，从谷底向点($ p\_col\left[{n-n}_{4}\right] $ ，$ p\_row\left[{n-n}_{4}\right] $ )扫描，对满足式(2)的点进行拟合，分别得到直线$ v={f}_{2}\left(u\right) $ 与$ v={f}_{3}\left(u\right) $ .$$ \frac{\left|a\times p\_c\left[s\right]-p\_r\left[s\right] + b\right|}{\sqrt{{a}^{2} + 1}}=\Delta d > da $$ (2) 式中：
$ da $ 为10；计算$ {f}_{2} $ 时，a和b分别为$ {f}_{1} $ 的斜率和截距，计算$ {f}_{3} $ 时，a和b分别为$ {f}_{4} $ 的斜率和截距.(6) 依据式(3)计算Te_c的坐标值.
$$ \left\{\begin{array}{l}{u}_{\mathrm{T}\mathrm{e}\_\mathrm{c}}=\dfrac{{u}_{\mathrm{T}\mathrm{e}\_\mathrm{l}} + {u}_{\mathrm{T}\mathrm{e}\_\mathrm{r}}}{4} + \dfrac{{u}_{\mathrm{T}\mathrm{e}\_\mathrm{b}}}{2}\\ {v}_{\mathrm{T}\mathrm{e}\_\mathrm{c}}=\dfrac{{v}_{\mathrm{T}\mathrm{e}\_\mathrm{l}} + {v}_{\mathrm{T}\mathrm{e}\_\mathrm{r}}}{2}\end{array}\right. $$ (3) 式中：Te_l、Te_r、Te_b坐标由上述直线求交所得.
自适应特征提取算法的处理效果如图10和图11所示，可以看出该算法对电弧飞溅具有较强的抗干扰能力，对不同特性的条纹具备较好的适应性，提取的Te_c能够真实地代表焊缝中心的实际位置；即使激光中心线存在孔洞、凸起、凹点和跳跃点等缺陷或具备波动特性时，该算法也具有较好的特征点提取效果.
![]()
图 10 强弧光飞溅下特征点提取的结果Figure 10. Results of the feature point extraction under strong arc splash![]()
图 11 弱弧光飞溅下特征点提取的结果Figure 11. Results of the feature point extraction under weak arc splash1.3 先验模型
强烈的弧光与飞溅会使激光条纹中心线偏离理论位置，但条纹的角度和宽度在相邻帧中几乎没有变化，即根据上下文信息能够对下一帧图像的噪声进行有效过滤，从而可以实现Te_c点精度的进一步提升.每个条带的坡度和宽度的确定公式被定义为一种先验模型(式(4))，只保留满足该模型的点，先验模型的作用过程如图12和图13所示.
$$ {\rm{Stripe}}\;i:\left\{\begin{array}{l}width=\left[{y}_{min}\;\;{y}_{max}\right]\\ \theta =\left[{\theta }_{min}\;\;{\theta }_{max}\right]\end{array}\right\} $$ (4) 式中：
$ i $ 是条纹图像的帧序；$ width $ 为条纹的宽度范围；$ \theta $ 为条纹的角度范围.得出强弧光飞溅和弱弧光飞溅下的公式为$$ {\rm{Stripe}}\;i:\left\{\begin{array}{l} { Width }=\left[f\left(x_{i-1}\right)-20 \quad f\left(x_{i-1}\right)+20\right] \\ \theta=\left\lceil\theta_{i-1}-4 \quad \theta_{i-1}+4\right\rceil \end{array}\right\} $$ (5) $$ {\rm{Stripe}}\;i:\left\{\begin{array}{l} { Width }=\left[f\left(x_{i-1}\right)-45 \quad f\left(x_{i-1}\right)+45\right] \\ \theta=\left[\theta_{i-1}-4 \quad \theta_{i-1}+4\right] \end{array} \right\}$$ (6) 根据每段连通区域的中心线角度和前一帧条纹中心线方程，利用先验模型的角度准则和宽度准则将主条纹信息从背景噪声中分离出来.提高Te_c精度的效果. 如图14和图15所示，先验模型克服了强电弧飞溅的干扰，促使激光条纹中心线更位于理想位置，更具备实际姿态，在像素级别内进一步降低了中心点提取的误差.
![]()
图 14 弱弧光飞溅下提高Te_c精度的效果Figure 14. The effect of improving the accuracy of the Te_c under weak arc splash![]()
图 15 强弧光飞溅下提高Te_c精度的效果Figure 15. The effect of improving the accuracy of the Te_c under strong arc splash1.4 坐标矩阵转换
坐标矩阵转换：将图像拍摄的像素坐标(u, v)转换为机器人可以识别的基坐标系下的三维坐标(XB, YB, ZB)，具体为像素坐标系OpXpYp、图像坐标系OIXIYI、相机坐标系OCXCYCZC、机器人末端坐标系OHXHYHZH、机器人基坐标系OBXBYBZB之间的转化，主要涉及相机内外参标定、光平面标定及手眼标定.
OpXpYp与OCXCYCZC之间的转换公式为
$$ \left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]=\dfrac{1}{Z_c}\left[\begin{array}{ccc} \dfrac{1}{d X_I} & 0 & u_0 \\ 0 & \dfrac{1}{d Y_I} & v_0 \\ 0 & 0 & \dfrac{1}{d Z_I} \end{array}\right]\left[\begin{array}{llll} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{c} X_C \\ Y_C \\ Z_C \\ 1 \end{array}\right] $$ (7) 式中：
$ \dfrac{1}{{dX}_{I}} $ ，$ \dfrac{1}{{dY}_{I}} $ ，$ {u}_{0} $ ，$ {v}_{0} $ ，$ f $ 由相机标定获取；且$ {Z}_{c}=c + a\times{X}_{C} + b\times{Y}_{C} $ ；c，a，b由光平面标定获取.OCXCYCZC与OBXBYBZB之间的转换公式为
$$ \left[\begin{array}{c}{X}_{B}\\ {Y}_{B}\\ {Z}_{B}\\ 1\end{array}\right]=\left[\begin{array}{c}R\quad T\\ 0\quad1\end{array}\right]{X}_{S}\left[\begin{array}{c}{X}_{C}\\ {Y}_{C}\\ {Z}_{C}\\ 1\end{array}\right] $$ (8) 式中：
$ {{\boldsymbol{X}}}_{S} $ 为手眼变换矩阵，由手眼标定获取；R与T的公式为$$ {\boldsymbol{R}}={R}_{1}\cdot {R}_{2}\cdot {R}_{3} $$ (9) $$ \boldsymbol{T}={\left[X\quad Y\quad Z\quad 1\right]}^{T} $$ (10) $$ {{\boldsymbol{R}}}_{1}=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\begin{array}{c}0\\ \mathrm{cos}{R}_{X}\\ \mathrm{sin}{R}_{X}\end{array}\begin{array}{c}0\\ -\mathrm{sin}{R}_{X}\\ \mathrm{cos}{R}_{X}\end{array}\right] $$ (11) $$ {{\boldsymbol{R}}}_{2}=\left[\begin{array}{c}\mathrm{cos}{R}_{Y}\\ 0\\ -\mathrm{sin}{R}_{Y}\end{array}\begin{array}{c}0\\ 1\\ 0\end{array}\begin{array}{c}\mathrm{sin}{R}_{Y}\\ 0\\ \mathrm{cos}{R}_{Y}\end{array}\right] $$ (12) $$ {{\boldsymbol{R}}}_{3}=\left[\begin{array}{c}\mathrm{cos}{R}_{Z}\\ \mathrm{sin}{R}_{Z}\\ 0\end{array}\begin{array}{c}-\mathrm{sin}{R}_{Z}\\ \mathrm{cos}{R}_{Z}\\ 0\end{array}\begin{array}{c}0\\ 0\\ 1\end{array}\right] $$ (13) 式中：X，Y，Z，RX，RY，RZ是机器人直角坐标系运动的六个参数，由示教器读出.
将图像处理获取的特征点Te_c的像素坐标(u, v)与机器人实时运动参数(X, Y, Z, RX, RY, RZ)带入式(7)与式(8)中，即可求得焊缝中心点在机器人基坐标系下的三维坐标值.
2. 轨迹控制模型
2.1 示教轨迹修正模型
大批量生产中，焊缝较多、空间分布复杂、焊缝长度较短的工件难以定位，装卡误差、下料误差、组对误差等导致机器人不能准确识别焊缝的位置，对于上述类型的工件，采用激光多点寻位的焊接轨迹识别与控制方式进行焊接较为适合.
图16为示教轨迹修正模型，其通过固定的多个传感器拍摄点获取该焊枪位姿下新的寻位点，用新的寻位点代替该焊枪位姿下之前的示教点，修正示教轨迹，进而完成焊接.在该模式下工人只需要进行一次示教焊接轨迹的编辑，后续所有同规格产品的焊接轨迹都是在该示教轨迹的基础上进行修正的.
2.2 焊前轨迹拟合模型
对于多层多道、深窄间隙、立向上、立向下焊接，焊缝跟踪及激光多点寻位的焊接模式难以高校准稳定地获取施焊轨迹，采用焊前轨迹拟合的焊接方式能够在施焊之前准确获取到待施焊的各层各道轨迹，具备高鲁棒性、高焊接精度等特性.
图17为焊前轨迹拟合的焊接模型，其利用结构光传感器扫描待焊区域，通过图像处理获取特征点，并转化为基坐标系下的三维坐标，后将这些无数的点通过准均匀三次B样条曲线拟合，获取轨迹曲线，并传输于运动控制系统中进行焊接运动控制.
2.3 焊缝跟踪实时纠偏模型
实时跟踪焊接模式对于长直线单道焊缝，具备高的焊接精度及高的焊接效率，可适用的焊接场合更广，其在焊接过程中实时获取焊枪的横向偏差与高度偏差，如图18所示，后将偏差传输到如图19所示的PID纠偏控制模型中，进而实现焊接过程中焊枪实时纠偏的功能.
依据图18，焊缝跟踪t时刻的实际偏差e(t)求取公式为
$$ \mathrm{e}\left(\mathrm{t}\right)={\mathrm{e}}_{1}\left(\mathrm{t}\right)-\left[\mathrm{y}\left(\mathrm{t}\right)-\mathrm{y}\left(\mathrm{t}-\mathrm{\tau }\right)\right] $$ (14) 对式14进行拉普拉斯变换得到式15，即
$$ \mathrm{E}\left(s\right)={\mathrm{E}}_{1}\left(\mathrm{s}\right)-\left(1-{e}^{-ts}\right)\mathrm{Y}\left(\mathrm{s}\right) $$ (15) 依据式(15)，设计的焊缝跟踪PID控制结构参见图19所示.其中C(s)为运动控制器传输函数，P(s)为步进电机传递函数.
3. 试验结果
3.1 结构光视觉焊接系统
为了验证文中提出的轨迹识别流程与轨迹控制模型的准确性，在如图20所示的结构光视觉焊接系统中，以坡口为60°、板厚为5 mm的对接焊缝作为试验对象，如图21所示. MAG焊接的电流和电压分别为120 A和17.3 V，气体流量为15 L/min.焊接速度为15 cm/min，送丝速度为3.2 m/min.
![]()
图 21 V形焊缝的对接工件Figure 21. Butt joint workpiece with a V-shaped seam. (a) the butt joint workpiece; (b) the 3D point cloud data of V-shaped seam3.2 激光多点寻位焊接测试
图22为激光多点寻位模式下，3次对同规则工件寻位焊接的结果，其中黑色实线为示教轨迹，蓝色点划线为焊接轨迹，红色点划线为焊缝中心线，可以得出3次寻位获取的真实焊接轨迹与焊缝中心曲线基本重合，证实了激光多点寻位焊接轨迹识别流程与控制模型能够准确在焊前寻位到真实焊接轨迹，其具备良好的施焊精度.
![]()
图 22 激光多点寻位焊接的试验结果Figure 22. The experimental results of the laser multi-point positioning welding3.3 焊前轨迹拟合焊接测试
图23与图24为焊前轨迹拟合焊接模式在XY与XZ平面内识别的效果. 从图中可以得出，通过示教获取的焊接轨迹并非是实际的焊缝中心线，焊前轨迹拟合模式能够在施焊之前获取真实的焊接轨迹，保证了焊缝横向方向与高度方向的施焊精度，拟合的轨迹呈现二阶连续可导，焊枪运行平稳，焊缝精度较高，其精度能够满足实际生产的需求.
3.4 焊缝实时跟踪焊接测试
实时跟踪轨迹与焊缝中心线的关系如图25所示.示教轨迹的终点偏离焊缝15 mm；跟踪轨迹与接缝中心线基本一致.上述算法可以实时校正焊枪到实际焊缝中心.图26中显示了跟踪轨迹和接缝中心线之间的实时测量误差.在整个焊接过程中，测量的偏差在零点附近震荡，振幅不等.试验结果表明，跟踪焊接的最大误差为−0.233 0 mm，平均误差为0.116 0 mm，这证明了所提出的焊缝跟踪轨迹识别流程与轨迹控制模型总体上具有较高的鲁棒性，能够满足实际焊接的需求.
4. 结论
(1) 建立了结构光视觉辅助焊接的3种智能化技术模式，即激光多点寻位焊接、焊前轨迹拟合焊接、焊缝实时跟踪焊接；通过以CNN模型、自适应特征提取算法、先验模型、坐标矩阵转换为核心焊接轨迹识别流程能够准确获取待焊点的三维坐标.
(2) 3种轨迹控制模型(示教轨迹修正模型、焊前轨迹拟合模型、焊缝跟踪实时纠偏模型)制定了各焊接模式的工艺方法，能够稳定高效的完成焊接轨迹的运动控制.
(3) 试验结果表明，激光寻位能够准确定位焊接点进而修正示教轨迹，焊接轨迹与焊缝中心线重合，具备较高精度焊接的能力；焊前轨迹拟合能够通过准均匀3次B样条曲线拟合出二阶连续可导的焊接轨迹，提高系统运行的稳定性，且能够识别出因坡口成形不良与操作台平面倾斜导致的轨迹偏差，并且拟合出真实的焊接轨迹；焊缝实时跟踪的误差主要控制在± 0.2 mm以内，平均误差为0.116 0 mm，足以保证机器人精确可靠的实时跟踪焊接.
-
![]()
图 1 熔池视觉传感系统示意图
Figure 1. Schematic of visual sensing system of molten pool. (a) device diagram; (b) schematic diagram
![]()
图 3 Canny算子在TIG不锈钢熔池图像上的检测效果图
Figure 3. Detection effect of Canny operator on TIG stainless steel molten pool images. (a) original image; (b) Canny edge detection graph (c) superposition of Canny detection result and original image
![]()
图 5 弱边缘区域经过增强之后的灰度分布示意图
Figure 5. Gray distribution of the weak edge region after enhancement
![]()
图 6 熔池表面亮度饱和区域形成的伪边缘示意图
Figure 6. Schematic of fake edge formed in the brightness saturation region of the molten pool surface. (a) brightness saturation region in molten pool image; (b) interference edge caused by brightness saturation area
![]()
图 7 预处理之后的熔池图像
Figure 7. Molten pool image after preprocessing. (a) original image; (b) preprocessed image
![]()
图 8 扩展后的Sobel算子模板示意图
Figure 8. Schematic of Sobel operator template after expansion. (a) horizontal direction; (b) 45° direction; (c) vertical direction; (d) 135° direction
![]()
图 9 4个方向上的Sobel算子模板卷积梯度图
Figure 9. Gradient image of four direction Sobel operator template. (a) original image; (b) horizontal direction; (c) 45° direction; (d) vertical direction; (e) 135° direction
![]()
图 10 基于边缘方向算子模板匹配的梯度图
Figure 10. Gradient image based on edge direction operator template matching. (a) original image; (b) gradient amplitude grayscale; (c) gradient amplitude binary diagram
![]()
图 12 基于梯度幅值与方向的边缘连接效果图
Figure 12. Schematic of edge connection based on gradient and direction. (a) original gradient binary graph; (b) edge connection effect image
![]()
图 13 干扰边缘去除示意图
Figure 13. Schematic of interference edge removal. (a) original image; (b) result image
![]()
图 14 熔池区域连通域获取流程示意图
Figure 14. Schematic of obtaining region of molten pool area. (a) original image; (b) fill effect image; (c) difference effect image; (d) reserved maximum connected domain
![]()
图 15 连通域的轮廓提取示意图
Figure 15. Schematic of contour extraction. (a) original image; (b) smoothing effect image; (c) contour edge of connected domain; (d) effect of superimposing the contour on the molten pool image
![]()
图 17 多种算法效果对比图
Figure 17. Comparison of effects of various algorithms. (a) Otsu threshold method; (b) CV active contour method; (c) Canny method; (d) OTM-EDG method
![]()
图 18 连续帧图像测试结果示意图
Figure 18. Schematic of continuous frame images test results. (a) the first frame; (b) the second frame; (c) the third frame; (d) the fourth frame; (e) the fifth frame
表 1 焊接工艺参数
Table 1 Welding process parameters
焊丝ER316L直径
d/mm送丝速度
vs/(mm·s−1)氩气流量
Q/( L·min−1)焊接电流
I/A钨极直径
D/mm曝光时间
t/μs1.2 7 25 110 ~ 160 5.0 2 
下载: 导出CSV
表 2 测试过程耗时
Table 2 Test process time
方法 帧率f/fps Otsu阈值法 12.6 CV主动轮廓算法 8.3 Canny算法 16.1 OTM-EDG 15.7
下载: 导出CSV
-
[1] 潘龙威, 董红刚. 焊接增材制造研究新进展[J]. 焊接, 2016(4): 27 − 32. doi: 10.3969/j.issn.1001-1382.2016.04.007 Pan Longwei, Dong Honggang. New progress in welding additive manufacturing[J]. Welding & Joining, 2016(4): 27 − 32. doi: 10.3969/j.issn.1001-1382.2016.04.007
[2] 宫建锋, 李慧知, 李俐群, 等. 基于同轴图像传感的激光焊接过程质量监测技术[J]. 焊接学报, 2019, 40(1): 37 − 42. Gong Jianfeng, Li Huizhi, Li Liqun, et al. Quality monitoring technology of laser welding process based on coaxial image sensing[J]. Transactions of the China Welding Institution, 2019, 40(1): 37 − 42.
[3] 郭枭, 何鹏, 徐锴, 等. 一种核电用镍基合金焊丝熔敷金属的组织与性能[J]. 焊接学报, 2020, 41(4): 26 − 30. Guo Xiao, He Peng, Xu Kai, et al. Microstructure and mechanical properties of deposited metal for nuclear plant nickel alloy welding wire[J]. Transactions of the China Welding Institution, 2020, 41(4): 26 − 30.
[4] 郑睿. 基于计算机视觉的激光焊接在线监测系统设计[D]. 武汉: 华中科技大学, 2014. Zheng Rui. On-line laser welding monitoring system design based on computer vision methods[D]. Wuhan: Huazhong University of Science & Technology, 2014.
[5] Yong Z, Jiang L, Yunhua L I, et al. Welding deviation detection agorithm based on extremum of molten pool image contour[J]. Chinese Journal of Mechanical Engineering, 2016, 29(1): 74 − 83. doi: 10.3901/CJME.2015.0908.110
[6] 刘晓刚, 闫红方, 张荣. 基于形态学多尺度多结构的熔池图像边缘检测[J]. 热加工工艺, 2019, 48(5): 216 − 219. Liu Xiaogang, Yan Hongfang, Zhang Rong. Edge detection of molten pol image based on morphology multi-scale and multi-structuring elements[J]. Hot Working Technolog, 2019, 48(5): 216 − 219.
[7] 于海川, 穆平安. 自适应Canny算法在钢板缺陷边缘检测中的应用[J]. 软件导刊, 2018, 17(4): 175 − 177. Yu Haichuan, Mu Ping'an. Application of adaptive Canny algorithm in edge detection of steel plate defects[J]. Software, 2018, 17(4): 175 − 177.
[8] 张亚红, 覃科. 一种形态学与Canny算子融合的焊接熔池边缘检测算法[J]. 桂林航天工业学院学报, 2017, 22(1): 9 − 13. doi: 10.3969/j.issn.1009-1033.2017.01.003 Zhang Yahong, Qin Ke. A welding pool edge detection algorithm based on morphology and Canny operator fusion[J]. Journal of Guilin University of Aerospace Technology, 2017, 22(1): 9 − 13. doi: 10.3969/j.issn.1009-1033.2017.01.003
[9] Zhang Yuwei, Zhao Zhuang, Zhang Yi, et al. Online weld pool contour extraction and seam width prediction based on mixing spectral vision[J]. Optical Review, 2019, 26(1): 65 − 76. doi: 10.1007/s10043-018-0479-3
[10] Xia Chunyang, Pan Zengxi, Zhang Shiyu, et al. Model predictive control of layer width in wire arc additive manufacturing[J]. Journal of Manufacturing Processes, 2020, 58: 179 − 186. doi: 10.1016/j.jmapro.2020.07.060
[11] 韩庆璘, 李大用, 李鑫磊, 等. 基于分区减光的电弧增材制造熔敷道尺寸主被动联合视觉检测[J]. 焊接学报, 2020, 41(9): 28 − 32. doi: 10.12073/j.hjxb.20200418001 Han Qinglin, Li Dayong, Li Xinlei, et al. Bead geometry measurement for wire and arc additive manufacturing using active-passive composite vision sensing based on regional filter[J]. Transactions of the China Welding Institution, 2020, 41(9): 28 − 32. doi: 10.12073/j.hjxb.20200418001
[12] 蔡敏. 铝合金GTAW熔池区视觉特征检测及焊缝成型控制[D]. 上海: 上海交通大学, 2013. Cai Min. Visual characters extraction of weld pool and shape control during aluminum alloy GTAW process[D]. Shanghai : Shanghai Jiao Tong University, 2013.
[13] 李钦弟, 蔡利栋. 一种基于非线性灰度变换的弱边缘检测方法[J]. 中国体视学与图像分析, 2011, 16(3): 232 − 236. Li Qindi, Cai Lidong. A weak edge detection method based on nonlinear transform of gray levels[J]. Chinese Journal of Stereology and Image Analysis, 2011, 16(3): 232 − 236.
-
期刊类型引用(6)
1. 季现亮，张文杰，王玉强，刘勇，田祖织，付拯. 基于机器视觉的带式输送机高精度煤流检测研究. 工矿自动化. 2024(05): 75-83 . 
百度学术
2. 姚江云，王宽田，李旺昆，梁世华. 基于改进T-S模糊模型的弧焊机器人轨迹实时跟踪. 组合机床与自动化加工技术. 2024(09): 147-152 . 百度学术
3. 李玉荣. 物联网工控平台下移动焊接机器人焊缝轨迹跟踪控制方法. 工业控制计算机. 2024(10): 53-55 . 百度学术
4. 陈华斌，肖润泉，陈善本. 焊接机器人视觉感知及智能化焊接关键技术研究进展. 焊接学报. 2024(11): 1-9 . 本站查看
5. 马佳玮，孙菁伯，迟关心，张广军，李鑫磊. 基于立体视觉和YOLO深度学习框架的焊缝识别与机器人路径规划算法. 焊接学报. 2024(11): 45-49 . 本站查看
6. 龚文华，刘钊，王兴东. 基于生成式对抗网络的龙门式焊接机器人双目视觉方法. 信息与控制. 2024(06): 783-792 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 464
- HTML全文浏览量: 26
- PDF下载量: 65
- 被引次数: 7
