Image processing system of welding seam of steel structure based on laser vision
-
摘要: 针对钢结构件品种多、批量小，焊缝形状位置一致性差，机器人重复定位过程复杂等缺点，设计了一种基于激光视觉的钢结构焊缝图像处理系统. 运用CCD工业相机和激光器，采集带有激光条带的焊缝图像，分别利用中值滤波柔化噪音，Otsu算法自适应阈值分割，开操作和形态学处理相结合去除图像中除目标像素外的小连通区域，提取激光条带的中心线，最终利用Hough变换对中心线直线拟合，得到特征点位置，并通过骨支架试验验证该技术的可行性. 结果表明，该方法可快速准确地检测到焊缝特征点，满足实际要求.Abstract: Aiming at the shortcomings of many types of steel structure parts, small batches, poor consistency of weld shape and position, and complicated repetitive positioning process of robots, a laser vision-based steel structure weld image processing system is designed. The technology uses CCD industrial cameras and lasers, Collect welding seam images with laser stripes, use median filtering to soften noise, otsu algorithm adaptive threshold segmentation, open operation and morphological processing to remove small connected areas in the image except target pixels, extract laser stripes Finally, the Hough transform is used to fit the center line of the center line to obtain the position of the feature point, and the feasibility of the technology is verified by the bone scaffold test. The test shows that this method can detect the weld feature points quickly and accurately actual requirements, and meet the actual requirements.
-
Keywords:
- laser vision /
- steel structure welds /
- image processing /
- weld tracking /
- weld feature points
-
0. 序言
钢结构在桥梁、箱梁、天车横臂等基础建设中得到广泛应用[1]，焊接机器人[2-4]要求焊缝轨迹具有一定规则性和重复定位精度，钢结构件难以符合要求，使焊接机器人在钢结构领域的发展受到阻碍. 钢结构领域大部分采用手工焊、半自动焊等工艺完成，焊接质量难以得到保证. 传统算法难以快速、准确提取到焊缝中心点[5-7]，所以设计一种高效快速的焊缝跟踪方法，用于改善焊接机器人在钢结构领域发展受阻的情况. 在焊缝特征点提取方面，李篪[8]在传统的Otsu公式上加了修正系数进行改进，使新的阈值分割处理的图像更加接近实际；马波等人[9]对系统噪声和测量噪声进行卡尔曼滤波方法处理，以得到优化的效果；尤帅等人[10]通过把二值图像距离变换后的二次阈值分割和改进的Hilditch算法对中心线进行提取，解决由飞溅造成的断点修补问题；在焊缝跟踪方面，杨国威等人[11]提出基于核相关滤波的焊缝跟踪算法，以解决焊接时的弧光干扰问题. 以上研究说明焊缝自动跟踪[12]方法可以有效提高焊接性能，但目前的研究还是难以对焊缝做到精确、可靠的追踪[13-14].
文中设计了一套钢结构焊缝图像处理系统，该方法主要应用于钢结构焊缝焊接，在保证焊缝性能的同时，可以有效提高焊接速度，降低人员技能水平对焊缝质量的影响，从而提升焊接效果. 文中是针对结构光焊缝图像的特点，对图片进行中值滤波，去除噪声，再利用Otsu阈值分割得到二值化图像，由于二值化后图像中还存在连通区域和斑点，可以运用开操作除去飞溅、弧光造成的干扰，再采用形态学算子进行骨架提取，并细化去除中心线上的毛刺. 最后对中心线进行Hough变换直线检测，提取出特征点，使焊缝实时跟踪更加快速与精确.
1. 图像采集系统设计
1.1 系统搭建
焊缝跟踪方法可分为两大类，即主动视觉跟踪方法和被动视觉跟踪方法，其主要的区别在于主动视觉比被动视觉多了一个辅助光源，文中构建的系统采用的是激光器作为辅助光源的主动视觉跟踪系统，系统主要硬件包括机器人、相机、滤镜、激光器、图像采集卡、焊丝机、焊丝. 图像采集如图1所示.
具体焊接装置硬件明细如表1所示.利用激光视觉传感器对65°V形坡口焊缝进行图像采集，接头形式为对接，焊接工件采用长度为380 mm，宽度为210 mm，厚度为30 mm，钢材型号为Q235碳素结构钢. 焊接机器人现场工作图如图2所示.
表 1 焊接装置硬件明细表Table 1. Hardware list of welding device机器人 相机 图像采集卡 激光器 杭州松欧自动化
设备有限公司上海方诚光电
科技有限公司NI
公司长春镭仕光电
科技有限公司FD-V6 IK200M-12 PCIe-1427 MW-RL-635 1.2 图像采集
将激光器与CCD工业相机在空间平面里呈
$ {45^ \circ } $ 位置关系固定，激光器在工件表面上进行垂直照射，从而形成激光条带. 调整相机上的光圈，让激光条带进入相机视野，采集激光条带图像. 把采集到的激光条带图像传送给计算机，利用Matlab平台对焊缝图像进行图片处理，将获得焊缝中心点的坐标信息反馈给控制系统，带动焊枪进行焊接.在利用Matlab平台处理焊缝图像时，具体图像处理流程图如图3所示.
2. 焊缝图像识别及处理
图像处理过程分为2个部分：第1部分是图像处理，第2部分是焊缝的特征点提取. 在CCD摄像机采集图像之后，传送给计算机进行焊缝图像处理，首先除去焊缝图像中的干扰信息，保留焊缝图像特征，然后通过焊缝提取算法提取焊缝的特征信息. 针对采用自适应阈值分割后产生的小连通区域问题，设计了一种有效的算法，用于去除无效的干扰信息.
2.1 焊缝图像处理
2.1.1 中值滤波去噪
CCD视觉传感器直接采集到的原始焊缝图像是338像素×309像素的灰度图如图4a，在传送过程中CCD摄像机等高频电源、烟雾和弧光对焊缝图像产生干扰信号，为了解决这一问题，使后续不影响图像处理，对焊缝图像进行中值滤波处理.
![]()
图 4 中值滤波处理图像Figure 4. Median filter processing image. (a) original weld image; (b) median filtered image中值滤波是一种空间域统计排序的滤波方法，属于一种非线性平滑技术. 实现方法是设有一维序列
$ {x_1},{x_2}, \cdots ,{x_n} $ ，把目标像素及其领域内的所有像素组成一个以奇数单位的长度L，然后对输入序列中连续提取L个数，$ {x_{i - m}}, \cdots {x_i}, \cdots, {x_{i + m}} $ ，其所在领域内的中心值$m =({L-1})/2$ ，再把所有L个像素的灰度值进行从小到大的排序，取中值作为领域内中目标像素的原有灰度值，中值滤波的表达式为$$ {{\boldsymbol{X}}_i} = {\rm{Med}}\left. {\left\{ {{x_{i - m}}, \cdots ,{x_i}, \cdots ,{x_{i + m}}} \right.} \right\} $$ (1) 相比于均值滤波对椒盐噪声的处理，中值滤波有很好的处理效果，在去除噪声的情况下，还很好的保护信号的边缘，使其不被模糊. 所以选用中值滤波对图4a进行处理，图4b是采用
$ 3 \times 3 $ 的滤波模板进行中值滤波后的焊缝图像.在中值滤波处理之后，焊缝图像中噪声基本除去，并且对目标边缘很好的保留.
2.1.2 Otsu阈值分割
Otsu算法是一种对于图像灰度自适应的阈值分割算法，它按照图像上灰度值的分布，把图像分成前景和背景两个部分，前景就是通过阈值分割出来想要的部分，如文中的激光条带，前景和背景的灰度分界值就是要求出的阈值.
将图像
$ f\left( {x,y} \right) $ 进行灰度化处理，得到图像的灰度范围为$ \left\{ {0,1, \cdots ,m - 1} \right\} $ 级，灰度值为$ i $ 的像素数设为$ {x_i} $ ，则灰度图像的总像素值为$$ X = \sum\limits_{i = 0}^{{{m - 1}}} {{x_i}} $$ (2) 灰度值为
$ i $ 像素出现的概率为$$ {P_{{i}}} = \frac{{{x_i}}}{X}$$ (3) $$其中\qquad\qquad {P}_{i}\geqslant 0,{\displaystyle \sum _{i=0}^{m-1}{P}_{i}=1}\qquad\qquad\quad\qquad \;\;\;$$ (4) 选择阈值
$ t $ ，利用阈值$ t $ 对目标图像进行分割操作，将会产生两个集合像素点，$ {T_1} $ 是像素点灰度值大于和等于阈值$ t $ 的集合，$ {T_2} $ 是像素点灰度值小于阈值$ t $ 的集合，以将灰度图划分为两类，即$$ {T_1} = \left\{ {0,1,2, \cdots ,\left. t \right\}} \right. $$ (5) $$ {T_2} = \left\{ {\left. {t + 1,t + 2,t + 3, \cdots ,m - 1} \right\}} \right. $$ (6) $ {T_1} $ ，$ {T_2} $ 出现的概率为$$ {P_1}\left( t \right) = \sum\limits_{i = 0}^t {{P_i}} $$ (7) $$ {P_2}\left( t \right) = \sum\limits_{i = t + 1}^{m{\text{ - }}1} {{P_i}} $$ (8) 计算
$ {T_1} $ ，$ {T_2} $ 集合内的所有像素灰度值的均值分别为$$ {W_1} = \sum\limits_{i = 0}^t {\frac{{i{P_i}}}{{{P_0}\left( t \right)}}} $$ (9) $$ {W_2} = \sum\limits_{i = t + 1}^{l - 1} {\frac{{i{P_i}}}{{{P_1}\left( t \right)}}} $$ (10) 灰度图像的总体灰度值为
$$ W = \sum\limits_{i = 0}^{l - 1} {i{P_i}} $$ (11) 求出
$ {T_1} $ ，$ {T_2} $ 的类间方差为$$ {V^2}\left( t \right) = {P_1}\left( t \right){\left( {{W_1} - W} \right)^2} + {P_2}\left( t \right){\left( {{W_2} - W} \right)^2} $$ (12) 计算出最大类间方差
$ {t^ * } $ 来选择阈值，即$$ {t^ * } = \arg \mathop {\max }\limits_{0 < i < m - 1} {V^2}\left( t \right) $$ (13) 用此方法对图4b进行二值化阈值选取处理，得到图5a二值化图像.
![]()
图 5 二值化图像开操作处理Figure 5. Binary image opening operation processing. (a) binary image; (b) open operations manipulate images2.1.3 开操作处理
在二值化图像上，相比于激光条带，图片中还存在一块连通区域和些许斑点，所以在上述处理之后，又对焊缝图像进行开运算操作，去除干扰的连通区域，保留激光条带. 选取半径为7的圆盘结构元，去除图像背景中比结构元素尺寸更小的亮度明显的细节. 处理公式为
$$ \left( {f \cdot M} \right)\left( {x,y} \right) = \left[ {\left( {f - M} \right) + M} \right]\left( {x,y} \right) $$ (14) 结构元素
$ M\left( {x,y} \right) $ 对图像$ f\left( {x,y} \right) $ 的灰度膨胀记为$ f + M $ ，开运算记为$ f \cdot M $ ，开运算是先腐蚀后膨胀. 处理得到图5b. 可以看到连通区域和噪点已经完全去除，并且很好的保留了目标元素.2.1.4 骨架提取及细化
因激光条带有一定的宽度，对激光条带进行骨架提取，使其成单像素条纹. 文中采用的是形态学操作去掉图像的内点，选取一像素0，如果该像素的四连通区域都为1，则仅仅保留边缘像素. 接下来是图像的骨架提取，移除目标边缘像素，但是不允许目标发生断裂，将保留下来的像素进行组合，组成图像的骨架. 得到图6a，6b.
![]()
图 6 开操作处理后骨架提取图像Figure 6. Skeleton extraction image after opening operation processing. (a) morphological removal of image inliers; (b) skeleton extraction; (c) skeleton thinning在形态学算子处理之后得到的骨架提取图像，骨架线段上存在些许毛刺，并且有很多空隙，为了后续处理不受影响，文中对物体进行细化，此操作使没有孔的物体缩为最小连通区域，而含有孔的物体收缩为一个链接的环，如图6c.
骨架图像在得到细化处理之后，毛刺全部去除，断裂区域和空隙处都得到填充解决，得到了完好的激光条带骨架，为后续直线的拟合做好基础.
2.2 特征点提取
在骨架提取之后，为确定焊缝的位置，需要对焊缝中心线进行拟合，因为中心线焊缝较为规则，无破口，故采用焊缝跟踪技术领域内最常用的Hough变换，直线检测.
Hough变换是建立原始图像空间中共线的点与参数空间中共点的线的对应关系，把图像空间中的直线问题转成参数空间中的点问题.
对于图像空间
$ Oxy $ 中任意一点$ \left( {{x_i},{y_i}} \right) $ ，直线方程就是$ {y_i} = a{x_i} + b $ ，其中a表示斜率，b表示截距. 总有两个点$ \left( {{x_1},{y_1}} \right) $ ，$ \left( {{x_2},{y_2}} \right) $ 对应同一斜率a，同一截距b. 此式对应在参数空间$ Oab $ 中$ b = - {x_i}a + {y_i} $ ，即相交于点$ \left( {a,b} \right) $ 的两条直线$ b = - {x_1}a + {y_1} $ 和$ b = $ $ - {x_2}a + {y_2} $ . 映射关系如图7所示.![]()
图 7 图像空间与参数空间的映射关系Figure 7. The mapping relationship between image space and parameter space. (a) image space; (b) parameter space利用极坐标空间建立参数空间，表示原始图像空间和参数空间的关系，即
$$ \rho = x\cos \theta + y\sin \theta $$ (15) 式中：
$ x $ 表示点在图像空间中的横坐标；$ y $ 表示点在图像空间中的纵坐标；$\; \rho $ 表示参数空间中的极径；$ \theta $ 表示参数空间中的极角，即Hough变换. 此变换法具有很强的几何性能，容易实现，并且不会被直线上的小波动和间隙所干扰，有很强的抗干扰能力，处理过后得到图8.利用Hough变换直线拟合，很好的提取了激光条带的中心线，两条中心线的交点，即拐点就是焊缝的特征点.
3. 试验结果分析
对处理之后的图像进行分析，可以得到两条拟合直线ab和bc的斜率、截距以及3个特征点b，a，c的坐标信息
$ b\left(23，74\right) $ ，$ a\left(205，170\right) $ ，$ c\left( {264,372} \right) $ ，其中点a是斜率突变的两条直线的交点，即a点就是所要提取的焊缝中心点.为了验证算法的可靠性，在焊接试验之前，将图9a所示焊接机器人移动到预定位置，使得焊枪进行轨迹与焊缝方向一致. 在机器人运作一段时间之后，Matlab平台利用所设计钢结构焊缝图像处理技术对焊缝图像进行处理，以起弧点为原点，沿焊缝方向每隔38 mm标记一个中心测量点，共取11个中心测量点. 根据11个中心点坐标信息，通过坐标系的转换，把图像坐标转换为机器人基坐标，将得到的实际中心点坐标信息反馈给控制系统，使得机器人带动焊枪沿着焊缝前进，得到实际对接焊缝如图9b所示，并将得到的焊缝图像处理偏差与实际焊缝中心点偏差进行对比，如图10所示.
![]()
图 9 焊接机器人和焊接结果Figure 9. Welding robot and welding result. (a) welding robot; (b) welding result从图10可见，焊缝图像处理的偏差与实际焊缝中心点的偏差都在0.8 mm范围内，能对焊缝中心点准确提取，焊接路线没有偏离中心位，每帧图像算法运行时间大约是56 ms，满足要求.
上述对焊缝图像处理系统进行了试验验证，对图像处理各步骤进行确定，并对算法进行了一定的改进处理，最终得到了焊缝中心点的位置信息. 试验结果表明，实际焊缝中心点的误差满足焊接要求，系统具有一定的精确性和鲁棒性.
4. 结论
(1) 通过对钢结构的焊缝跟踪系统的搭建，满足了图像精确采集，满足试验要求与分析要求.
(2) 采用了开操作与形态学操作相结合的改进算法对激光条带进行提取，最终确定焊缝中心点位置坐标信息，完成焊缝跟踪，这种图像处理算法适应性强，鲁棒性强.
-
![]()
图 4 中值滤波处理图像
Figure 4. Median filter processing image. (a) original weld image; (b) median filtered image
![]()
图 5 二值化图像开操作处理
Figure 5. Binary image opening operation processing. (a) binary image; (b) open operations manipulate images
![]()
图 6 开操作处理后骨架提取图像
Figure 6. Skeleton extraction image after opening operation processing. (a) morphological removal of image inliers; (b) skeleton extraction; (c) skeleton thinning
![]()
图 7 图像空间与参数空间的映射关系
Figure 7. The mapping relationship between image space and parameter space. (a) image space; (b) parameter space
![]()
图 9 焊接机器人和焊接结果
Figure 9. Welding robot and welding result. (a) welding robot; (b) welding result
表 1 焊接装置硬件明细表
Table 1 Hardware list of welding device
机器人 相机 图像采集卡 激光器 杭州松欧自动化
设备有限公司上海方诚光电
科技有限公司NI
公司长春镭仕光电
科技有限公司FD-V6 IK200M-12 PCIe-1427 MW-RL-635 
下载: 导出CSV
-
[1] 吴兴华. 焊缝跟踪技术的发展与应用现状[J]. 金属加工(热加工), 2020(6): 7 − 9. Wu Xinghua. Development and application status of welding seam tracking technology[J]. Metal Processing (Hot Processing), 2020(6): 7 − 9.
[2] Xu Y, Wang Z. Visual sensing technologies in robotic welding: Recent research developments and future interests[J]. Sensors and Actuators A:Physical, 2021, 320(1): 112551.
[3] Banafian N, Fesharakifard R, Menhaj M B. Precise seam tracking in robotic welding by an improved image processing approach[J]. The International Journal of Advanced Manufacturing Technology, 2021, 114(1): 251 − 270.
[4] Zeng Qingfei, Liu Xuemei, Qiu Chengrong. Inverse kinematics and error analysis of cooperative welding robot with multiple manipulators[J]. China Welding, 2020, 29(2): 9 − 16.
[5] Li Y, Hu M, Wang T. Weld image recognition algorithm based on deep learning[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2020, 34(8): 2052004. doi: 10.1142/S0218001420520047
[6] Silva R H G, Galeazzi D, Schwedersky M B, et al. An adaptive orbital system based on laser vision sensor for pipeline GMAW welding[J]. Journal of the Brazilian Society of Mechanical Sciences and Engineering, 2021, 43(7): 1 − 17.
[7] Parameshwaran R, Maheswari C, Nithyavathy N, et al. Labview based simulation on welding seam tracking using edge detection technique[C]//IOP Conference Series: Materials Science and Engineering. IOP Publishing, 2021: 012026.
[8] 李篪. 焊缝位置识别及图像处理算法的研究[J]. 电子技术与软件工程, 2021(5): 88 − 89. Li Chi. Research on weld seam position recognition and image processing algorithm[J]. Electronic Technology and Software Engineering, 2021(5): 88 − 89.
[9] 马波, 林少铎, 张南峰, 等. 斜率表征与卡尔曼滤波的焊缝跟踪方法研究[J]. 机电工程, 2020, 37(2): 206 − 210. doi: 10.3969/j.issn.1001-4551.2020.02.019 Ma Bo, Lin Shaoduo, Zhang Nanfeng, et al. Research on welding seam tracking method based on slope characterization and Kalman filter[J]. Mechanical and Electrical Engineering, 2020, 37(2): 206 − 210. doi: 10.3969/j.issn.1001-4551.2020.02.019
[10] 尤帅, 张华, 周依霖, 等. 基于Hilditch算法的焊缝结构光中心线断点修补[J]. 热加工工艺, 2020, 49(15): 134 − 138. You Shuai, Zhang Hua, Zhou Yilin, et al. Breakpoint repair of weld structured light centerline based on hilditch algorithm[J]. Thermal Processing Technology, 2020, 49(15): 134 − 138.
[11] 杨国威, 王以忠, 王中任, 等. 自主移动焊接机器人嵌入式视觉跟踪控制系统[J]. 计算机集成制造系统, 2020, 26(11): 3049 − 3056. Yang Guowei, Wang Yizhong, Wang Zhongren, et al. Embedded vision tracking control system for autonomous mobile welding robot[J]. Computer Integrated Manufacturing Systems, 2020, 26(11): 3049 − 3056.
[12] Lei T, Huang Y, Wang H, et al. Automatic weld seam tracking of tube-to-tubesheet TIG welding robot with multiple sensors[J]. Journal of Manufacturing Processes, 2021, 63: 60 − 69. doi: 10.1016/j.jmapro.2020.03.047
[13] 马增强, 钱荣威, 许丹丹, 等. 线结构光焊接图像去噪方法[J]. 焊接学报, 2021, 42(2): 8 − 15. doi: 10.12073/j.hjxb.20200519002 Ma Zengqiang, Qian Rongwei, Xu Dandan, et al. Denoising method of line structured light welding image[J]. Transactions of the China Welding Institution, 2021, 42(2): 8 − 15. doi: 10.12073/j.hjxb.20200519002
[14] Tian Y Z, Liu H F, Li L, et al. Robust identification of weld seam based on region of interest operation[J]. Advances in Manufacturing, 2020, 8(4): 473 − 485. doi: 10.1007/s40436-020-00325-y
-
期刊类型引用(15)
1. 李沫琦，陈书锦，孟令斐，高源，张帅，刘建华，贺鹏. 基于激光视觉的搅拌摩擦焊缝表面缺陷检测与控制. 应用激光. 2025(02): 157-167 . 
百度学术
2. 谢宁，陈梁，裴自卿，何智成，陈涛. 基于改进U-Net的白车身焊点定位研究. 测试技术学报. 2024(01): 12-18 . 百度学术
3. 徐远钊，罗玖田，方乃文，冯志强，武鹏博，黎泉. 基于MS-FCM算法的船体板熔池图像处理技术. 焊接学报. 2024(03): 82-90+133-134 . 本站查看
4. 王树强，王旭，高元德，贺久洲. 基于视觉传感器的钢管塔焊缝特征提取方法. 机械工程师. 2024(07): 30-33 . 百度学术
5. 李冰，白云山，赵宽，胡瑞雪，赵占良，宋立军，董玉召. 基于视觉传感的薄板对接焊缝检测方法研究. 热加工工艺. 2024(17): 13-19 . 百度学术
6. 段岳飞，马嵩华，胡天亮. 基于全卷积神经网络的焊缝识别方法. 制造技术与机床. 2023(04): 44-49 . 百度学术
7. 柴绪彬，陈欢群，刘蔓，张开放. 基于激光视觉传感器的厚钢板焊缝检测. 自动化应用. 2023(09): 160-163 . 百度学术
8. 陆娇娇，肖衡. 基于深度学习的近红外光谱图像处理的农作物虫害检测研究. 激光杂志. 2023(08): 221-225 . 百度学术
9. 李聚才，刘雪峰，李瑞光，吴志生，李岩. 基于图像处理的焊缝待焊点像素位置自动提取. 山西冶金. 2023(08): 105-108 . 百度学术
10. 王文楷，石玗，张刚，李春凯，朱明，徐睦忠，代锋先，许有伟. 基于激光视觉检测的焊缝轨迹离线规划. 电焊机. 2023(09): 55-60 . 百度学术
11. 程进，徐乃涛，郁伟俊. 面向焊接机器人的视觉传感技术. 电焊机. 2023(09): 61-69+123 . 百度学术
12. 谢昊，郭天太，王浩. 基于分段拟合算法的V型焊缝识别. 现代电子技术. 2023(20): 153-158 . 百度学术
13. 张旭强，万渤麟，于志浩. 焊点压痕图像采集实验系统设计及图像预处理分析. 实验技术与管理. 2023(09): 35-40 . 百度学术
14. 王树强，王旭，高元德，贺久洲. 基于改进核相关算法的钢管塔焊缝特征跟踪研究. 管道技术与设备. 2023(06): 11-15+44 . 百度学术
15. 李金洋，沙杰，胡森龙，鲁庆洋，周高伟，刘梦园. Y型管接头组对焊接间隙视觉检测方法研究. 电子测量技术. 2022(24): 161-165 . 百度学术
其他类型引用(12)
计量
- 文章访问数: 421
- HTML全文浏览量: 64
- PDF下载量: 77
- 被引次数: 27
