A visual recognition algorithms for seam feature extraction of perforated plug welding
-
摘要: 针对三代核电站屏蔽厂房钢筋穿孔塞焊变角度、变间隙等复杂的接头特征，研究用于机器人智能化自适应焊接的视觉识别方法. 采用双条纹激光视觉传感技术对焊接前的待焊区域进行识别，结合离散数据模拟关系曲线设计一套视觉处理算法，实现了对各种影响穿孔塞焊接头焊缝成形的特征量的数据进行提取，包括塞焊孔圆心坐标及直径、钢筋凹凸高度、接头倾斜角度、焊缝间隙等，为后续的焊枪姿态与焊接工艺参数联合规划提供基础数据. 通过对比实测的采样数据对该算法的提取精度进行了误差分析. 结果表明，圆心坐标在x, y方向的误差都在 ± 0.2 mm的范围之内，倾斜角度在Rx，Ry方向的误差都在 ± 0.2°的范围之内，实现了穿孔塞焊接头特征提取的高精度和可靠性.Abstract: A visual recognition algorithms for seam feature extraction was studied for intelligent adaptive welding of the perforated plug joint between steel-plate and rebar in the shield building of the third generation nuclear power station. In view of the complex characteristics on plug hole size, root gap, inclination angle of perforated plug joint, the double stripe laser vision sensing technology based on the discrete data simulation relation curve was used to identify the area to be welded before welding, The feature datas affecting weld formation were extracted, including the center coordinates and diameter of plug welding hole, the height of rebar-end above steel-plate, the inclination angle of joint, the gap of weld seam, etc., which provide the basic data for the joint planning of welding torch’s gesture and welding process parameters. The error analysis of the extraction accuracy of the algorithm was carried out by comparing the measured sample data. The results show that the center coordinates deviation in the x, y direction are within the range of ± 0.2 mm, the angle deviation in the Rx, Ry direction is within the range of ± 0.2 degree, which realizes the high precision and reliability of feature extraction of perforated plug welding.
-
Keywords:
- perforated plug welding /
- visual recognition /
- intelligent welding /
- shield building
-
0. 序言
在熔焊中，焊缝微观组织受温度场和热影响区晶粒结构的影响. 在焊接热源高温作用下形成的焊缝与热影响区中的微观组织形貌将影响焊接结构的性能和质量[1]. 因此，微观组织的控制是保证焊接接头力学性能的重要因素. 由于焊接是一个高温、瞬时、动态的复杂过程，采用试验法研究焊接接头组织的演变过程具有一定的限制. 随着计算机技术和材料科学的发展，通过数值模拟技术已经能够再现焊接熔池枝晶演变和热影响区晶粒长大的动态过程[2-7].
Pavlyk等人[3]首次利用有限差分-元胞自动机(FD-CA)模型对惰性气体钨极氩弧焊定向凝固过程中具有相同取向的枝晶生长进行了预测. Zhan等人[4]建立FD-CA模型对焊接熔池中的柱状树枝晶和等轴树枝晶进行了模拟，并提出了“对角线模拟角度”方法实现了具有不同结晶学主轴的柱状树枝晶间的竞争生长. Han等人[5]模拟了焊接熔池内不同区域的枝晶竞争生长过程，并研究了基体晶粒尺寸对柱状晶形貌的影响. 张敏等人[6-7]采用熔池凝固模型实现了焊缝横截面上的枝晶生长模拟. 宋奎晶[8]基于CA模型，并提出粗网格划分方法和相似原理实现了钛合金焊接热影响区晶粒长大的多尺度模拟.
目前的焊接接头微观组织模拟主要集中在焊接熔池枝晶生长或者热影响区晶粒长大，将二者同时考虑的模拟较少. 鉴于此，针对镍基合金TIG焊接过程，建立了枝晶生长模型与晶粒长大模型来模拟焊接温度场作用下的焊接接头微观组织演变过程.
1. 模型建立
1.1 凝固模型
焊接熔池凝固过程主要包括枝晶形核和枝晶生长. 熔池内的晶核数量采用Rappaz等人[9]提出的连续形核模型确定，单位时间步长内，形核密度n(ΔT)可表示为
$$ \begin{split} & n(\Delta T) = \frac{{{n_{\max }}}}{{\sqrt {2{\text π} } \Delta {T_{\text{σ}} }}}\\ & \int_{\Delta T}^{\Delta T + \delta (\Delta T')} {\exp \left[ { - \frac{1}{2}{{(\frac{{\Delta T' - \Delta {T_{\rm{N}}}}}{{\Delta {T_{\text{σ}} }}})}^2}} \right]} {\rm{d}}(\Delta {{T}}') \end{split} $$ (1) 式中：nmax为最大异质形核衬底密度；ΔTσ为标准曲率过冷度；ΔT ′为平均形核过冷度；ΔTN为最大形核过冷度；δ(ΔT ′)为单位时间步长过冷度的变化量. 式(1)可用于描述熔池边缘与中心的非均匀形核.
晶核形成后，开始进入生长阶段. 考虑成分过冷和曲率过冷，固/液界面处液相的溶质浓度可表示为
$$ C_{\rm{L}}^* = {C_0} - \frac{1}{{{m_{\rm{L}}}}}({T_{\rm{L}}} - T - \Gamma \kappa f(\varphi ,\theta )) $$ (2) 式中：mL，TL，Γ为常数；T为局部温度；κ为界面曲率；f(φ,θ)为各项异性函数[10].
模型中假设固/液界面存在局部平衡，通过式(3)进行溶质分配.
$$ C_{\rm{S}}^* = kC_{\rm{L}}^* $$ (3) 式中：k为溶质分配系数；
$C_{\rm{S}}^*$ 和$C_{\rm{L}}^*$ 分别是固/液界面两侧固相和液相中的溶质浓度.固/液界面生长态元胞中的液相溶质浓度为
$$ {C_{\rm{L}}} = C_{\rm{L}}^* - \frac{1}{2}(1 - {f_{\rm{S}}})\Delta x{G_{\rm{L}}} $$ (4) 式中：fS为固相分数[10]；Δx为元胞尺寸；GL为液相溶质浓度梯度.
浓度梯度的存在使溶质发生扩散，液相和固相中溶质扩散控制方程为
$$ \frac{{\partial {C_{\rm{L}}}}}{{\partial {\rm{t}}}} = \frac{\partial }{{\partial x}}\left[{D_{\rm{L}}}\frac{{\partial {C_{\rm{L}}}}}{{\partial x}}\right] + \frac{\partial }{{\partial y}}\left[{D_{\rm{L}}}\frac{{\partial {C_{\rm{L}}}}}{{\partial y}}\right] $$ (5) $$ \frac{{\partial {C_{\rm{D}}}}}{{\partial {\rm{t}}}} = \frac{\partial }{{\partial x}}\left[ {{D_{\rm{D}}}\frac{{\partial {C_{\rm{D}}}}}{{\partial x}}} \right] + \frac{\partial }{{\partial y}}\left[ {{D_{\rm{D}}}\frac{{\partial {C_{\rm{D}}}}}{{\partial y}}} \right] $$ (6) 式中：CS为固相中的溶质浓度；CL为液相中的溶质浓度；DS为固相中的溶质扩散系数；DL为液相中的溶质扩散系数.
1.2 热影响区晶粒长大模型
热影响区晶粒长大是通过晶界迁移实现的，通常晶界迁移速度可通过晶界迁移率M和晶界迁移驱动力F [11]计算.
$$ v = MF $$ (7) 考虑到相邻晶粒的位向差，晶界迁移率M可表示为
$$ M = \left\{ {\begin{aligned} & {{M_0}{{\left(\frac{\theta }{{{\theta _{\rm{m}}}}}\right)}^5}},\quad{\theta < {\theta _{\rm{m}}}}\\ & {{M_0} = \frac{{{A_2}{n_1}{v_1}V_{\rm{m}}^2}}{{{N_{\rm{a}}}RT}}\exp \left( { - \frac{{\Delta {G_{\rm{A}}}}}{{RT}}} \right)},\quad{\theta > {\theta _{\rm{m}}}} \end{aligned}} \right. $$ (8) 式中：A2为晶粒接纳原子的概率；n1为单位面积上处于有利跳跃位置的原子数；v1为原子跳跃频率；Vm为原子摩尔体积；Na为阿伏伽德罗常数；R为气体常量；ΔGA为激活能；θ为晶粒的取向差，θm取15°.
晶界迁移驱动力可通过晶界曲率表示为
$$ F = \gamma \cdot \kappa $$ (9) 式中：γ为单位面积的晶界能；κ为晶界曲率. 其中γ服从Read-Shockley公式，κ可通过等效模型法计算得到[12].
中心元胞状态转变为邻居元胞状态的概率P为
$$ P = \left\{ {\begin{split} & 0,\quad{{G_{\rm{T,i}}} < \Delta {G_{\rm{A}}} - \sum {\Delta {G_{\rm{i}}}} }\\ & {\frac{{{M_{\rm{i}}}{{F_{\rm{i}}}}}}{{{M_{\max }}{F_{\max }}}}},\;\;{{G_{\rm{T,i}}} > \Delta {G_{\rm{A}}} - \sum {\Delta {G_{\rm{i}}}} } \end{split}} \right. $$ (10) 式中：GT,i为元胞内能；
$\sum {\Delta {G_{\rm{i}}}}$ 为元胞转变前后的自由能差. 给元胞赋予随机数r (0 ≤ r ≤ 1)，若P > r，则元胞状态发生转变.1.3 初始条件
温度场模型中采用的构件尺寸为100 mm × 50 mm × 2 mm，材料为镍基合金GH3039，计算所用的热物性参数详见文献[13]. 焊接方式为TIG焊，焊接电流为75 A，电弧电压为10 V，焊接速度为2 mm/s. 针对薄板TIG焊，选用高斯热源模型，通过商业有限元软件计算获得焊接温度场，并将节点热循环曲线通过双线性插值计算得到元胞自动机模型中温度条件.
CA模型中选择焊缝横截面上的微观组织演变过程作为研究对象，选取的计算域尺寸为1 mm × 2 mm. 母材晶粒结构通过等轴晶形核和生长获得，其中母材晶粒尺寸设为32 μm(该值由试验测量得到). 晶粒取向总数设为48，其值在1 ~ 48之间随机给出，晶粒的择优生长取向随机赋予−45° ~ 45°之间的角度. 热影响区晶粒长大模型中的元胞尺寸设为4 μm，凝固模型中的元胞尺寸设为2 μm，时间步长设为0.000 1 s. 凝固枝晶生长模型中的初始参数如表1所示[14].
表 1 微观组织模拟参数Table 1. Parameters used in the Microscopic Simulation液相线温度TL/K 液相线斜率mL 溶质分配系数k 液相扩散系数DL/(m2·s−1) 固相扩散系数DS/(m2·s−1) Gibbs Thomson系数Γ/(K·m) 初始溶质浓度C0(%) 1 640 −2.1 0.714 2.0 × 10−9 3.7 × 10−12 2.0 × 10−7 20 2. 结果与讨论
2.1 温度场模拟结果
图1为宏观有限元模型计算得到的焊接过程某一时刻构件上表面、焊缝横截面及微观组织计算区域内插值后的温度场分布情况. 为了将熔池部分区分出来，将高于熔池边界温度的区域用灰色表示，熔池边界温度为1 367 ℃. 由构件上表面温度场云图可以看出熔池呈现椭圆形，熔池前方的等温线较为密集，温度梯度大，熔池后端的等温线稀疏，温度梯度较小. 由图1b中的温度分布可以看出不同区域的温度分布和最大温度梯度方向是不一致的. 选取图中黑色线框中的区域作为微观组织的计算范围，将该区域中节点的热循环曲线进行双线性插值可以得到任意时刻任一元胞的温度值，某一时间步微观尺度上的温度场分布如图1c所示.
![]()
图 1 焊接过程温度场云图Figure 1. Temperature field during the welding process. (a) temperature field on the upper surface of the workpiece; (b) temperature field of the weld cross-section; (c) temperature field in the calculation domain obtained by interpolation2.2 焊接接头微观组织模拟结果
焊接接头微观组织模拟结果如图2所示. 图2a表示焊接构件横截面上的母材晶粒分布情况. 随着热源的靠近，母材熔化形成熔池，如图2b中深色区域所示. 熔池附近的晶粒在热作用下开始长大，距离熔合线越近，晶粒生长越明显. 当晶粒长大到一定程度后将基本不再变化，如图2c所示.晶粒生长过程主要是通过大晶粒吞噬小晶粒完成的. 随着热源的离开，构件的整体温度逐渐下降，熔池开始凝固. 由于熔池边缘散热较快且易于形核，在此处率先形成的晶核开始以柱状树枝晶的形式向熔池中心生长. 图中用不同灰度表示具有不同择优生长取向的晶粒，这些具有不同取向的枝晶在生长过程中逐渐靠近并发生竞争生长，择优取向与最大温度梯度方向相近的枝晶更易于生长，竞争优势较弱的枝晶在生长过程逐渐被挤压，直至停止生长，如图2d所示.由同一母材晶粒联生结晶形成的枝晶簇具有相同的择优生长方向，其凝固后在焊缝中表现为完整的柱状晶粒. 当熔池中的最大过冷度增大到足以形成新的晶核时，大量具有随机取向的晶核在柱状晶前沿形成并阻碍柱状晶的生长，因此在凝固后焊缝中心形成了连续的等轴晶区，如图2e所示.图2f为联生结晶与柱状晶向等轴晶转变过程. 熔池内的柱状晶结构和宽度主要与热影响区中的晶粒取向和尺寸有关，热影响区的晶粒粗化现象越明显，熔合线附近的母材晶粒数量越少，由同一晶粒联生结晶形成的柱状树枝晶数量增多，使得焊缝中的柱状晶变得粗大.
![]()
图 2 不同时刻焊接接头微观组织形貌Figure 2. Microstructure of welded joint at different times. (a) predicted grain distribution of the base metal; (b) 5 000 CAs; (c) 11 000 CAs; (d) 21 000 CAs; (e) 32 000 CAs; (f) epitaxial solidification and the columnar to equiaxed transition为了验证模拟结果的可靠性，选取2 mm厚的GH3039镍基合金进行TIG焊接试验，选用的焊丝牌号为HGH3039. 通过金相试验获得的焊接接头微观组织如图3所示.由图3a可以看出，熔池内部主要的枝晶形态为柱状树枝晶和等轴树枝晶.柱状树枝晶前沿为大量的等轴晶组织. 由图3b可以看到热影响区的晶粒与母材相比发生了明显的粗化，通过截线法测量得到该区域的晶粒平均尺寸约为132 μm. 同理可得模拟的热影响区晶粒平均尺寸约为129 μm，模拟结果与试验结果吻合较好，说明了该模型可用于焊接熔池及热影响区的微观组织演变过程模拟.
![]()
图 3 焊接接头微观组织分布Figure 3. Micrographs of welded joint. (a) dendrite morphology of the molten pool; (b) grain distribution of the heat-affected zone3. 结论
(1)所建立的热影响区晶粒长大模型能够较好的模拟热作用下的晶粒粗化过程.
(2)所建立的枝晶生长模型能够对焊接熔池凝固过程中半熔化母材边缘的联生结晶，不同枝晶间的竞争生长和熔池中心的等轴晶生长过程进行模拟，可以完整的再现焊接接头微观组织的动态演变过程.
(3)模拟结果能够较好的体现焊接热影响区晶粒尺寸与焊缝柱状晶宽度之间的关系.
(4)模拟得到熔池微观组织和热影响区晶粒分布与试验结果吻合较好，由此验证了模型的可靠性.
-
![]()
图 3 识别外圆轮廓算法图像处理
Figure 3. Image process of outer circle recognition algorithm. (a) image of horizontal stripe light on work-piece; (b) image of vertical stripe light on work-piece; (c) fitted circle after image processing
![]()
图 5 相机距工件高度与图像条纹高度的关系
Figure 5. Relation between the height of camera to workpiece and the height of stripe image
![]()
图 6 激光1与Ry方向偏差角的关系
Figure 6. Relation diagram of deviation angle between laser 1 and Ry direction
![]()
图 7 激光2与Rx方向偏差角的关系
Figure 7. Relation diagram of deviation angle between laser 2 and Rx direction
-
[1] Zhang Jiyang, Li Jinyan. Feature extraction of welding defect based on machine vision[J]. China Welding, 2019, 28(1): 56 − 62.
[2] Xue Boce, Chang Baohua, Peng Guodong, et al. A vision based detection method for narrow butt joints and a robotic seam tracking system[J]. Sensors (Basel, Switzerland), 2019, 19(5): 1144. doi: 10.3390/s19051144
[3] Fan Junfeng, Jing Fengshui, Yang Lei, et al. A precise seam tracking method for narrow butt seams based on structured light vision sensor[J]. Optics and Laser Technology, 2019, 109: 616 − 626. doi: 10.1016/j.optlastec.2018.08.047
[4] Zou Yanbiao, Chen Xiangzhi, Gong Guoji, et al. A seam tracking system based on a laser vision sensor[J]. Measurement, 2018, 127: 489 − 500. doi: 10.1016/j.measurement.2018.06.020
[5] Yang Lei, Li En, Long Teng, et al. A high-speed seam extraction method based on the novel structured-light sensor for arc welding robot[J]. IEEE Sensors Journal, 2018, 18(21): 8631 − 8641.
[6] 张鹏贤, 张国强, 韦志成, 等. 坡口及焊缝表面三维轮廓的激光视觉测量[J]. 焊接学报, 2017, 38(12): 85 − 89. doi: 10.12073/j.hjxb.20160331003 Zhang Pengxian, Zhang Guoqiang, Wei Zhicheng, et al. Laser vision measurement of groove and weld surface[J]. Transactions of the China Welding Institution, 2017, 38(12): 85 − 89. doi: 10.12073/j.hjxb.20160331003
[7] 甘宏, 张超, 李林, 等. 复杂背景下激光条纹中心亚像素提取方法[J]. 光电工程, 2019, 46(02): 85 − 92. Gan Hong, Zhang Chao, Li Lin, et al. Sub-pixel extraction of laser stripe in complex background[J]. Opto-Electronic Engineering, 2019, 46(02): 85 − 92.
[8] Shah H N M, Sulaiman M, Shukor A Z, et al. Butt welding joints recognition and location identification by using local thresholding[J]. Robotics and Computer-Integrated Manufacturing, 2018, 51: 181 − 188. doi: 10.1016/j.rcim.2017.12.007
[9] Yanling Xua, Na Lva, Gu Fangb, et al. Welding seam tracking in robotic gas metal arc welding[J]. Journal of Materials Processing Technology, 2017, 248: 18 − 30. doi: 10.1016/j.jmatprotec.2017.04.025
[10] 邹焱飚, 周卫林, 陈向志. 基于深度分层特征的激光视觉焊缝检测与跟踪系统研究[J]. 中国激光, 2017, 44(4): 95 − 106. Zou Yanbiao, Zhou Weilin, Chen Xiangzhi. Research of laser vision seam detection and tracking system based on depth hierarchical feature[J]. Chinese Journal of Lasers, 2017, 44(4): 95 − 106.
[11] Zhang K, Yan M, Huang T, et al. 3D reconstruction of complex spatial weld seam for autonomous welding by laser structured light scanning[J]. Journal of Manufacturing Processes, 2019, 39: 200 − 207. doi: 10.1016/j.jmapro.2019.02.010
[12] Rodríguez-Gonzálvez P, Rodríguez-Martín M, Ramos Luís F, et al. 3D reconstruction methods and quality assessment for visual inspection of welds[J]. Automation in Construction, 2017, 79: 49 − 58. doi: 10.1016/j.autcon.2017.03.002
-
期刊类型引用(11)
1. 肖扬，高炜欣，邓国浩. 小径管X射线焊缝图像缺陷识别算法. 焊接学报. 2024(02): 82-88+133-134 . 
本站查看
2. 张婷，王登武. 基于空洞分层注意力胶囊网络的X射线焊缝缺陷识别方法. 宇航计测技术. 2024(02): 45-51 . 百度学术
3. 邓克剑，王艺澔，李璐，武志华. 核电站密集型穿孔塞焊自动焊技术研究. 建筑机械. 2024(07): 154-157 . 百度学术
4. 贾瑞燕，李海超，魏方锴，徐勇，周宇飞. 基于三维点云的磁极焊缝识别及机器人轨迹生成技术. 焊接学报. 2024(11): 50-54 . 本站查看
5. 梁小虎. 基于傅里叶变换的焊缝表面裂纹图像识别技术研究. 中国特种设备安全. 2024(12): 49-54+60 . 百度学术
6. 张晓冬，张国范，刘金平，李竹渊，潘国伟，王毅. 钢筋预埋件焊接技术综述. 金属加工(热加工). 2023(01): 26-31 . 百度学术
7. 罗辉，崔亚飞. 改进粒子群的机器人焊缝轨迹高效识别及精确路径规划算法研究. 自动化与仪器仪表. 2023(10): 191-195 . 百度学术
8. 王睿，胡云雷，刘卫朋，李海涛. 基于边缘AI的焊缝X射线图像缺陷检测. 焊接学报. 2022(01): 79-84+118 . 本站查看
9. 董亚男. 基于机器视觉的光电传感器焊缝自动识别方法. 制造业自动化. 2022(03): 180-184 . 百度学术
10. 张帆，泮佳俊，刘腾，张浩，李佩齐. 基于机器视觉的焊缝识别研究现状与发展趋势. 电焊机. 2022(07): 24-33+61 . 百度学术
11. 夏攀，马飞，王中任. 基于改进U-Net模型的焊缝特征提取. 激光与红外. 2022(08): 1259-1264 . 百度学术
其他类型引用(10)
下载:
计量
- 文章访问数: 539
- HTML全文浏览量: 17
- PDF下载量: 16
- 被引次数: 21
