Spatter analysis of rotating arc image based on multi threshold and neural network
-
摘要: 为探究旋转电弧飞溅产生原因及规律,针对高速相机采集的旋转电弧平堆焊的焊接图像,提出了一种基于掩膜的多阈值与BP(back propagation)神经网络组合方法识别焊接飞溅.多阈值法获取飞溅位置及其轮廓,再通过建立5特征值的BP神经网络模型识别飞溅.结果表明,对于具有灰度分布范围大、背景复杂的旋转电弧飞溅图像,该组合方法的识别准确率可达95.76%.同时,通过飞溅与焊丝位置的相位分析,飞溅最大数量相位均值为241.4°,即焊丝末端进入熔池后约0.14周期位置,主要是由焊丝末端熔滴与熔池接触导致电流激增,电流抑制不充分造成,该研究结果为旋转电弧焊接飞溅控制提供了依据.Abstract: To exploring the causes and rules of rotary arc spatter, a combination method of multi threshold and BP neural network based on mask was proposed to identify welding spatter in accordance with the welding images of rotary arc flat surfacing collected by high-speed camera. The multi threshold method was used to obtain the spatter position and contour, and then the spatter was identified by establishing a BP neural network model with five characteristic values The recognition accuracy of this combined method can reach 95.76% for rotating arc spatter images with complex background. At the same time, through the phase analysis of spatter and welding wire position, the average phase of the maximum number of spatters is 241.4°, that is, about 0.14 cycle position after the end of welding wire enters the molten pool. This is mainly due to the current surge caused by the contact between the droplet at the end of welding wire and the molten pool, and the insufficient current suppression, The research results provide a basis for controlling spatter in rotating arc welding.
-
Keywords:
- rotating arc /
- welding spatter /
- multi threshold processing /
- BP neural network /
- image processing
-
0. 序言
焊接飞溅是影响焊接质量的重要指标之一,能反映焊接过程的稳定性及能量利用率,控制焊接飞溅对提高焊接质量[1]有重要意义. 此外,旋转电弧传感器中,焊接飞溅对电流信号有着较大影响,探究旋转电弧飞溅产生原因及规律,有利于提高旋转电弧传感电流信号特征提取精度及提高焊接质量. 焊接飞溅的主要原因是焊接过程中的熔滴内部爆炸及液桥爆炸,而产生爆炸的主要影响因素有:焊丝成分[2]、焊接极性[3]、电弧电压和焊接电流[4-5]等. 在气体保护焊中,气体溢出、电流激增及电弧力增大均可导致飞溅[6]. 旋转电弧熔化极气体保护焊(gas metal arc welding,GMAW)焊由于存在焊丝回搅、旋转产生的离心力等,飞溅成因更为复杂.
采用高速图像记录和提取焊接飞溅是分析焊接飞溅最直接、最有效的方法. 针对熔化极惰性气体保护焊(metal inert-gas welding,MIG焊)飞溅,Shareef等人[7]采用单阈值法分割出飞溅. 针对激光焊飞溅,Haubold 等人[8]采用Otus算法二值化图像并分割出飞溅. Yang 等人[9]采用双自适应阈值方式提取到了飞溅并消除了噪声、飞溅粘连以及飞溅遗漏造成的分割误差. Huang 等人[10]采用一种自适应滤波模板对含烟尘的飞溅图像进行滤波并准确提取到了飞溅的位置轮廓等信息;Tan 等人[11]提出并行卷积神经网络和阈值神经网络方法,可提取出80.84%的飞溅点. 针对飞溅点识别,Xia等人[12]采用二维傅里叶变换与椭圆高通滤波对低频信号进行滤波并提取到了焊接工件上的飞溅点. 虽然国内外学者针对焊接飞溅研究各种提取方法,但对于背景更复杂、干扰更强烈、成因更复杂的旋转电弧焊接飞溅,这些方法均难以有效将飞溅分割.
针对旋转电弧焊接飞溅识别与提取,研究一种基于掩膜的多阈值与BP神经网络组合的新方法,并结合焊丝相位与焊接工艺参数,分析其产生原因及规律,为减少甚至消除焊接飞溅提供依据,提高旋转电弧焊接质量奠定理论基础.
1. 旋转电弧焊接系统及焊接工艺参数
为获取旋转电弧焊接飞溅图像,建立的采集系统主要由具有焊接电流抑制功能的YD-350GS焊接电源及配套送丝机(YW-35DG)、旋转电弧焊枪、焊接工件、高速相机、图形工作站、三轴机器人及其控制器等组成,如图1所示.
三轴机器人及控制器实现旋转电弧焊接运动及焊接启停控制,图形工作站与高速相机实现焊接过程图像采集,并通过控制器同步采集焊丝旋转位置、焊接电流及送丝速度等信息. 高速相机采用850 nm高通滤波片[13],拍摄帧率为2 500帧/s,曝光时间3 μs.焊接方式为平堆焊;焊接母材为Q235钢,尺寸为300 mm × 50 mm × 5 mm. 具体焊接工艺参数如表1所示.焊丝旋转方向及焊接方向关系如图2所示,点A为旋转电弧传感器起始点.
表 1 焊接工艺参数Table 1. Welding process parameters焊接电流
I/A电弧电压
U/V保护气体 气体流量
Q/(L·min−1)焊丝直径
d/mm焊丝伸出长度
l/mm焊接速度
v/(mm·s−1)旋转频率
f/Hz180 24 20%CO2 + 80%Ar 12 1.2 15 5 20 2. 基于掩膜的多阈值飞溅提取
为探寻旋转电弧焊接飞溅提取的合适方法,首先需对旋转电弧焊接飞溅特征进行分析. 图3为含有焊接飞溅的旋转电弧图像. 由图3可知,旋转电弧焊接飞溅含有多个不同的灰度值,其背景有电弧、烟尘、焊接熔池等,基于该飞溅图像特征分析,提出了一种基于掩膜的多阈值飞溅区域提取方法. 首先对飞溅图像进行预处理,去除噪声;再采用多阈值处理,获取飞溅区域;最后,通过电弧与熔池掩模去除掉落于熔池内部的飞溅.
2.1 飞溅图像预处理
由于焊接过程中会有多种噪声干扰,主要来源于焊接过程中的大电流造成的强磁场,表现为椒盐噪声及高斯噪声. 为避免在多阈值处理过程中造成干扰,采用中值滤波(图4)与高斯滤波处理图像,高斯卷积核如式(1)所示.
$$ {H_{i,j}} = \frac{1}{{2{\text{π}} {\sigma ^2}}}{{\rm{e}}^{ - \tfrac{{{{(i + k - 1)}^2} + {{(j + k - 1)}^2}}}{{2{\sigma ^2}}}}} $$ (1) 式中:σ为高斯权值,取σ = 3;i, j为卷积核内相对卷积核中心坐标位置;k为卷积核半径,高斯滤波核大小为5 × 5,取k = 2;Hi, j为该卷积核在(i, j)位置的权值. 处理结果如图5所示. 从图5可以看出,该预处理基本去除了这两类噪声干扰,并保留了必要的细节.
2.2 多阈值处理
为实现多阈值处理,提出了式(2)处理方法.
$$ g(x,y) = \sum\limits_{i = a}^b {\Big \{ {{f_i}(x,y)|(x,y) \notin {D_i}} \Big \}} $$ (2) 式中:[a, b]包含飞溅灰度上下限的区域,经过对飞溅图像人工分析,飞溅的灰度值范围a = 20,b = 200;(x, y)为像素坐标;fi (x, y)为原图像在阈值为i的阈值处理之后在(x, y)处的值;Di为在阈值为i时包含在最大连通域像素点的集合;g(x, y)为阈值叠加处理之后在(x, y)处的值,处理结果如图6所示. 对于图6a中标记的飞溅点,图6b处理结果包含了所有飞溅,且包含了难分割的弱灰度值飞溅.
2.3 掩膜处理
飞离熔池的飞溅会造成熔池的热量及质量减少,因此以飞离熔池的飞溅为主要研究对象. 若经过多阈值之后有n个分割结果,采用形态学表达式(3)去除熔池内飞溅.
$$ C = \sum\limits_{i = 0}^n {\left\{ {{C_i}|{C_i} \cap D \in \phi } \right\}} \;\; $$ (3) $$ D = M_{\rm{a}} \cup M_{\rm{b}} $$ (4) 式中:C为结果集;n为分割结果数;Ci为第i个连通域;D为熔池掩膜;
$\phi $ 为空集;Ma为电弧区域掩膜;Mb为熔池掩膜. 掩膜处理后,为进一步消除烟尘影响,将阈值低于2的区域去除,再以直径为3的圆形算子开操作,结果如图7所示. 从图7可知,该处理方法可去除熔池内部飞溅.2.4 飞溅轮廓提取
飞溅与误检测飞溅的区别主要在于该连通域的轮廓特征及其周边环境. 因各飞溅灰度值变化较大,采用飞溅连通域外接矩形的ROI内灰度值计算该飞溅分割阈值T,即
$$ T = \frac{{1.5}}{{mn}} \cdot \sum\limits_{i = 1}^m {\sum\limits_{j = 1}^n {f(i,j)} } $$ (5) 式中:(i, j)为像素坐标;f (i, j)为原图(i, j)处像素值;m,n分别为该ROI的高宽. 处理结果如图8所示. 从图8可知,灰度值较低的飞溅可提取出,得出多阈值方法是可行的,但有些并非飞溅的点也被提取,如图8b中的6,11号为烟尘.
3. 基于多层BP神经网络飞溅识别
多阈值处理后仍有一些因熔池反光、熔滴光斑及烟尘烟雾光斑产生的误检测,如图9所示.
为将误检测飞溅去除,提出基于BP神经网络的飞溅识别方法. BP神经网络是一种包含了多个隐含层的网络,广泛用于解决分类识别、压缩、回归等问题[14]. 该方法的特征选取、神经网络训练及飞溅识别过程如下.
3.1 飞溅特征选取及神经网络训练
将连通域的轮廓特征及周边灰度特征作为主要的神经网络训练及检测特征.
设计3层BP神经网络,以飞溅面积、圆度、外接矩形归一化图像均值、外接环形带内归一化均值、与图像边界的最小距离等5个特征值为输入层,判断结果为输出层,建立神经网络模型如图10所示.
为将训练得到的结果达到较高的准确率,测试隐含层数的数量从1到100,且每个隐含层数训练次数为10 000次,将tansig()函数作为隐含层的传递函数,采用拟牛顿法收敛训练结果,得到判断准确率η与隐含层数I0的关系如图11所示. 从图11可以看出,局部准确率虽有波动,但总体随着隐含层数是逐步上升,且上升斜率逐渐放缓. 取准确率最高值对应层数,即准确率为95.76%对应的隐含层数86作为最终结果.
3.2 飞溅特征的神经网络识别
为检测上述神经网络识别效果,建立了如图12的神经网络识别算法,并对旋转电弧试验图像进行测试. 图12中Di为输入的判定特征值,iw为输入层到隐含层的权值,lw为隐含层到输出层的权值,b1为输入层到隐含层的偏置矩阵,b2为隐含层到输出层的偏置,Mr为归一化矩阵. 图8b及包含复杂背景的图9的神经网络识别结果如图13所示. 由图13可知,BP神经网络识别的方法可识别出环境复杂的飞溅,鲁棒性较强.
4. 飞溅数量及旋转相位分析
为获得旋转电弧的相位上的飞溅数量及电流关系,采用上述方法处理并统计旋转电弧飞溅数量. 处理图像并统计焊接稳定状态的时间t内飞溅数量n,与采集到的电流I对比并划分周期,统计周期内最大飞溅数量所在相位φ,可得飞溅数量、电流与周期相位的统计如图14所示.
从图14的相位图可知,最大飞溅数量所在相位大致在194.286° ~ 288.571°之间,规律较为稳定,相位均值为241.4°(约为焊丝末端进入熔池之后约0.14周期位置),大致位置为图2中的D点,此位置为焊丝沿熔池堆高爬坡接近末端点位置. 各个周期的最大飞溅数量对应飞溅图如图15所示.
由图2可知,焊丝在旋转过程中,CD段是爬坡过程,电流会急剧增大;DA段是下坡过程,电流逐渐下降;ABC段既无爬坡也无下坡,故电流较稳定;图15中电流图基本符合该规律,但由于焊接电源对电流剧增的抑制及熔池液面的振荡,导致各周期中出现电流剧增的多次出现.
从图15中的飞溅数量及对应电流图可知,最大飞溅基本都出现在电流急剧增大后,但最大飞溅位置并非即刻出面在电流剧增结束位置,而是大多数呈现一定的滞后(如图15中1,3,5,7,8等周期). 飞溅峰值滞后主要原因是飞溅产生后需先从熔池内飞行至熔池外才进行统计,且由于掩膜的各向异性,造成飞溅沿不同方向飞出熔池时间不同,带来的滞后性的变化. 飞溅飞行方向的差异还造成飞溅在相机视角内出现时间不同,如图15中飞溅数量图的第6周期中,飞溅在相机视角内飞行时间较长,导致连续帧中均统计到相同飞溅,如图16所示.
对最大飞溅数量滞后性影响因素还有试验所选焊接电源带有电流剧增时电流抑制功能,虽然该抑制策略是针对非旋转电弧焊,但显然影响液桥爆炸程度,典型的如图15中飞溅数量图中第5,8周期,焊接电源虽然对电流剧增反复抑制,但仍有飞溅产生,且抑制后再次电流剧增所产生的飞溅数量更多. 此外,图15中的飞溅数量图第7个周期内最大飞溅数量位置前一峰值并无焊接电流的剧增,经过对飞溅图像分析,主要原因为统计了落在工件上的飞溅点及前一周期中由于飞行角度在熔池内部被遮挡,导致部分飞溅在后一周期出现,如图17所示.
从上述分析可知,虽然飞溅飞行角度、电源对电流剧增抑制、落于工件上的飞溅点对飞溅最大数量及位置造成了干扰,但飞溅的主要成因为旋转电弧爬坡过程中液桥迅速减小,电流激增,而电流抑制不充分,造成从而造成液桥爆炸产生飞溅.
5. 结论
(1)采用基于掩膜的多阈值方法可无遗漏的分离出所有飞溅位置,提取到飞溅轮廓;采用BP神经网络对飞溅特征参数进行判断,获得了95.76%的识别率,也为其它焊接飞溅识别提供了一种新方法.
(2)通过旋转电弧飞溅的数量与旋转相位分析,得出了飞溅最大数量的相位均值为241.4°,即焊丝末端进入熔池之后约0.14周期位置.
(3)分析了旋转电弧焊接飞溅产生原因及规律,主要是由焊接过程中电流激增而抑制不充分造成.
-
表 1 焊接工艺参数
Table 1 Welding process parameters
焊接电流
I/A电弧电压
U/V保护气体 气体流量
Q/(L·min−1)焊丝直径
d/mm焊丝伸出长度
l/mm焊接速度
v/(mm·s−1)旋转频率
f/Hz180 24 20%CO2 + 80%Ar 12 1.2 15 5 20 -
[1] You D, Gao X, Katayama S. Monitoring of high-power laser welding using high-speed photographing and image processing[J]. Mechanical Systems and Signal Processing, 2014, 49(1/2): 39 − 52.
[2] 刘西洋, 徐锴, 杨淼森, 等. 基于表面张力的氧化物组分及含量对焊接飞溅的影响[J]. 焊接, 2020(8): 22 − 25. Liu Xiyang, Xu Kai, Yang Miaosen, et al. Effect of component and content of oxide based on surface tension on welding spatter[J]. Welding & Joining, 2020(8): 22 − 25.
[3] 张恒铭, 石玗, 李春凯, 等. 极性对细直径自保护药芯焊丝CMT下熔滴过渡及焊缝成形的影响[J]. 焊接学报, 2021, 42(8): 75 − 81. doi: 10.12073/j.hjxb.20210419001 Zhang Hengming, Shi Yu, Li Chunkai, et al. Effect of polarity on droplet transfer and weld formation of fine diameter self shielded flux cored wire under CMT[J]. Transactions of the China Welding Institution, 2021, 42(8): 75 − 81. doi: 10.12073/j.hjxb.20210419001
[4] Lü Xiaoqing, Cao Biao, Zeng Min, et al. Effects of current waveform parameters during droplet transfer on spatter in high speed waveform controlled Short-circuiting GMAW[J]. China Welding, 2005, 14(2): 121 − 124.
[5] Kang S, Kang M, Jang Y H, et al. Droplet transfer and spatter generation in DC-AC pulse tandem gas metal arc welding[J]. Science and Technology of Welding and Joining, 2020, 25(7): 589 − 599. doi: 10.1080/13621718.2020.1786262
[6] 孔海旺, 李科, 王金波, 等. CO2气体保护焊熔滴过渡与飞溅的研究[J]. 热加工工艺, 2017, 46(11): 235 − 237. Kong Haiwang, Li Ke, Wang Jinbo, et al. Study on droplet transfer and spatter in CO2 gas shielded arc welding[J]. Hot Working Technology, 2017, 46(11): 235 − 237.
[7] Shareef I, Martin C. Effect of process parameters on weld spatter in robotic welding[C]//Procedia Manufacturing. 48th SME North American Manufacturing Research Conference. Cincinnati, Ohio, USA, 2020, 48: 358 − 371.
[8] Haubold M W, Zäh M F. Real-time spatter detection in laser welding with beam oscillation[C]//Procedia CIRP. 12th CIRP Conference on Intelligent Computation in Manufacturing Engineering. Gulf of Naples, Italy, 2019, 79: 159 − 164.
[9] Yang D, Li H, Liu S, et al. In situ capture of spatter signature of SLM process using maximum entropy double threshold image processing method based on genetic algorithm[J]. Optics & Laser Technology, 2020, 131(6): 106371.
[10] Huang Y, Hua X, Li F, et al. Spatter feature analysis in laser welding based on motion tracking method[J]. Journal of Manufacturing Processes, 2020, 55(4): 220 − 229.
[11] Tan Z, Fang Q, Li H, et al. Neural network based image segmentation for spatter extraction during laser-based powder bed fusion processing[J]. Optics & Laser Technology, 2020, 130(3): 106347.
[12] Xia X, Jiang Z, Xu P. A detection algorithm of spatter on welding plate surface based on machine vision[J]. Optoelectronics Letters, 2019, 15(1): 52 − 56. doi: 10.1007/s11801-019-8104-7
[13] Zhao Z, Deng L, Bai L, et al. Optimal imaging band selection mechanism of weld pool vision based on spectrum analysis[J]. Optics & Laser Technology, 2019, 110(9): 145 − 151.
[14] 陈明. MATLAB神经网络原理与实例精解[M]. 北京: 清华大学出版社, 2013. Chen Ming. The principle of MATLAB neural network and the detailed explanation of examples[M]. Beijing: Tsinghua University Press, 2013.
-
期刊类型引用(3)
1. 喻伟,高延峰. 基于焊枪摆动和电弧旋转的对接焊缝偏差识别. 黑龙江工程学院学报. 2024(01): 1-8 . 百度学术
2. 肖典,蒲柯伶,褚卓楠,方乃文,武鹏博,吴斌涛. 基于机器学习的电弧行为识别与特征分析. 焊接学报. 2024(05): 84-89 . 本站查看
3. 周晓晓,徐佳琛,朱大伟,黄勇. 弧焊过程质量监测研究现状. 电焊机. 2023(09): 99-107 . 百度学术
其他类型引用(0)