Arc behaviour recognition and characterization analysis by using machine learning
-
摘要:
电弧熔丝增材制造过程中电弧行为是影响零件成形精度及质量的关键因素之一，针对电弧熔丝增材制造过程中电弧无振荡、摇摆振荡以及圆周振荡3种电弧状态的监测图像，提出一种基于局部二值模式 (local binary pattern，LBP) 与GoogLeNet神经网络结合识别电弧模式的新方法. 结果表明，通过局部二值模式获取电弧形态图像中的纹理特征，然后建立GoogLeNet神经网络模型，相比于直接对原始图像进行神经网络的训练，该方法可有效识别电弧长度、宽度以及左右最大倾角随堆积层数的变化规律，从而精准判别电弧所属状态. 针对常规存在熔池、熔滴以及复杂背景等因素干扰的电弧形态图像，该方法处理后可获得更清晰的电弧边缘轮廓，更有利于将熔池、熔滴和电弧的形态边界进行划分，最终的状态识别准确率可达99.50%，为电弧熔丝增材制造过程中的电弧状态监测提供理论参考.
-
关键词:
- 电弧状态 /
- 局部二值模式 /
- GoogLeNet神经网络 /
- 图像处理
Abstract:In this paper, we propose a new method based on the combination of local binary pattern (LBP) and GoogLeNet neural network to identify the arc patterns in the monitoring images of three types of arc states, namely, stable arc, swinging oscillation, and circumferential oscillation, in the wire arc additive manufacturing process. The results show that obtaining the texture features in the arc pattern image via local binary pattern, and then building the GoogLeNet neural network model can effectively identify the arc length, arc width, and left and right maximum inclination with the number of stacked layers, which can be used to accurately identify the arc state compared with the direct training of neural network on the original image. For the arc morphology images in where are influenced by droplets, complex background and other factors, the proposed method can achieve a clear arc edge, whichbenefics boundary identification of melt pool, droplets and arc morphology. The extract accuracy of arc state is up to 99.50%. The research outcomes will provide a theoretical reference for monitoring arc state during wire arc additive manufacturing process.
-
Keywords:
- arc state /
- local binary pattern /
- GoogLeNet neural network /
- image processing
-
0. 序言
磁弧振荡(magnetic arc oscillation，MAO)是通过外部电磁铁控制从而实现电弧的摇摆振荡或者圆周振荡，在电弧熔丝增材制造过程中，对磁弧振荡过程展开监测，有利于优化工艺参数、避免缺陷产生，对提高成形过程的稳定性与成形精度具有重要意义，同时，对于不同类别磁弧振荡模式的监测也是整个零部件制造的关键 [1]. 传统人工监测方式容易受到人为经验和主观因素的影响，存在实时监测困难、无法全面监测等问题，使得监测效率较低、难度较高，如何改善该情况具有现实意义.
随着近年来计算机视觉技术的兴起，机器学习、深度学习以及自然语言处理的不断发展，通过神经网络对电弧增材制造过程进行监测逐渐变为可能[2]. 蒋伟琪等人[3]采用RBF-BP 组合神经网络对焊接过程进行监测，结果表明该模型对焊接环境负荷的产生量预测准确，平均误差仅为6.63%；汤泉等人[4]采用BP神经网络对焊接飞溅特征参数进行判断，获得了95.76%的识别率；孙家豪等人[5]采用Hermite 插值的方法，建立广义回归神经网络模型对焊缝轮廓进行预测，结果与试验吻合良好，获得了99.48%的准确度. 神经网络作为目前应用最多的机器学习方法，能够通过虚拟试验探究微观结构对产品特性的影响[6]、解决复杂的多尺度及多物理场问题，与增材制造结合拥有巨大潜力[7]. 高昶霖等人[8]利用改进的PSO-BP神经网络模型能够明显提升焊接缺陷成因诊断的效率和精度，具有较好的工程应用价值. 随着互联网技术的发展，在大量图像中精确、快速地检索所需的图像已成为研究热点[9]，由此可见，通过训练图像使计算机能够识别电弧状态，是实现过程监测的重要切入点，直接对焊接过程原始图像进行训练是最简洁的方式，但原始图像中存在复杂背景、熔滴及熔池等因素的干扰，使得训练结果并不可观，如何有效解决原始图像中的干扰，提高电弧状态识别的成功率，仍面临巨大挑战.
文中针对复杂环境下电弧状态特征的提取，提出一种基于局部二值模式与GoogLeNet神经网络[10]结合的新方法，该方法通过结合不同沉积层数下电弧的长度、宽度及左右倾角的演变规律，有效提高了电弧状态的识别成功率，为进一步的完善计算机过程监测奠定了基础.
1. 试验设备及焊接工艺参数
磁弧振荡增材制造系统主要由焊枪、磁弧振荡源(电磁线圈)、送丝机以及气体保护罩组成，如图1所示，磁弧振荡源可将电弧的振荡模式分为无振荡、圆周振荡和摇摆振荡，开展钛合金电弧丝增材制造试验，设置3种不同的电弧振荡模式，采用振荡频率为10 Hz，振幅为5 mm，具体增材工艺参数见表1.
表 1 焊接工艺参数Table 1. Welding process parameters沉积电流
I/A移动速度
v1/(mm·s−1)送丝速度
vf/(mm·s−1)电极和工件
的间距d /mm电极和焊丝
的角度θ/(°)GTAW焊枪的
气体流量V1/(L·min−1)移动式惰性
气体的流量V2/(L·min−1)层间停留
时间t/s120 1 000 880 3 60 15 10 120 2. 电弧参数测量
为探究电弧形态随振荡模式及沉积层数的变化规律，对电弧的长度、宽度以及左右倾角进行测量分析. 试验采用无振荡、摇摆振荡和圆周振荡3种模式，对电弧熔丝增材制造钛合金1 ~ 5层沉积过程的电弧图像进行研究，将采集到的视频分为83帧/s，每帧对应的时间约为12 ms. 图2为不同振荡模式的电弧图像，其中图2(a)为圆周振荡在一个周期内的分帧结果，图2(b)和图2(c)分别为摇摆振荡和无振荡在相同时间内的分帧结果，图3为测量长度、宽度以及左右倾角的方式.
![]()
图 2 不同振荡的电弧图像Figure 2. Arc image of different oscillation. (a) circumferential oscillation; (b) side-to-side oscillation; (c) no oscillation图4为电弧参数趋势折线图，为了避免测量过程中电弧或摄像机抖动的影响，对测量数据进行平均处理，所得结果用折线图表示见图4(a) ~ 图4(e).图4(a)与图4(b)分别为圆周振荡型电弧的长度、宽度、左右最大倾角随层数变化的对比，电弧的长度集中在2.4 ~ 2.5 mm，宽度集中在0.6 ~ 0.8 mm，电弧的左倾角变化为17.5° ~ 20.5°，右倾角变化为20.5° ~ 25.5°，可见随着沉积层数的增高，该类型电弧长宽方面的发展趋势平稳，变化并不明显; 左右倾角的变化相对明显，呈相似的增长趋势，且右侧倾角大于左侧倾角. 无振荡型电弧不存在左右倾角，因此该组仅测量电弧长宽随层数变化对比，如图4(c)所示，电弧长度在1、2层间变化剧烈，其余沉积层变化平缓， 图4(d)与图4(e)为摇摆振荡型电弧的长宽、左右最大倾角随层数变化的对比，与圆周振荡型电弧相比，摇摆振荡型电弧的左右倾角演变规律差异较大，其中左侧倾角的变化更为明显，相应角度小于圆周振荡. 电弧随着层数累积出现形态变化现象的原因是电弧伸长量变长导致伸长部分的分压变大，电弧形态变化会进一步引起电弧特性曲线发生变化，所以不会出现电弧自调节现象，而电弧伸长量增加，伸长部分分压变大，其共同作用导致弧压变小[11]. 随着沉积层数增加，工件的散热方式由基板热传导变为以结构内部与外界环境的热辐射和热对流为主，传热速度减小，热积累增加，进而引起电弧形态变化.
![]()
图 4 电弧参数趋势折线图Figure 4. Arc parameter trend line chart. (a) length and width of the circumferential oscillation; (b) angle of the circumferential oscillation; (c) length and width of the no oscillation; (d) length and width of the side-to-side oscillation; (e) angle of the circumferential oscillation; (f) comparison of length; (g) comparison of width; (h) right inclination contrast; (i) left inclination contrast综上所述，3种振荡方式电弧的长宽随层数变化并不明显，需要在左右倾角角度方面对电弧类型进行区分，而电弧形态的变化主要是受热积累方式转变影响. 为进一步直观对比3种电弧状态的参数差异，将测量数据重新整合见图4(f) ~ 图4(i)，由图4(f)和图4(g)可知，3种模式的电弧长度在3 ~ 5层时的相关性较高，宽度方向的差异性较大，能够实现趋势预测，但对于模式识别而言，圆周振荡和无振荡仍具有较高的相关性. 图4(h)和图4(i)通过角度的数据对比，仅能对圆周振荡和摇摆振荡进行区分和趋势预测，不能够涵盖在零角度处的电弧模式识别，因此，要实现3种电弧模式的识别，仅通过数值测量的趋势难以实现，需要结合更多特征.
3. 基于局部二值特征的GoogLeNet神经网络电弧状态识别
实现对不同状态电弧形态特征的探究，采用GoogLeNet神经网络对不同种类的电弧状态进行分类识别，GoogLeNet引入了Inception结构及降维处理，在原有的Inception结构上添加3个1 × 1的卷积核，能够有效降低特征矩阵深度，进而减少参数和计算量，降维结构如图5所示.
3.1 原始图像的神经网络训练
GoogLeNet模型主要由包含多个Inception的串联结构组成，该方式可进一步增强网络的表达能力和泛化能力，Inception结构能够提取不同尺度的特征，同时减少参数和计算量，故将多个Inception结构串联，可在模型计算量较小的同时，提取更丰富的特征，从而进一步提高模型识别的准确率，此外，多个Inception结构进行串联还可用于避免梯度消失的现象出现. 随着网络层数的增加，梯度逐渐变小，进而导致梯度消失甚至无法收敛等问题，使模型无法达到预期训练效果. 通过将多个Inception结构串联，可形成深层次的网络结构，从而使得梯度能够更顺利地传递，避免出现梯度消失的问题. 具体的神经网络结构如图6所示.
为提高神经网络训练识别的准确率，采用9级Inception串联的结构，经全局平均池化以及全连接层后，以Softmax作为激活函数. 根据分帧所得的结果，分别对3个类别的原始数据样本数量进行分组,该样本数据表示圆周振荡、摇摆振荡以及无振荡3个类别中所包含的用于训练的电弧图像的数目分别为6720，7020和6921. 对原始图像不进行任何处理，直接通过GoogLeNet进行训练，完成训练后，分类准确率为32.53%，由于一共有3个类别需要进行识别，故在未经任何训练的情况下，随机抽取一组并毫无依据地说明其类别，都应有33.33%的分类准确率，然而该训练结果的分类准确率仅有32.53%，说明训练不成功，无法对电弧原始图像进行分类识别. 如图7所示，在0~500次迭代中，损失已达峰值，故无法完成目标训练要求.其中，图中的损失函数是用来估量模型的预测值与真实值的不一致程度.
3.2 局部二值模式处理
局部二值模式是用来描述图像局部特征的算子，可以抑制图像中光照、背景等干扰因素，能够达到灰度和旋转不变性的要求[12]，如图8所示. 局部二值模式原始定义为在像素的3 × 3邻域内，以邻域中心像素为阈值，将其灰度值与周围8个相邻像素的灰度值相比较，比中心大的周围像素记为1，小的记为0. 通过上述方式能够产生一个8位二进制数，将该二进制数排列后作为中心像素点的LBP值，具体处理方式见图8(a)，图中的电弧原始图像在经过局部二值模式处理后，提取出电弧的纹理特征见图8(b).该方法能够消除电弧周围模糊背景的干扰，使得电弧与周围背景具有不同的纹理质感，为在有熔滴、熔池等干扰存在下的电弧特征提取提供便利.
![]()
图 8 局部二值模式Figure 8. Local binary pattern. (a) example of LBP; (b) arc images before and after LBP processing3.3 LBP处理后神经网络训练
将训练失败的原始数据经过LBP处理后，由于图像由三通道变为了单通道灰度图，需要对网络的输入输出进行修正，统一更正为单通道图像输入，以7∶3的训练—验证比进行训练并验证训练成果，如图9所示，对于不同类别的电弧识别的准确率达到了99.5%，并且损失在200次迭代左右已经降至近零处，说明训练效果良好.
上述分析可见，由于经过局部二值模式处理，电弧图像中熔池、熔滴、背景等干扰特征被有效消除，电弧模式在神经网络中的识别成功率有大幅度提高.通过使用神经网络对电弧状态进行识别，可以对不同类别电弧的特征进行分析，其特征主要指电弧的形状，它可提供关于焊接过程中能量传递和熔化情况的信息. 电弧通常呈锥形或扁平状，分别对应无振荡时电弧的稳定状态以及添加磁弧振荡时的电弧形态.
借助电弧形状的变化，可以判断焊接过程中的能量输入和熔化情况. 在无振荡的情况下，电弧长期保持在锥形的稳定形态，而圆周振荡和摇摆振荡由于引入了磁弧振荡，导致电弧的形态在锥形和扁平状之间来回变换. 电弧形状可以影响热量在电弧中的分布，锥形电弧由于具有稳定性导致其热量分布更集中于中心区域，会带来更大的熔宽和更浅的熔深与层厚；而扁平形的电弧由于磁弧振荡引起的热量分散导致熔宽较小，熔深较大.
4. 结论
(1) 建立对不同振荡模式的电弧参数进行测量，通过左右最大倾角的变化规律实现了圆周振荡与摇摆振荡的有效识别，其中圆周振荡的角度大于同层数摇摆振荡的角度.
(2) 原始电弧图像存在背景复杂、熔滴及熔池对电弧形态判别干扰严重等因素，故仅通过长度、宽度以及左右最大倾角无法识别3种电弧模式，原始图像不适用于直接训练，需要通过其他方式获取特征.
(3) 经过LBP处理后的电弧图像具有显著的纹理特性，能够有效去除背景模糊、熔滴及熔池等因素干扰，大幅提高电弧状态的识别成功率.
-
![]()
图 2 不同振荡的电弧图像
Figure 2. Arc image of different oscillation. (a) circumferential oscillation; (b) side-to-side oscillation; (c) no oscillation
![]()
图 4 电弧参数趋势折线图
Figure 4. Arc parameter trend line chart. (a) length and width of the circumferential oscillation; (b) angle of the circumferential oscillation; (c) length and width of the no oscillation; (d) length and width of the side-to-side oscillation; (e) angle of the circumferential oscillation; (f) comparison of length; (g) comparison of width; (h) right inclination contrast; (i) left inclination contrast
![]()
图 8 局部二值模式
Figure 8. Local binary pattern. (a) example of LBP; (b) arc images before and after LBP processing
表 1 焊接工艺参数
Table 1 Welding process parameters
沉积电流
I/A移动速度
v1/(mm·s−1)送丝速度
vf/(mm·s−1)电极和工件
的间距d /mm电极和焊丝
的角度θ/(°)GTAW焊枪的
气体流量V1/(L·min−1)移动式惰性
气体的流量V2/(L·min−1)层间停留
时间t/s120 1 000 880 3 60 15 10 120 
下载: 导出CSV
-
[1] Christian G, Edward W R, Jan P, et al. Application of supervised machine learning for defect detection during metallic powder bed fusion additive manufacturing using high resolution imaging[J]. Additive Manufacturing, 2018, 21: 517 − 528.
[2] 杨志超, 周强, 胡侃, 等. 基于卷积神经网络的焊接缺陷识别技术及应用[J]. 武汉理工大学学报(信息与管理工程版), 2019, 41(1): 17 − 21. Yang Zhichao, Zhou Qiang, Hu Kan, et al. Welding defect recognition technology based on convolutional neural network and aapplication[J]. Journal of Wuhan University of Technology(Information & Management Engineering), 2019, 41(1): 17 − 21.
[3] 蒋伟琪, 黄海鸿, 刘赟, 等. 基于组合神经网络的钨极氩弧焊环境负荷预测[J]. 焊接学报, 2022, 43(10): 77 − 85. doi: 10.12073/j.hjxb.20211104002 Jiang Weiqi, Huang Haihong, Liu Yun, et al. Prediction for emission of environmental burden in GTAW based on combined neural network[J]. Transactions of the China Welding Institution, 2022, 43(10): 77 − 85. doi: 10.12073/j.hjxb.20211104002
[4] 汤泉, 石志新, 毛志伟. 基于多阈值与神经网络的旋转电弧图像飞溅分析[J]. 焊接学报, 2022, 43(12): 41 − 46. doi: 10.12073/j.hjxb.20211219001 Tang Quan, Shi Zhixin, Mao Zhiwei. Spatter analysis of rotating arc image based on multi threshold and neural network[J]. Transactions of the China Welding Institution, 2022, 43(12): 41 − 46. doi: 10.12073/j.hjxb.20211219001
[5] 孙家豪, 张超勇, 吴剑钊, 等. 基于神经网络的316L不锈钢激光焊焊缝形貌预测[J]. 焊接学报, 2021, 42(12): 40 − 47. doi: 10.12073/j.hjxb.20210526003 Sun Jiahao, Zhang Chaoyong, Wu Jianzhao, et al. Prediction of weld profile of 316L stainless steel based ongeneralized regression neural network[J]. Transactions of the China Welding Institution, 2021, 42(12): 40 − 47. doi: 10.12073/j.hjxb.20210526003
[6] Wang C, Tan X P, Tor S B, et al. Machine learning in additive manufacturing: State-of-the-art and perspectives[J]. Additive Manufacturing, 2020, 36: 101538.
[7] Qi Xinbo, Chen Guofeng, Li Yong, et al. Applying neural-network-based machine learning to additive manufacturing: current applications, challenges, and future perspectives[J]. Engineering, 2019, 5(4): 721 − 729. doi: 10.1016/j.eng.2019.04.012
[8] 高昶霖, 宋燕利, 左洪洲, 等. 基于动态权重的自适应PSO-BP神经网络焊接缺陷成因诊断[J]. 焊接学报, 2022, 43(1): 98 − 106. doi: 10.12073/j.hjxb.20210515001 Gao Changlin, Song Yanli, Zuo Hongzhou, et al. Cause diagnosis of welding defects based on adaptive PSO-BP neural network with dynamic weighting[J]. Transactions of the China Welding Institution, 2022, 43(1): 98 − 106. doi: 10.12073/j.hjxb.20210515001
[9] 孙伟, 赵玉普. 增强旋转不变LBP算法及其在图像检索中的应用[J]. 计算机科学, 2019, 46(7): 263 − 267. doi: 10.11896/j.issn.1002-137X.2019.07.040 Sun Wei, Zhao Yupu. Enhanced rotation invariant LBP algorithm and its application in image retrieval[J]. Computer Science, 2019, 46(7): 263 − 267. doi: 10.11896/j.issn.1002-137X.2019.07.040
[10] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 1 − 9.
[11] 何冠宇, 顾玉芬, 朱明, 等. 单道叠层堆焊中电弧及熔滴过渡行为检测和分析[J]. 热加工工艺, 2016, 45(19): 176 − 178. He Guanyu, Gu Yufen, Zhu Ming, et al. Detection and analysis of arc shape and droplet transfer behavior in laminated single track bead welding[J]. Hot Working Technology, 2016, 45(19): 176 − 178.
[12] 郭玲玲, 苏冬娜, 胡绍彬. 结合LBP圆形算子的CNN面部表情识别研究[J]. 微型电脑应用, 2023, 39(2): 1 − 4. doi: 10.3969/j.issn.1007-757X.2023.02.002 Guo Lingling, Su Donna, Hu Shaobin. Research on CNN facial expression recognition combined with LBP circular operator[J]. Microcomputer Applications, 2023, 39(2): 1 − 4. doi: 10.3969/j.issn.1007-757X.2023.02.002
计量
- 文章访问数: 243
- HTML全文浏览量: 51
- PDF下载量: 54
