-
随着国内制造强国战略任务的提出，信息技术与制造技术正在加速融合，智能制造逐渐成为一种新型的生产方式[1]. 焊接技术作为一种传统的材料加工连接技术，追求高质量、高效率、高精度的发展前景，特别是在船舶、航天设备、桥梁等大型复杂结构的制造过程中，对中厚板焊接技术提出越来越高的要求. 等离子弧具备能量密度高、电弧挺度大、等离子流力强的特点[2]，对应开发的穿孔等离子弧焊设备具有良好的工艺性能，接头内部缺陷率低、焊件变形小[3-4]. 等离子弧焊技术可以克服传统焊接技术工艺复杂、效率低下等缺点，提高焊接质量和生产效率，在现代工业生产中具有极大的应用潜力.
穿孔等离子弧焊过程中，熔池前部在持续的等离子弧作用下会形成一个贯穿工件的小孔. 小孔的状态，也称熔池熔透状态，决定了工件是否完全熔透，是影响焊接过程稳定性和焊接接头质量的重要因素. 在实际焊接过程中稳定穿孔焊接的规范参数范围窄，容易造成间断性的熔透、未穿孔等质量缺陷问题，限制了等离子弧焊技术在工业领域的广泛应用[5]. 因此等离子弧焊熔池熔透状态的准确检测成为一个亟待解决的问题. 在实际焊接过程中，焊接工作者采用工业相机获取熔池图像，提取熔池尺度等几何特征信息，并根据这些特征信息判断熔池熔透状态，但这种方式容易忽略电弧状态、熔池灰度等隐含特征信息，导致判断结果不准确. 而深度学习算法[6]在图像特征提取和识别领域中表现效果优异，为熔池熔透状态预测提供了新的思路.
近年来，卷积神经网络 (convolutional neural network, CNN) 在传统的焊接熔池图像处理领域取得了重大进展. 覃科等人[7]为了通过熔池图像对焊接状态进行判断，提出了一种CO2气体保护焊熔池状态识别卷积神经网络. 使用预处理的熔池图像作为网络输入，从而避免了人工提取图像特征的主观性产生的不良影响，同时使用RELU激活函数、随机Dropout及SVM分类器，降低了样本集稀少可能出现的网络过拟合现象. 虽然此网络在识别速度和识别率方面取得了优良的性能表现，但它只能建立熔池特征参数与熔透状态的关系，预测仅仅依靠熔池图像的边缘信息并不能充分利用熔池内部包含的丰富信息. 李海超等人[8]针对建立熔池与熔透状态的关系问题，提出一种基于卷积神经网络的钨极气体保护焊(gas tungsten arc welding, GTAW)背面熔透预测模型，建立了熔池边缘，反光点位置和熔池尾部等特征与背面熔透情况的关系，具有良好的预测效果. Li等人[9]为了支持控制焊接接头在工业生产线上的应用，提出了一种基于CNN的焊缝熔透状态识别方法. 使用一种先进的熔池传感系统来同时捕捉反射的点结构激光图案和相应的焊缝背面图像，达到较好的识别精度.
基于CNN在传统焊接工艺熔池图像处理上取得的优良效果，展现了CNN对等离子弧焊熔池图像处理的优良前景. 刘新锋[10]基于在ImageNet数据集上预训练的AlexNet网络进行迁移学习，建立深度学习训练模型，得到正面熔池图像特征与熔池熔透状态的内在关联，实现了熔池熔透状态的准确预测，模型精度达90%以上，为等离子弧焊提供了一个有前景的检测方式.
尽管深度学习模型在传统焊接工艺方式下的熔池图像分类任务中具备良好表现，但由于等离子弧焊方式下的正面熔池图像电弧干扰更大、图像细节更多、不同熔池熔透状态下的图像区分度更小，导致结构简单的CNN网络难以实现更高精度的熔透状态分类效果. 因此为了满足等离子弧焊实际工业应用需求，熔透状态的分类准确率仍需要进一步提升，基于残差激励网络的设计思想，改进ResNet50网络结构，同时提取熔池图像的空间特征信息和通道特征信息，提出了一种融合图像空间特征信息和通道特征信息的等离子弧焊熔池熔透状态预测模型PCSCNet，并且使用数据预处理和数据增强的方法来处理数据集，在等离子弧焊正面熔池图像数据集上进行模型训练和测试，实现等离子弧焊熔池熔透状态高精度、高可靠性的预测.
-
试验所用的等离子弧视觉检测平台示意图如图1所示，由等离子弧焊系统和侧向视觉检测系统两部分组成.
图 1 等离子弧视觉检测平台示意图
Figure 1. Diagram of plasma arc visual detection platform
等离子弧焊时采用等离子弧焊系统进行不同参数条件下的焊接试验，在焊接试验时采用侧向视觉检测系统同步采集实时图像. 等离子弧焊系统主要包括等离子弧焊机、电源、冷却水箱、气瓶等；侧向视觉检测系统主要包括工业CCD摄像机、图像采集卡、滤光片以及图像处理程序.
侧向视觉检测系统中两台工业CCD摄像机分别捕获正面焊接熔池和熔孔出口图像. 其中CCD1垂直于焊缝的侧面，用于拍摄完整、清晰的正面熔池图像，CCD2从工件背面同步监控熔孔出口. 两台工业CCD摄像机同时工作，以30 帧/s的帧速率和640像素 × 320像素的分辨率捕获图像. 对厚度为6 mm的不锈钢板焊接过程进行拍摄，采集卡同时采集两台工业CCD摄像机拍摄到的熔池图片.
该试验设计开展 16组恒流等离子弧焊工艺试验，试验时采用 6 mm 厚度的不锈钢板进行焊接，采用侧向视觉检测系统捕捉清晰的正面熔池图像，背面熔孔 CCD 检测传感装置，获取熔池熔透状态及制备图像标签. 其中，分别设计逐渐增大焊接电流、焊接速度、等离子气体流速和电弧电压的试验，以获取不同焊接工艺参数下熔池图像数据. 16组试验参数如表1所示.
表 1 焊接工艺参数
Table 1. Welding paraments
试验
编号氩气流量
Q/(L·min−1)焊接电流
I/A焊接速度
v/(mm·min−1)电弧电压
U/ V1 2.6 125 120 29.12 2 2.6 130 120 30.06 3 2.6 135 120 30.99 4 2.6 140 120 31.93 5 2.6 145 120 32.86 6 2.6 150 120 33.80 7 2.6 125 90 35.10 8 2.6 125 100 35.24 9 2.6 125 110 35.38 10 2.6 125 120 35.52 11 2.6 125 130 35.66 12 2.4 125 120 29.79 13 2.6 125 120 30.02 14 2.8 125 120 30.24 15 3.0 125 120 30.47 16 3.2 125 120 30.69 试验采集共10 176对图像，其中每组试验中大约采集600 ~ 700对图像. 每对图像包括一个正面熔池图像和一个背部小孔出口图像，组成该试验的数据集，并按照3∶1∶1的比例分配训练集、验证集和测试集，试验数据分布情况如表2所示.
表 2 数据集中样本数量
Table 2. Sample quantity in data set
个 数据集 穿孔状态样本数n0 未穿孔状态样本数n1 训练集 3 267 2 801 验证集 1 088 946 测试集 1 088 946 -
在构建数据集的过程中，预处理是去除图像噪音的关键步骤，同时对图像数据进行预处理可以简化数据，提高网络模型的训练速度，从而提升图像特征提取和识别的可靠性. 工业CCD摄像机采集图像的原始像素值是640像素 × 320像素. 而根据实际观察熔池和电弧区域集中于上部图像的中心，因此为了减少熔池图像信息中的无用干扰，把原始图像根据目标区域进行裁剪形成371像素 × 320像素. 同时为了适应网络模型的输入形式，在实际输入时将图像大小调整成224像素 × 224 像素. 相比于大型数据，试验数据集10176对图像的数据集容量相对较小. 而数据量过小通常会使CNN在训练过程中出现过拟合问题，因此为了获得更高的准确率，使用数据增强的方法对原始数据集进行扩充，例如缩放、翻转、旋转、放大以及亮度变化等，从而增加样本数量. 如图2所示. 然后使用特征归一化将特征的数值缩放到一个度量相同的区间内，消除特征之间的量纲，避免某一特征对整体数据起到决定性的作用. 并且采用线性函数归一化的方式，将数据映射到(0,1)区间内，从而达到消除量纲的目的. 函数归一化方式为
图 2 数据增强图样例
Figure 2. Sample diagram of data enhancement
$$ {X_{{\rm{norm}}}} = \frac{{X - {X_{\min }}}}{{{X_{\max }} - {X_{\min }}}} $$ (1) 式中：Xnorm为函数归一化值；
$ X $ 为原始数据；$ {X_{\min }} $ 为最小值；$ {X_{\max }} $ 为最大值. 特征归一化让基于梯度优化方法的神经网络求解更快，各个参数的更新速度一致，从而避免更新路径呈现Z字型，同时也避免了某些数值过大或过小导致的计算问题，对各个数据之间的重要性进行平均，避免某些特征因量纲太小而被其它特征淹没. -
CNN是以卷积算子为基础搭建的神经网络，是目前计算机视觉应用领域代表性最强、应用最广的算法之一[11]. CNN主要的优点是可以模拟人的视觉，以一个较小的感受野从局部提取图像的抽象特征，经过网络连续的学习实现图像分类任务. CNN基本结构一般由输入层、卷积层、池化层、全连接层和输出层构成，卷积层和池化层交替设置，之后将提取的特征图进行展平处理后形成一维的特征向量输入全连接层，经过输出层输出结果. 图3为一个简单的CNN模型结构.
图 3 CNN结构示意图
Figure 3. CNN structure diagram
在计算机视觉图像分类预测任务中模型性能是评价模型是否适合实际生产应用需求的重要指标，而提升网络性能的一个主要方法是增加网络深度，但网络层数的盲目加深极容易导致网络在反向传播的时候出现梯度消失或梯度爆炸的现象. He等人[12]提出的ResNet证明了深度学习网络能够继续增加网络层数，而且残差块结构的提出有效缓解了深层网络梯度的问题. 残差块单元结构如图4所示.
图 4 残差块单元结构
Figure 4. Residual block element structure
ResNet50首先经过一个卷积层和池化层，然后经过4个残差块，得到图像的特征后输入到全连接层中进行预测分类. ResNet延续了深度卷积神经网络(visual geometry group network, VGGNet)中使用小卷积核堆叠扩大感受野的思想，网络结构主要使用3 × 3的小卷积核进行搭建.
在残差块中首先经过不会改变特征图形状的卷积，再经过一个批量归一化层后，使用RELU函数进行激活，该条线路可以被称为主线路. 残差块中的“捷径”是将输入数据
$ X $ 跳过这两个卷积层与主线路的输出进行元素级相加，之后再经过一次RELU激活得到输出数据，“捷径”让数据能够更快地传播并缓解了梯度消失等问题的发生. 基于以上残差网络的特性，选用ResNet50作为模型的骨干网络. 由于等离子弧焊过程中产生的弧光会导致熔池图像特征的淹没，干扰模型空间特征的提取. 并且在等离子弧焊的工业生产过程中需要同时考虑预测精度和预测速度的实际问题. 需要对骨干网络进行改进，以满足熔池图像检测的需要. -
传统神经网络中的卷积变换，是将各个通道的卷积结果进行求和之后进行输出，即
$$ {\boldsymbol{U}} = F({\boldsymbol{X}}) = \sum\limits_{i = 1}^{C'} {v_{\rm{c}}^i{x^i}} $$ (2) 式中：
$ {\boldsymbol{U}} $ 为该层最终的输出矩阵，$ {\boldsymbol{U }}\in {R^{H \times W \times C}} $ ；$ X $ 为对应层输入特征矩阵，$ {\boldsymbol{X}} \in {R^{H' \times W' \times C'}} $ ；$ F $ 为由$ {\boldsymbol{X}} $ 转为$ {\boldsymbol{U}} $ 的卷积操作；$ v_{\rm{c}}^i $ 为一个卷积核，用于学习特征空间关系，但传统卷积计算是对各个通道的卷积结果直接进行相加，通道特征关系与卷积核学习到的空间特征关系结合在一起. 这种传统卷积计算中的卷积操作只是实现对图像空间上的特征融合，没有考虑到不同通道间的特征融合，由于每个通道的重要程度不同，通道特征也是极为关键的分类特征.为了优化传统卷积忽略特征图通道信息的问题，Hu等人[13]提出了一种压缩和激励网络(squeeze and excitation network，SENet)，其主要模块压缩−激励(squeeze and excitation，SE)模块结构如图5所示，能够在保持原通道数并且不引入新的特征维度的情况下，充分利用特征通道间的关系，并利用反向传播学习每个特征通道的权重系数，该权重系数代表着该通道的重要程度，不同重要程度的通道配置不同的权重，最后按照权重大小去提升对分类重要的特征，抑制对分类无用的特征，以此来提升网络分类性能.
图 5 SE模块的总体结构
Figure 5. Overall structure of SE module
首先是压缩操作，为了使网络模型学习特征通道的信息，将得到的特征图
$ {\boldsymbol{U }}$ 沿空间维度的方向进行特征压缩，将每个特征通道都压缩成一个实数，从而利用这个实数来代表所对应的特征通道的全局分布. 因此特征图$ {\boldsymbol{U}} $ 中的$ C $ 个特征通道的特征图变成了$ 1 \times 1 \times C $ 的特征图，压缩操作输出的实数数量与输入的特征通道数量相同. 该操作即为图5中的$ {F_{{\rm{sq}}}}() $ .$$ Z = {F_{sq}}({\boldsymbol{U}}) = \frac{1}{{W \times H}}\sum\limits_{i = 1}^W {\sum\limits_{j = 1}^H {{u_c}(i,j)} } $$ (3) 式中：
$ Z $ 为压缩操作后的结果；$ W $ ，H为输入特征图的尺寸；$ C $ 为输入特征图的通道数；$ {u_c}(i,j) $ 则代表输入特征图第$ C $ 个通道中第i行第j列的值.通过压缩操作得到了全局描述特征，接下来为了学习通道之间的非线性关系，从而降低模型复杂度以及提升模型的泛化能力，SENet提出了激励操作，通过引入一个参数
$ {W_{\rm{t}}} $ 来为每个特征通道生成相应权重，权重的不同代表着特征通道的重要程度的不同，即图5中的$ {F_{{\rm{ex}}}}() $ .$$ S = {F_{{\rm{ex}}}}(Z,{W_{\text{t}}}) = \sigma [({W_2}\delta ({W_1}Z))] $$ (4) 式中：
$ \delta $ 和$ \sigma $ 分别代表激活函数RELU和sigmoid.将压缩和激励两个操作学习到的各个通道的激活值
$ S $ 乘以$ {\boldsymbol{U}} $ 的原始特征来实现特征通道的重标定，即图5中的$ {F_{{\rm{scale}}}}() $ 操作.$$ \tilde {\boldsymbol{X}} = {F_{{\rm{scale}}}}({\boldsymbol{U}},S) = S {\boldsymbol{U}} $$ (5) 式中：
$ {\boldsymbol{\tilde X}} \in {R^{H \times W \times C}} $ 为SE模块的输出矩阵.SENet模块让模型可以更加关注对分类性能影响最大的通道特征，而抑制那些不重要的通道特征，从而实现对一个局部区域通道上的特征融合.
-
等离子弧焊工业生产过程中需要及时准确地对熔池状态进行预测，因此为了适应等离子弧焊的工业应用需求，需要综合考虑模型的精度和运算速度. 因此对ResNet50模型进行改造，来进行熔池图像的空间特征提取，使其获得在运算速度和精度上的综合提升. ResNet50网络结构由输入阶段、四个子序列阶段与模型输出阶段组成.
为了提升ResNet50模型的计算速度，对模型的输入部分进行调整，如图6所示. 在输入阶段，设计使用3个3 × 3的卷积核来代替原本7 × 7的卷积核. 卷积的计算消耗是卷积核长宽的二次函数[14]，因此一个7 × 7的卷积比一个3 × 3的卷积计算量大5.4倍，通过这种改进可以显著地提高计算速度.
图 6 ResNet50模型改进
Figure 6. ResNet50 model improvement
对于模型性能，通常认为模型提取的特征越多，相应的模型性能会更好. 而原始的ResNet模型在残差结构中采用的是步长为2的1 × 1卷积进行下采样，这种卷积会忽略3/4的特征映射[14]，针对于模型的这种问题，将1 × 1的卷积步长改为1，并在卷积前添加步长为2的2 × 2的全局池化层. 使模型在不改变输出形状的基础下，不忽略特征信息，从而提高模型特征提取能力.
为了使模型在提取熔池图像的空间特征的同时，能够提取图像的通道特征，将Se-block嵌入到50层的深度残差网络结构中，在ResNet50网络结构中Se-block使用全局平均池化来对特征图进行压缩，对特征图中每个通道生成相应权重，然后使用两个全连接层来实现激励操作，用于表达不同特征通道间的相关性和依赖性. 其中为了减少模型的计算量同时保持特征通道数不变，设置压缩参数为1/16来对第一个全连接层进行降维，压缩后的特征图通过RELU激活函数后，输入第二个全连接层中，第二个全连接层设置压缩参数为16，来对通道数进行还原. 使用sigmoid函数将权重归一化后将其与原始特征图进行加权，实现通道维度上的特征重标定. Se-ResNet50网络中残差模块结构如图7所示.
图 7 Se-block 结构
Figure 7. Se-block structure
对于Se-block模块在ResNet50网络结构中的嵌入位置，设计在每个bottle neck结构后都插入Se-block模块. 而ResNet的网络结构中的bottle neck具有两种不同的形式，如图8所示，分别为4个子序列第一个阶段的具有降维作用的bottle neck 1和其它阶段的bottle neck 2结构.
图 8 Se-block嵌入位置
Figure 8. Se-block embedding location
-
试验使用的计算配置如下：64位的Windows10操作系统，192 G RAM，CPU为Intel Xeon Silver 4110@2.10 GHz，GPU为NVIDIA GeForce TITAN Xp 12 GB. 试验环境为：Python = 3.6，TensorFlow-gpu = 1.13.1，Keras = 2.2.4.
-
评价指标是衡量模型性能的标准，对等离子弧熔池熔透状态的分类预测使用的评价指标有准确率(A)、精度(P)、召回率(R)、F1指数值(F1),即
$$ A = \frac{{T _{\rm{P}} + T _{\rm{N}}}}{{T _{\rm{P}} + F _{\rm{P}} + T _{\rm{N}} + F _{\rm{N}}}} $$ (6) $$ P = \frac{{T _{\rm{P}}}}{{T _{\rm{P}} + F _{\rm{P}}}} $$ (7) $$ R = \frac{{T _{\rm{P}}}}{{T _{\rm{P}} + F _{\rm{N}}}} $$ (8) $$ F_1 = 2\frac{{PR}}{{P + R}} $$ (9) 式中：TP(true positives)代表真正例，即被正确预测为正例的个数；FN(false negatives)代表假负例，即被错误预测为负例的个数；FP(false positives)代表假正例，即被错误预测为正例的个数；TN(true negatives)代表真负例，即被正确预测为负例的个数.
-
在深度学习的模型训练过程中，采用的优化方法、学习率和迭代次数等是一个重要的初始选择的设置，模型的调参是一个重要的过程. 为了找到模型最优的参数设置，在提出的PCSCNet模型上进行不同的参数对照试验，结果如表3所示. 经过试验对比，该试验过程中的最优参数设置为：epoch = 100，bitch_size = 32，lr = 0.000 1. 损失函数选用binary_crossentropy，优化器选用Adam. 同时为了提高模型的准确率以及降低损失值，优化器在设置了初始学习率后采用自动降低学习率的方法来调节学习率，设置缩放学习率的值为0.2，学习率将以
$ l_{\rm{r}} = l_{\rm{r}} f$ 的形式被减少，f为学习率缩放因子，设置检测值为val_loss，经过20个epoch后模型性能若不再提升，则会触发学习率衰减，直到设置的epoch训练完或学习率达到设置的最低值0.00001时，学习率衰减函数才会停止运行.表 3 试验参数设置
Table 3. Experimental parameter setting
试验
编号优化器 学习率
lr批大小
p迭代次数
N/次精度
P(%)1 SGD 0.001 32 100 59.14 2 Adam 0.001 32 100 95.47 3 Adam 0.01 32 100 53.56 4 Adam 0.000 1 32 100 95.84 5 Adam 0.000 1 64 100 95.57 6 Adam 0.000 1 16 100 95.28 7 Adam 0.000 1 32 200 95.17 8 Adam 0.000 1 32 50 95.15 在模型训练过程中，希望更好地拟合数据以获得最好地泛化性能，但网络模型训练过程中很容易过拟合. 通常情况下，用模型在验证集上的表现来评估模型的泛化能力. 随着网络的不断训练优化，期望模型在训练集上的损失值不断降低，精度不断提升的同时，模型在验证集上也有同样良好的表现. 反之，当模型在训练集上表现良好，但在验证集上表现较差时，一般是模型出现了过拟合的现象. 解决过拟合的问题主要有两个方向：一种是降低参数的数量，主要是剪枝[15]和权重共享[16]，另一种是降低每个参数维度的有效规模，主要是正则化的方法，如权重衰减和早停法[17]等. 试验中采用早停法来解决过拟合的问题. 通过迭代次数截取的方法，在模型对训练数据集迭代收敛之前停止迭代来防止过拟合. 把验证集的损失值作为模型监测性能的指标. 设置模型在20次迭代之后没有改进便早停来结束训练. 图9为PCSCNet模型的训练验证准确率曲线和训练验证损失曲线.
图 9 模型训练曲线
Figure 9. Model training curve. (a) loss of PCSCNet training and validation; (b) accuracy of PCSCNet training and validation
-
为了验证通道注意力模块和ResNet50改进结构等组件的作用，设计了消融试验. 以ResNet50网络作为基准方法，在此基础上依次增加通道特征提取模块(SE-ResNet50)和ResNet50改进结构(PCSCNet). 两种组合在等离子弧熔池图像数据集上的表现如表4所示.
表 4 不同网络结构对预测性能的影响
Table 4. Effects of different network structures on prediction performance
% 模型名称 准确率A 精度P 召回率R F1 ResNet50 93.02 93.24 89.17 91.16 SE-ResNet50 94.64 94.81 94.71 94.76 PCSCNet 95.55 93.42 96.19 94.79 由表4可知，通道注意力模块能够提高熔池图像特征提取能力，相比于原始网络在预测准确率和F1指标上分别提升了1.62%和3.60%. 而ResNet50改进结构可以进一步提升预测性能，在预测准确率和F1指标上分别提升了0.91%和0.03%. ResNet50模型在融合了通道注意力模块和ResNet50改进模块后，在等离子弧熔池图像数据集上预测准确率和F1指标上分别达到了95.55%和94.79%.
-
为了证明提出的模型效果，在等离子弧焊熔池图像数据集上设计一组试验，使用几种经典的图像分类方法AlexNet-trans，VGG16，ResNet50，InceptionNetV3[18]与提出的PCSCNet模型进行训练测试，并对比这5种模型在等离子弧焊熔池图像数据集上的性能表现.
表5展示了5种模型在熔池图像测试集中的综合表现，在评估模型性能好坏的时候，采用准确率、精度、召回率和F1作为模型的综合评价指标. 其中baseline模型来自文献[19]基于Alexnet网络和迁移学习设计的熔透状态预测模型，是深度学习在等离子弧焊领域应用的最新进展. 从表中可以看出PCSCNet模型在各个评价指标中都表现最好. 特别是对比于baseline模型，PCSCNet模型在准确率上有0.95%的提升，同时在F1综合指标上有8.31%的提升. 展现了PCSCNet模型不仅在预测准确率上有良好的表现，而且在综合性能上也具有显著的优越性.
表 5 模型在测试集上的性能表现
Table 5. Performance of the model on the test set %
模型名称 准确率A 精度P 召回率R F1 VGG16 90.28 88.50 92.80 90.60 ResNet50 93.02 93.24 89.17 91.16 InceptionNetV3 94.59 91.28 97.16 94.27 PCSCNet 95.55 93.42 96.19 94.79 AlexNet-trans 94.60 80.00 94.10 86.48 -
为了适应工业场景的应用，现场运行环境复杂，需要验证模型性能的可行性与可解释性，图10为正面熔池图像的主要特征点. 等离子弧焊熔池主要是由熔池前端、等离子弧、等离子云和熔池后端4个部分组成. 根据传统的人工经验，等离子弧焊的熔池熔透状态的差别主要在等离子弧和等离子云部分，熔池前端与熔池后端同样有部分差异，但差别较小. 所以传统焊接过程中的穿孔状态的判断主要依赖于观察等离子弧与等离子云的特征变化.
图 10 正面熔池图像特征
Figure 10. Front molten pool image feature
为了验证PCSCNet模型的可行性，使用Grad-CAM[20]方法对其进行视觉上的可视化解释，来显示模型的分类依据，该方法使用包含有最多特征信息的最后一个卷积层为模型中每个神经元分配权重，进行特定的关注决策. 通过生成与卷积特征图大小相同的热力图来表示不同特征对分类的影响程度. 热力图中越红的区域代表对分类决策的影响越大，越蓝的区域则代表对分类决策的影响越小.
图11为 Grad-CAM可视化结果. 图11a为原始正面熔池图像，图11b为生成的相同大小的热力图，图11c为原始图像与热力图融合后的图像. 从可视化结果可以看出，红色区域主要集中在熔孔入口附近，说明模型分类过程中主要关注于正面熔池图像的等离子弧和等离子云部分区域，这与实际焊接过程中的经验特征信息相符，验证了模型的可靠性.
图 11 Grad-CAM可视化结果
Figure 11. Grad-cam visualization results. (a) original diagram; (b) thermodynamic diagram; (c) Grad-CAM diagram
-
(1) 针对等离子弧焊的实际应用场景，通过对ResNet50的输入和残差结构进行更改并同步提取熔池图像的空间和通道特征信息，提出了一种新型的等离子弧焊熔池熔透状态预测模型PCSCNet. 模型熔透状态预测准确率达到95%以上.
(2) 使用一种基于梯度定位的深度网络可视化方法Grad-CAM来可视化模型的分类依据，与人工焊接过程中的经验特征信息相符，体现了模型熔透状态预测的依据是正确的，验证了模型的可行性.
Prediction method of plasma arc welding molten pool melting state based on spatial and channel characteristics
-
摘要: 为了提高等离子弧焊熔池熔透状态预测的准确率，满足工业应用的需求，提出了一种融合图像空间和通道特征的熔池熔透状态预测模型PCSCNet. 在该模型中对残差网络(residual network, ResNet50)结构进行改造，并融入压缩和激励网络来同时提取熔池正面图像的空间和通道特征信息. 采用恒定电流等离子弧焊试验的数据集进行测试，建立了熔池正面图像与熔池熔透状态的对应关系. 结果表明，模型预测准确率提升到95%以上. 采用Grad-CAM方法对模型进行可视化，分析并揭示了模型预测的聚焦区域，与实际熔池的图像特征进行对比，验证了模型的合理性.Abstract: To improve the accuracy of predicting the molten pool penetration state in plasma arc welding so as to meet industrial needs, this paper proposes a model called PCSCNet that integrates image space and channel characteristics. In this model, the convolutional residual network ResNet50 structure is modified and integrated into the channel attention network squeeze and excitation network to simultaneously extract spatial feature information and channel feature information from the front image of the molten pool. By testing on a dataset of constant current plasma arc welding experiments, the model establishes the corresponding relationship between the front surface image of the weld pool and the state of the keyhole. The results show that the model achieves a prediction accuracy of over 95%. Using the Grad-CAM method, the model's predicted focus area is visualized, analyzed, and compared with the actual molten pool's image features to verify the model's reliability.
-
图 9 模型训练曲线
Figure 9. Model training curve. (a) loss of PCSCNet training and validation; (b) accuracy of PCSCNet training and validation
图 11 Grad-CAM可视化结果
Figure 11. Grad-cam visualization results. (a) original diagram; (b) thermodynamic diagram; (c) Grad-CAM diagram
表 1 焊接工艺参数
Table 1. Welding paraments
试验
编号氩气流量
Q/(L·min−1)焊接电流
I/A焊接速度
v/(mm·min−1)电弧电压
U/ V1 2.6 125 120 29.12 2 2.6 130 120 30.06 3 2.6 135 120 30.99 4 2.6 140 120 31.93 5 2.6 145 120 32.86 6 2.6 150 120 33.80 7 2.6 125 90 35.10 8 2.6 125 100 35.24 9 2.6 125 110 35.38 10 2.6 125 120 35.52 11 2.6 125 130 35.66 12 2.4 125 120 29.79 13 2.6 125 120 30.02 14 2.8 125 120 30.24 15 3.0 125 120 30.47 16 3.2 125 120 30.69 
下载: 导出CSV
表 2 数据集中样本数量
Table 2. Sample quantity in data set
个 数据集 穿孔状态样本数n0 未穿孔状态样本数n1 训练集 3 267 2 801 验证集 1 088 946 测试集 1 088 946
下载: 导出CSV
表 3 试验参数设置
Table 3. Experimental parameter setting
试验
编号优化器 学习率
lr批大小
p迭代次数
N/次精度
P(%)1 SGD 0.001 32 100 59.14 2 Adam 0.001 32 100 95.47 3 Adam 0.01 32 100 53.56 4 Adam 0.000 1 32 100 95.84 5 Adam 0.000 1 64 100 95.57 6 Adam 0.000 1 16 100 95.28 7 Adam 0.000 1 32 200 95.17 8 Adam 0.000 1 32 50 95.15
下载: 导出CSV
表 4 不同网络结构对预测性能的影响
Table 4. Effects of different network structures on prediction performance
% 模型名称 准确率A 精度P 召回率R F1 ResNet50 93.02 93.24 89.17 91.16 SE-ResNet50 94.64 94.81 94.71 94.76 PCSCNet 95.55 93.42 96.19 94.79
下载: 导出CSV
表 5 模型在测试集上的性能表现
Table 5. Performance of the model on the test set %
模型名称 准确率A 精度P 召回率R F1 VGG16 90.28 88.50 92.80 90.60 ResNet50 93.02 93.24 89.17 91.16 InceptionNetV3 94.59 91.28 97.16 94.27 PCSCNet 95.55 93.42 96.19 94.79 AlexNet-trans 94.60 80.00 94.10 86.48
下载: 导出CSV
-
[1] 陈健, 苏金花, 张毅梅. 《中国制造2025》与先进焊接工艺及装备发展[J]. 焊接, 2016(3): 1 − 5. doi: 10.3969/j.issn.1001-1382.2016.03.001 Chen Jian, Su Jinhua, Zhang Yimei. 《Made in China 2025》and the development of advanced welding technology and equipment[J]. Welding & Joining, 2016(3): 1 − 5. doi: 10.3969/j.issn.1001-1382.2016.03.001 [2] 忻建文, 吴东升, 李芳, 等. 小孔型等离子弧焊条形气孔形成机理[J]. 焊接学报, 2021, 42(12): 54 − 61,86. doi: 10.12073/j.hjxb.20210414003 Xin Jianwen, Wu Dongsheng, Li Fang, et al. Formation mechanism of strip porosity in small hole plasma arc welding[J]. Transactions of the China Welding Institution, 2021, 42(12): 54 − 61,86. doi: 10.12073/j.hjxb.20210414003 [3] 武传松, 赵晨昱, 贾传宝. 穿孔等离子弧焊接工艺研究进展[J]. 航空制造技术, 2015, 58(20): 34 − 39. Wu Chuansong, Zhao Chenyu, Jia Chuanbao. Research progress of piercing plasma arc welding process[J]. Aeronautical Manufacturing Technology, 2015, 58(20): 34 − 39. [4] 何建萍, 吴鑫, 吉永丰, 等. 100 μm超薄不锈钢板脉冲微束等离子弧焊成形机理[J]. 焊接学报, 2021, 42(6): 77 − 84. He Jianping, Wu Xin, Ji Yongfeng, et al. 100 μm forming mechanism of pulsed micro beam plasma arc welding of ultra-thin stainless steel plate[J]. Transactions of the China Welding Institution, 2021, 42(6): 77 − 84. [5] 李挺, 黄健康, 陈秀娟, 等. 旁路耦合微束等离子弧热特性及焊缝成形特点[J]. 焊接学报, 2018, 39(9): 55 − 60. Li Ting, Huang Jiankang, Chen Xiujuan, et al. Thermal characteristics and weld forming characteristics of bypass coupled micro beam plasma arc[J]. Transactions of the China Welding Institution, 2018, 39(9): 55 − 60. [6] 刘建伟, 刘媛, 罗雄麟. 深度学习研究进展[J]. 计算机应用研究, 2014, 31(7): 1921 − 1942. doi: 10.3969/j.issn.1001-3695.2014.07.001 Liu Jianwei, Liu Yuan, Luo Xionglin. Research progress of deep learning[J]. Application Research of Computers, 2014, 31(7): 1921 − 1942. doi: 10.3969/j.issn.1001-3695.2014.07.001 [7] 覃科, 刘晓刚, 丁立新. 基于卷积神经网络的CO2焊接熔池图像状态识别方法[J]. 焊接, 2017(6): 21 − 26. Tan Ke, Liu Xiaogang, Ding Lixin. State recognition method of CO2 welding pool image based on convolution neural network[J]. Welding & Joining, 2017(6): 21 − 26. [8] 李海超, 刘景风, 谢吉兵, 等. 基于卷积神经网络的GTAW熔透预测[J]. 机械工程学报, 2019, 55(17): 22 − 28. doi: 10.3901/JME.2019.17.022 Li Haichao, Liu Jingfeng, Xie Jibing et al. GTAW penetration prediction based on convolutional neural networks[J]. Journal of Mechanical Engineering, 2019, 55(17): 22 − 28. doi: 10.3901/JME.2019.17.022 [9] Li C, Wang Q, Jiao W, et al. Deep learning-based detection of penetration from weld pool reflection images[J]. Welding Journal, 2020, 99(9): 239s − 245s. doi: 10.29391/2020.99.022 [10] 刘新锋. 基于正面熔池图像和深度学习算法的PAW穿孔/熔透状态预测[D]. 济南: 山东大学, 2017. Liu Xinfeng. Prediction of PAW perforation/penetration state based on frontal molten pool image and depth learning algorithm[D]. Jinan: Shandong University, 2017. [11] Gu J, Wang Z, Kuen J, et al. Recent advances in convolutional neural networks[J]. Pattern Recognition, 2015, doi: 10.48550/arXiv.1512.07108. [12] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA, 2016: 770 − 778. [13] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA, 2018: 7132 − 7141. [14] He T, Zhang Z, Zhang H, et al. Bag of tricks for image classification with convolutional neural networks[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Los Angeles, USA, 2019: 558 − 567. [15] Han S, Jeff P, John T, et al. Learning both weights and connections for efficient neural networks[C]//NIPS'15: 28th International Conference on Neural Information Processing Systems. MIT Press Cambridge,USA,2015: 1135 − 1143. [16] Pham H, Guan MY, Zoph B, et al. Efficient neural architecture search via parameters sharing[C]//International Conference on Machine Learning. PMLR, Stockholm, Sweden, 2018: 4095 − 4104. [17] 吕国豪, 罗四维, 黄雅平, 等. 基于卷积神经网络的正则化方法[J]. 计算机研究与发展, 2014, 51(9): 1891 − 1900. doi: 10.7544/issn1000-1239.2014.20140266 Lyu Guohao, Luo Siwei, Huang Yaquan, et al. Regularization method based on convolution neural network[J]. Journal of Computer Research and Development, 2014, 51(9): 1891 − 1900. doi: 10.7544/issn1000-1239.2014.20140266 [18] Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision[C]//IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA, 2016: 2818 − 2826. [19] Jia C B, Liu X F, Zhang G K, et al. Penetration/keyhole status prediction and model visualization based on deep learning algorithm in plasma arc welding[J]. The International Journal of Advanced Manufacturing Technology, 2021, 117(11): 3577 − 3597. [20] Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization[C]//IEEE International Conference on Computer Vision and Pattem Recognition. Hawaii, USA, 2017: 618 − 626. -
点击查看大图
图(11) / 表 (5)
计量
- 文章访问数: 104
- HTML全文浏览量: 10
- PDF下载量: 16
- 被引次数: 0
