0.   序言

焊接技术^[1-2]作为一种连接方式，因其精确、可靠、成本低等特性，在现代工业中发展迅速，发挥着不可替代的作用. 焊接过程中，焊缝金属从高温液态快速冷却至常温固态导致组织不均匀问题，同时由于坡口油污、焊材混入、焊接环境条件不稳定等因素造成各式各样的焊接缺陷，使得焊缝区域成为工业产品的薄弱环节. 随着焊接技术的进步以及各种无损检测技术^[3-5]的出现和发展，工业产品质量得到大幅提高. 其中射线检测技术(radiographic testing，RT)以其设备简便、结果直观、数据易存储等优点被工程人员所接受，得到了长期、广泛的应用. 然而RT底片缺陷的判读存在主观性强、工作强度大、劳动重复性高、效率低^[6-8]等特点. 为使RT底片缺陷检测高效、规范和智能^[9-11]，寻求一种缺陷自动识别的方法显得必要且迫切.

近年来，随着人工智能的飞速发展，人们利用深度学习技术在图像特征学习上的优势^[12]，为RT底片自动识别的研究打开了新思路. 研究人员为实现缺陷检测的标准化和智能化，提出了多种基于计算机焊缝图像的识别方法^[13]. 有别于传统方法直接对底片缺陷特征进行显式描述和提取的思想，卷积神经网络(convolutional neural network，CNN)直接从数据样本中学习特征，具有“端到端”的特点，输入为缺陷图像，输出为缺陷的分类结果^[14]，其中残差网络(residual network，ResNet)就是典型的CNN网络. HOU等人 ^[15]设计了一个对整张RT底片图像进行焊缝自动检测的深度神经网络模型，试验证明可有效识别缺陷；樊丁等人^[16]通过在CNN模型中改进激活函数以及采用超像素分割算法对图像进行像素块处理，对RT底片图像进行4分类，试验证明可缩短网络训练耗时，并且提高识别准确率；PALMA-RAMÍREZ等人^[17] 提出了一种基于ResNet50的新的CNN模型，利用分层交叉验证、数据增强和正则化用于提高泛化和避免过度拟合，对射线图像中的4种焊接缺陷(裂纹、孔隙、未焊透和无缺陷)进行分类，取得了不错的效果；SAY等人^[18]对RT底片缺陷数据集进行随机旋转、剪切、缩放、亮度调整和水平旋转等增广操作，通过优化算法构建CNN模型，在RT底片6分类任务中有优于同类产品的表现. 然而，现场缺陷类型繁多，以上研究大多局限于较少缺陷类型，不能完全适应缺陷检测工作实际情况；此外，基于CNN的多分类问题模型，本质上是高阶非线性多分类器，为提升多分类问题自动识别精度，提升传统CNN模型的非线性是模型设计的关键.

目前，射线检测底片中的缺陷种类繁多，现有的基于CNN的多分类模型在处理复杂、多类别缺陷时存在一定的局限性. 针对这一问题，结合神经记忆常微分方程(neural memory Ordinary Differential Equation, nmODE)模块高度非线性的优势，提出了一种基于ResNet的RT分类模型nmODE-ResNet，以提升人工智能模型在多分类任务中的表现. 通过对7类常见焊接缺陷(裂纹、未熔合、未焊透、内凹、咬边、夹渣和气孔)试验验证，nmODE-ResNet在识别精度和泛化能力优于现有的CNN模型.

1.   基于神经网络的图像分类方法

1.1   RseNet结构

在分类任务中，较深的卷积神经网络非线性更强，通常能够表现出更好的分类性能. 然而，深层CNN在训练过程中容易出现梯度消失的问题，使得训练变得困难.

为了解决这一问题，HE等人^[19]提出了残差网络，其通过引入残差连接，在增加网络深度的同时，缓解训练难度. 在ImageNet数据集上，残差网络实现了3.57%的错误率，并在2015年的大规模视觉识别分类任务竞赛中获得了优胜.

残差网络的优势在于其易于优化，并且能够通过增加更多的卷积层来进一步提高精度. 与其他网络结构相比，残差网络的主要区别在于其使用了残差块(residual block)，如图1所示. 残差块通过快捷连接(skip connection)在输入和输出之间直接传递信息.

图  1  残差模块示意图

Figure  1.  Diagram of residual block

下载: 全尺寸图片 幻灯片

通过使下一层的输入X近似等于输出H(x)，跳跃连接可以保证网络在后续学习中不降低准确率. 当偏差增大时，学习目标发生变化，残差网络不再学习完整输出，而是学习输出 H(x) 和输入 x 之间的差值，即残差F(x) = H(x) – x. 这种结构使得网络可以专注于学习更细微的特征变化，同时保持整体网络的稳定性和准确性. 通过引入跳跃连接，残差块能够直接将前一层的输出传递给后面的层，为梯度提供更短的路径，使得梯度能够直接流向较浅的层，从而避免了梯度在深层传播过程中消失或衰减的问题；又因为跳跃连接允许信息在不同层之间直接传递，信息在短路径上传播时不会迅速增大，所以可以避免深层网络中的梯度爆炸问题^[19]. 这一机制不仅使得深层网络的训练变得更加稳定和高效，还允许模型在增加网络深度的同时保持或提升分类性能.

1.2   nmODE原理及结构

近年来，越来越多的研究开始采用动力系统的视角来分析神经网络^[20-21]. 这种创新方法将神经网络层与时间演化相结合，通过微分方程的框架进行研究，带来了新的见解和视角. 在这些研究中，新提出且独特的是nmODE^[22-23] .

与传统的将输入视为初始状态的神经ODE范式不同，nmODE采用了一种不同的策略，即将输入作为附加信息注入模型. 这种独特的方法显著增强了其非线性表达的潜力，提高了其建模能力. nmODE能够在更长的时间跨度上捕捉复杂的动态变化，不仅提高了模型的表达能力，还使得网络在处理时间序列数据和其他复杂任务时表现出更高的灵活性和准确性. 这一视角的引入，展示了动力系统与神经网络结合的潜力，为深入理解和优化神经网络提供了新的方向.

在神经网络中，nmODE模块的结构如图2所示. 该模块基于的常微分方程为

图  2  nmODE 模块结构

Figure  2.  Diagram of nmODE structure

下载: 全尺寸图片 幻灯片

式(1)及图2中，x表示该组件的外部输入，由ResNet提取的特征提供，而y(0)则表示系统的初始状态. 方程的右侧由线性项-y和非线性项$ {\sin}^{2}(y + F(x\left)\right) $组成，线性项对应状态的衰减，非线性项则引出了复杂的动态行为，能够捕捉更高阶的特征和非线性关系. 该模块的最终输出值对应于时间T时的状态，即y(T)，其中，T设置为1. 为了计算这一状态，利用四阶龙格-库塔法，给定曲线上一个点的值与梯度值，就可以估计曲线上任何其他点的值. 这一数值积分技术是该组件运行的核心原理，通过逐步逼近真实解，确保了模型的稳定性和精确性. 结合外部输入和初始状态，nmODE可以模拟长时间动态变化的特征，允许网络灵活处理多尺度特征，提高了模型在时间序列数据等复杂任务中的适应性. 在分类任务中，nmODE模块结合外部输入和初始状态，通过动态更新提取出更具判别力的特征，从而提升分类精度.

1.3   基于nmODE-ResNet的缺陷智能分类流程

为进一步提高残差网络在缺陷识别任务的性能，利用nmODE非线性映射能力强的优势，提出了一种基于nmODE-ResNet的缺陷分类流程，如图3所示.

图  3  缺陷分类流程

Figure  3.  Diagram of defect classification workflow

下载: 全尺寸图片 幻灯片

基于nmODE-ResNet的缺陷智能分类流程具体步骤如下：首先，将焊缝RT缺陷数据集图像进行常规的图像预处理，将所有图像的尺寸调整为128 × 128像素，并对RGB三通道进行归一化处理；然后随机对图像进行水平和竖直方向的翻转操作，实现数据集增广；预处理后的数据集用于训练和验证不同深度的ResNet模型(包括18层、34层、50层和101层)，通过比较各模型的性能，选出表现最佳的模型结构作为主干网络. 最后，在主干网络中加入nmODE模块，nmODE基于常微分方程，对于连续函数有很好的逼近能力^[24]，进一步增强模型的建模性能.

2.   nmODE-ResNet模型构建

2.1   nmODE-ResNet模型

采用ResNet作为模型主干，提出的nmODE-ResNet缺陷分类模型结构如图4所示，该模型结构仅显示了nmODE-ResNet网络结构中的卷积层、池化层、全连接层和跳转连接，未绘制批处理归一化层和ReLU激活层.

图  4  nmODE-ResNet 缺陷分类模型结构

Figure  4.  Diagram of nmODE-ResNet structure

下载: 全尺寸图片 幻灯片

模型首先对输入图像进行卷积和池化操作，使用3 × 3卷积核对提取的特征进行处理，通道数为64；对尺寸为64 × 32 × 32的特征图进行步长为2的卷积运算以实现下采样，并进行数据归一化处理，得到尺寸为128 × 16 × 16的特征图；对该特征图进行步长为1的卷积运算和数据规范化；特征图经过两次步长为2的3 × 3卷积运算进行进一步下采样，得到尺寸为512 × 4 × 4的特征图. 此特征图送入一系列3 × 3卷积层进行深层次的特征提取，最终进入全局平均池化层. 在全局平均池化层之后，512个通道的特征图进入nmODE模块，进行非线性重映射. nmODE模块利用式(1)的微分方程进行映射，在 T = 1时得到输出状态 y(1)，这个过程增强了模型的非线性表示能力. 经过nmODE模块处理后的特征图，最终进入全连接层，全连接层对提取的特征进行准确分类，从而完成RT底片缺陷分类任务.

模型的设计通过引入在处理复杂和非线性特征方面具有卓越能力的nmODE模块，提高了分类性能. 试验结果表明，nmODE-ResNet在缺陷分类任务中，相较于基础的ResNet模型，具有更高的准确率和鲁棒性.

2.2   数据集准备

搜集整理承压设备制造厂以及管道安装现场含缺陷X射线底片图像，并裁剪、截取的缺陷图片；由成都市特种设备检验检测研究院3名具有国家市场监督管理总局颁发的射线检测高级(III)证书，且具有10年以上现场缺陷评判经验的检验检测人员对其中的缺陷进行评定，并投票决定缺陷类型；随后该数据集将缺陷分为裂纹、未熔合、未焊透、内凹、咬边、夹渣和气孔7类，共包含1899张图片，其中裂纹图像320张、未熔合190张、未焊透317张、内凹204 张、咬边221张、夹渣269张、气孔378张，部分缺陷图像如图5所示. 根据标准，每张射线底片需有由识别标记和定位标记组成的唯一性标记，这些标记在拍摄底片时一般由铅制数字、拼音字母和符号构成；另外还可能有表征底片灵敏度的像质计，大多像质计由不同粗细的金属丝组成，它们在底片上分别会呈现相应的亮色字符和亮色的线段. 数据集缺陷图像中，少数标记字符离缺陷较近或像质计处有缺陷显示，在裁剪过程中将这些显示保留下来. 试验中数据集每类缺陷样本按照比例7∶1∶2划分为训练集、验证集和测试集.

图  5  部分缺陷图像

Figure  5.  Diagram of partial defect images

下载: 全尺寸图片 幻灯片

2.3   分类试验结果与分析

试验搭载于Ubuntu 22.04.2操作系统、Intel Xeon Gold 5318Y CPU @ 3.30 GHz处理器和NVIDIA GeForce RTX 4090显卡，在PyTorch框架下完成算法代码编写. 模型训练采用Adam优化器、学习率$ \lambda $ = 0.0001、批量大小batch_size = 4、迭代次数epoch = 250. 训练缺陷分类模型时，七类交叉熵损失函数^[25]为

式中：i表示第i个样本；j表示第j类缺陷；N为样本总数，N = 1329；M为缺陷分类总数，M = 7；y_ij表示第i个样本为第j类缺陷的真实概率，y_ij为0或者1；$ \mathop {\hat y}\nolimits_{ij} $表示第i个样本为第j类缺陷的预测概率，为网络输出值.

为表征4种ResNet模型在测试集上的分类性能，引入准确率(A_cc)和召回率(R)指标，即

式中：TP(true positive)表示实际为正样本，预测为正样本；TN(true negative)表示实际为负样本，预测为负样本；FN(false negative)表示实际为正样本，预测为负样本；FP(false positive)表示实际为负样本，预测为正样本.

4种ResNet模型缺陷7分类任务分类结果如表1所示. 由表1分析可知，对于焊缝缺陷分类任务，模型深度与分类准确性不完全正相关. ResNet101和ResNet50分类准确率均低于ResNet34. 这是因为更多的层数和参数量导致模型在训练过程中发生过拟合，使得模型过于贴近训练集的分布，从而缺乏鲁棒性和泛化能力. ResNet34在该任务中表现最佳，准确率优于其他模型，因此选择ResNet34作为模型主干.

表  1  4种ResNet模型缺陷7分类任务分类结果

Table  1.  Classification results of 7-classification task using four types of residual networks

模型	准确率Acc(%)		召回率R(%)
	数据集缺陷		裂纹	未熔合	未焊透	内凹	咬边	夹渣	气孔
ResNet18	68.65		82.81	21.05	76.92	30.95	77.78	74.55	84.42
ResNet34	74.09		89.06	39.47	70.77	45.24	88.89	72.73	89.61
ResNet50	72.28		79.69	42.11	69.23	47.62	75.56	72.73	94.81
ResNet101	73.58		82.81	34.21	81.54	47.62	75.56	83.64	84.42

下载: 导出CSV 

| 显示表格

对于有无nmODE模块进行消融试验，研究进一步引入定量指标精确率(P)和F1系数(F1)进行评价，即

在消融试验中，ResNet34与提出的nmODE-ResNet损失函数L以及准确率(A_cc)在训练过程中的收敛情况如图6所示. 训练过程中，ResNet34的训练损失(train loss)下降速度较快，并且在早期阶段展现出更快速的收敛特性. 经过多轮训练后，两者的最终训练损失函数值几乎无差距，表明nmODE-ResNet在一定程度上保持了与ResNet34相似的学习能力. nmODE-ResNet的验证集准确率(validation accuracy)展现出更快的上升趋势，表明其在面对数据变化时具有更强的鲁棒性. 这一现象可能归因于nmODE模块中引入的动态记忆机制，使模型能够更有效地捕捉和利用长时依赖信息，从而提升了模型对新数据的适应能力. 最后nmODE-ResNet在验证集上的准确率高于ResNet34，进一步验证了该模型在处理缺陷分类任务时的优势.

图  6  训练过程中参数对比

Figure  6.  Comparison of parameters during training. (a) loss function; (b) accuracy

下载: 全尺寸图片 幻灯片

消融试验结果见表2所示. 表2中对比了ResNet34提出的nmODE-ResNet在分类性能上的结果. 由表可知，在加入nmODE模块后，通过对ResNet34提取的512 × 4 × 4特征图进行重新映射，模型分类准确率提升1.56%，这体现了nmODE模块非线性建模能力的增强. 在危害性缺陷识别表现上， nmODE-ResNet保持了对裂纹的召回率，未熔合的召回率提升18.42%，未焊透的召回率提升6.15%.

表  2  引入nmODE模块前后缺陷7分类任务结果

Table  2.  Classification results of 7-classification task before and after introducing the nmODE module

模型	指标	所有类别(%)	裂纹(%)	未熔合(%)	未焊透(%)	内凹(%)	咬边(%)	夹渣(%)	气孔(%)
ResNet34	Acc/R	74.09	89.06	39.47	70.77	45.24	88.89	72.73	89.61
	P	71.13	82.61	53.57	79.31	61.29	62.50	75.47	83.13
	F1	70.25	85.71	45.45	74.80	52.05	73.39	74.07	86.25
nmODE-ResNet	Acc/R	75.65	89.06	57.89	76.92	57.14	75.56	69.09	87.01
	P	73.38	82.61	53.66	83.33	68.57	69.39	69.09	87.01
	F1	73.17	85.71	55.70	80.00	62.34	72.34	69.09	87.01

下载: 导出CSV 

| 显示表格

相对于ResNet34，nmODE-ResNet在精度(P)和F1得分、危害性缺陷识别，对裂纹保持了性能稳定性，未熔合在F1上提高10.25%，未焊透在P和F1上提高分别为4.02%和5.20%.

由于nmODE模块更优越的抗噪能力^[21,26]，模型nmODE-ResNet相比ResNet34更能集中关注于缺陷图中的缺陷位置. 图7展示了部分缺陷的图像、ResNet34和nmODE-ResNet的梯度加权类激活映射(gradient-weighted class activation mapping, Grad-CAM)^[27]. Grad-CAM通过热力图的形式可视化神经网络对特定类别的关注区域，从而直观地反映模型的性能.

图  7  缺陷图像及相应 Grad-CAM

Figure  7.  Defect images and corresponding Grad-CAM. (a) defect images; (b) Grad-CAM of ResNet34; (c) Grad-CAM of nmODE-ResNet

下载: 全尺寸图片 幻灯片

nmODE-ResNet总参数量21.3 M，与ResNet34一致，是一个轻量化的模型，可轻松部署在任意计算机中进行分类任务. 在不增加模型复杂度、内存成本和需求情况下，提高了模型的性能.

2.4   人工对比试验结果与分析

为进一步评价nmODE-ResNet缺陷识别的性能，由成都市特种设备检验检测研究院另外3名具有国家市场监督管理总局颁发的射线检测中级(II)及以上证书和特种设备检验师证书的检验人员，对测试集中RT底片图像进行缺陷分类试验，分类过程按照检验工作规范进行，并记录各检验师缺陷评定总时间. 对RT图像焊接缺陷7分类任务，nmODE-ResNet、3名检验师的准确率及用时如表3所示，相应评判结果的混淆矩阵如图8所示.

表  3  nmODE-ResNet和3名检验师的分类对比试验

Table  3.  Classification accuracy and time consumption of nmODE-ResNet and three tnspectors

	准确率Acc(%)	用时t/min
nmODE-ResNet	75.65	＜0.13
检验师1	77.89	≈109
检验师2	71.85	≈114
检验师3	67.37	≈96

下载: 导出CSV 

| 显示表格

图  8  nmODE-ResNet 和 3 名检验师评判结果混淆矩阵

Figure  8.  Confusion matrix of the results by nmODE-ResNet and three inspectors. (a) nmODE-ResNet; (b) inspector 1; (c) inspector 2; (d) inspector 3

下载: 全尺寸图片 幻灯片

表3显示，与3名检验师比，nmODE-ResNet在焊接缺陷7分类任务中的分类准确性排名第二，优于检验师人均水平，用时仅0.13 min，远低于检验师的平均用时，试验表明，nmODE-ResNet RT缺陷分类系统能够在保证准确率基础上显著提高工作效率. 由图8可见，对于夹渣类缺陷，nmODE-ResNet准确性(69.09%)低于检验师(85.71%，71.43%，85.71%)，原因可能在于检验师具有丰富的背景知识，例如夹渣可能产生出现的部位、边缘弧度和黑度分布等；对于裂纹和气孔类特征典型的缺陷，nmODE-ResNet准确率分别为89.06%和87.01%，接近或略低于检验师准确率(87.50%，94.74%，93.75%，94.74%，93.75%和94.74%)，但其准确率在实际检验工作中可接受.

从混淆矩阵中还可以看出，检验师分类准确率在不同种类缺陷中分布不同，个别检验师在裂纹、气孔、夹渣等类别上表现较好，但整体准确率较nmODE-ResNet略低；同时表明人工评判中的主观性和一致性有待提高，特别在未熔合、未焊透和咬边这类位于焊缝根部、有较高相似性的缺陷进行评判时，检验师评判容易发生类别混淆，而nmODE-ResNet则表现较好，一致性更高.

3.   结论

(1) 提出nmODE-ResNet模型通过在ResNet34基础上引入nmODE模块，模型分类准确率提升1.56%. 结果表明，nmODE模块的非线性建模能力在不增加复杂度的前提下，增强了模型在缺陷图像7分类任务上的表现.

(2) 试验结果数据显示，深度人工神经网络模型的深度与RT缺陷多分类精度并非正相关. 与ResNet50和ResNet101相比，ResNet34表现出了更高的准确率和更好的鲁棒性.

(3) 在数据集准备方面，通过对含缺陷焊缝X射线底片图像进行剪切，保证了模型训练数据集的多样性和代表性. 数据集每个缺陷类别样本数量均按7∶1∶2的比例划分为训练集、验证集和测试集，确保了试验结果的可靠性.

(4)通过nmODE-ResNet与人工缺陷分类试验的结果对比表明，nmODE-ResNet准确率达到检验师平均水平，而耗时仅为数秒，有效提高RT缺陷分类效率；同时提高了不同缺陷分类一致性，在易混淆缺陷分类任务上表现更好.