Defect recognition of circumferential welds of pipelines in TOFD images based on YOLOv5
-
摘要:
为提高管道环焊缝超声衍射时差法(time of flight diffraction, TOFD)扫描图谱在背景信号干扰、样本量不均衡等情况下的缺陷识别效果，提出了一种改进的YOLOv5s网络模型.针对管道环焊缝TOFD图谱中缺陷形态不规则的特点，通过引入可变形卷积，使得网络自适应缺陷自身的形状特点，提高TOFD图谱中不规则缺陷的特征提取能力；针对TOFD扫描图谱中直通波和底面波等干扰波形对缺陷识别的影响，通过在网络不同深度分别添加自注意力机制，引导网络关注缺陷细微特征的同时抑制界面波对缺陷识别的影响；针对实际样本中各类缺陷不均衡的情况，采用SlideLoss损失函数代替原损失函数，提高网络对样本量较少的裂纹类缺陷的识别精度. 对比试验结果表明，改进后的网络能够抑制TOFD图谱复杂背景干扰，提高样本不均衡条件下的识别率. 相比原网络，整体平均识别率均值(mean Average Precision，mAP)和裂纹类缺陷的平均识别率(Average Precision，AP)分别提高了8.2%和7.3%.
Abstract:In order to enhance defect recognition in time-of-flight diffraction (TOFD) scan images for circumferential welds of pipelines under conditions such as background signal interference and uneven sample distribution, an improved YOLOv5s network model was proposed. In view of the defects with irregular shapes in TOFD images for circumferential welds of pipelines, deformable convolutions were introduced, enabling the network to adapt to the shape characteristics of defects and improving the feature extraction capability for irregular defects in TOFD images. To study the influence of interference waveforms such as direct wave and bottom wave on defect recognition in TOFD images, self-attention mechanisms were incorporated at different depths of the network, guiding the network to focus on subtle defect features while effectively suppressing the impact of interface waves on defect recognition. Furthermore, to tackle the issue of class imbalance in real-world defect samples, the SlideLoss loss function was employed to replace the original loss function, thereby enhancing the recognition accuracy for crack-type defects with limited sample sizes. Comparative experiments demonstrate that the improved network effectively suppresses complex background interference in TOFD images and improves defect recognition efficiency under imbalanced sample conditions. Compared to those of the original network, the overall mean average precision (mAP) and the average precision (AP) for crack-type defects have increased by 8.2% and 7.3%, respectively.
-
0. 序言
TOFD采用双探头一发一收的工作方式，通过接收缺陷端部的超声衍射波，并实时二维成像检测，具有检测快捷、实时成像、可重复性好、检测数据易保存等优点，在油气管道环焊缝的检测中应用广泛[1]. 目前在利用TOFD检测图像进行缺陷识别时主要采用人工评判方式，受成像机理、焊缝组织和检测环境的影响，检测图谱数据易产生噪声及条纹干扰，同时由于具备判读资格的专家人数有限，导致油气管道环焊缝TOFD图谱缺陷识别主观性强、一致性不高. 随着TOFD检测图谱数据的积累，如何利用图像处理和模式识别技术提高缺陷识别效率、减少人工识别不一致性，已经成为备受关注的问题.
与常规超声检测不同，TOFD检测系统为便于观测弱衍射信号，但是直通波与衍射波得混叠导致导致了微小缺陷显示不够清晰[2]. 因此对于TOFD图谱的判读，传统的图像处理方法是“图像去噪—特征提取—缺陷分类”. 即在缺陷识别前，通过加权滤波、双边滤波、阈值分割法和小波分析等方法得到较为清晰的图像，在此基础上提取缺陷的特征进行缺陷分类识别[3-4]. 但要针对不同的对象设计不同的特征参数，适应性和抗干扰能力一般，且特征参数的数量一般较少，因此提取的特征不能全面表征缺陷[5-6].
深度学习方法省去了人工设置所需提取特征的步骤，并且能够通过设置卷积核的参数，来自适应提取更多的缺陷特征，因此在焊缝TOFD图谱缺陷识别中得到了广泛应用[7]. ZHAO等人[8]提出了一种基于轻量化高效通道注意力ECA（Efficient Channel Attention）的卷积神经网络结构增强了对焊缝缺陷的特征提取能力；XU等人[9]提出了一种基于CBAM(Convolutional Block Attention Module)混合注意力机制的改进YOLOv5s 网络，增强了对小缺陷目标的识别能力；LI等人[10]提出了一种改进的DenseNet的网络结构，通过多尺度卷积来提高对不同尺度缺陷的特征提取能力. 支泽林等人[11]建立了一种波形序列特征与图像特征综合分析的深度学习融合网络模型，通过在图像识别的基础上将波形数据作为支撑判据的方法提高网络识别的准确率. 以上方法分别从不同角度提出了识别网络的优化建议，在较大程度上提高了网络缺陷识别效果，但是在缺陷特征提取和训练策略的维度上并未针对TOFD图谱缺陷形态特点和数据集分布进行针对性改进，导致网络对形状复杂缺陷的特征提取能力一般.
文中以YOLOv5s网络为基础框架，针对上述问题，针对管道环焊缝TOFD图谱缺陷形状不规则的特点和数量分布不均衡的情况，对网络进行了改进，提出了一种基于可变形卷积和自注意力机制的管道环焊缝TOFD图谱缺陷识别模型. 能够自适应学习不同形态的缺陷目标特征，将注意力集中在图谱有效区域，抑制界面波对缺陷识别的干扰，同时能够有效降低各类缺陷样本的不平衡带来的长尾效应.
1. 识别算法
管道环焊缝TOFD图谱及其数据集的特殊性主要体现在缺陷形态不规则、图像背景有干扰和缺陷样本不均衡3个方面. 不同类型的缺陷形态差异较大. 不同类型缺陷的TOFD图谱，如图1所示. 不同的未熔合缺陷长度宽度不同，在不同的显示比例下又会受到压缩和拉伸等形变影响会呈现出或修长、或宽大的形态；气孔和裂纹等缺陷会呈现出不规则的抛物线或多种形态的叠加组合，在不同的宽高比下也会呈现出不同的形态. 图像背景干扰主要表现为近表面或根部的缺陷会和界面波混杂在一起以及底面波外侧的区域出现的类似于缺陷自身形态的余波，如图1(c)中点划线标出部分. 数据集缺陷样本不均衡主要体现在数据集中未熔合缺陷较多，气孔次之，裂纹样本数量最少. 由于裂纹的危险性大，在管道焊接进行了质量管控的情况下裂纹在实际检测中得到的检测图谱非常少，尽管可以通过多参数、多方向、多角度测量和生成对抗网络等方式拓展数据集，但由于先天的样本量较少，通过以上手段扩展后获得的也是与原始缺陷样本较为“同质化”的新数据，数据集的泛化程度不够.
![]()
图 1 不同类型缺陷的TOFD图谱Figure 1. TOFD map of different types of defects. (a) lack of fusion; (b) porosity; (c) crack管道环焊缝TOFD图谱的缺陷识别属于目标检测的范畴，在实际的检测过程中，需要同时兼顾检测的速度和精度. 在常见的Faster-RCNN，SSD和YOLO等目标检测网络中，YOLOv5由于能够兼顾工程实际中精度与速度的综合需求，是一种适合工业落地的模型. 基于管道环焊缝对检测速度和精度的综合要求，文中选择YOLOv5s作为网络改进研究的基础模型. YOLOv5s网络结构由Input输入、Backbone主干网络、Neck网络和Head预测头部4部分构成，输入网络的图片经过Backbone主干特征提取网络得到输入图片3个不同尺度的效特征层，在Neck位置采用了特征金字塔网络来加强特征融合和特征提取能力，Head预测头部输出预测边界框，并使用非极大值抑制去除冗余框，得到最终检测目标的边界框. 该模型在自然图像的识别中性能优异，但是在相对专业的领域中，被检测的目标形态特殊、背景复杂且数据集种类数量不一定理想，如果直接使用YOLOv5s模型会出现误判的情况， YOLOv5s模型缺陷识别效果，如图2所示. c表示裂纹缺陷，lof表示未熔合缺陷，p表示气孔缺陷. 在对图1(a)进行识别时，会出现误判.
针对以上情况，文中对YOLOv5s网络进行了针对性改进，设计了一种适合管道环焊缝TOFD图谱缺陷识别的模型. 首先，在网络中引入可变形卷积模块(DCNv2)代替原有的卷积模块，使得网络能够学习缺陷的形态特征，自适应缺陷的几何多变性，增强网络对多形态缺陷的目标提取能力；其次，在骨干网络中引入BoT(Bottleneck Transformer)自注意力机制模块，使得网络更加关注有效区域，降低背景信号对缺陷识别的干扰；最后，将原有的损失函数替换为滑动损失函数SlideLoss，抑制数据集中的类间样本不平衡带来的影响，提高对裂纹类缺陷的识别能力. 改进后的网络模型结构，如图3所示. 改动之处用实线框圈出，分别是将原来的普通卷积替换为可变形卷积，在网络的第5层和第10层将原有的特征提取模块替换为带自注意力机制的特征提取模块，同时在训练策略中替换了原有的损失函数.
1.1 可变形卷积模块
实际的管道环焊缝TOFD检测图像中，缺陷特征呈现出尺度多变、形态复杂等特点，而普通的卷积运算本身具有固定的几何结构，并且由其堆积而成的卷积网络的几何结构也是固定的，因此削弱了网络模型对几何形变程度大的物体的识别能力. 为了提高网络对TOFD图谱缺陷的特征提取能力，引入带有调制机制的可变形卷积DCNv2来更好地提取缺陷特征，具体改动的位置是在网络的第2层、第4层、第6层和第8层，皆用可变形卷积代替原有的普通卷积，在不同的特征图尺度下提取特征.
标准卷积与可变形卷积采样点的对比，如图4所示. 以TOFD图谱中的气孔缺陷为例，其中色框代表气孔的像素点. 假设同时对气孔缺陷进行采样，可变形卷积通过在卷积核中的每个采样位置添加一个偏移变量，实现在当前位置附近的随机采样，从而不再局限于普通的卷积核在规则的网格点上采样，并且在网络训练中调整不同空间位置输入特征的幅度，从而学习每一个采样点的权重，减小特征受到无关图像内容的影响，增强了网络对气孔或裂纹等不规则形态缺陷的适应性.
可变形卷积核与输入图像卷积过程为，首先通过一层卷积得到偏移量，即图4中的箭头，箭头的大小和方向可以通过x方向和y方向的偏移获得，然后在原位置加上偏移量后得到偏移后的位置，再通过双线性插值得到点的值，3 × 3的卷积核与这9个点进行卷积，即
$$ y(p) = \sum_{k = 1}^{K} \omega_{k} \cdot x\left(p + p_{k} + \Delta p_{k}\right) \cdot \Delta m_{k} $$ (1) 式中：$x(p)$为输入特征图$x$中位置$p$处的特征；$y(p)$为输出特征图$y$中位置$p$处的特征；$K$为卷积核的采样位置个数；${\omega _k}$为第$k$个采样位置的权重；${p_k}$为第$k$个采样位置预先指定的偏移量；${{\Delta }}{p_k}$为第$k$个采样位置的可学习偏移量；${{\Delta }}{m_k}$为第$k$个采样位置的调制标量.
$p+p_k+\Delta p_k $通常是小数，与特征图上实际点不对应，需要通过双线性插值转换.
1.2 自注意力机制模块
管道环焊缝TOFD图谱中的界面波极其以外区域的信号形状与缺陷类似，如不将网络注意力进行引导，会导致网络的注意力分散、效率降低且易产生误判. 因此需要在原有网络模型上引入注意力机制使得网络的关注区域更加聚焦，一方面是在整个TOFD图谱的视野阈内更加聚焦直通波和底面波之间的部位，另一方面是在缺陷的特征提取时，网络的注意力更加聚集在缺陷周围，使得缺陷的细节被提取并保留.
目前使用较广泛的注意力机制有通道注意力机制SE(Squeeze and Excitation Network)、位置注意力机制及其组合，各有其适用的背景. 例如，通道注意力机制SE通过对不同的特征通道赋予不同的权重，使得网络更加关注对结果贡献度更高的特征通道，但其较少关注到位置信息[12-13]. CBAM混合注意力机制以及坐标注意力机制CA(Coordinate Attention)通过给输入图谱中的不同位置引入权重引导网络关注输入图谱中不同的区域，但是对关注区域内缺陷的形态特征内部之间的依赖联系挖掘不够[14-15]. 然而管道环焊缝TOFD图谱缺陷识别任务，即需要在图像整体的感受野内将网络注意力集中在有效区域，同时希望将网络注意力集中在缺陷周围更加关注缺陷细节. 因此，文中选择了多头自注意力机制(Multi-Head Self-Attention，MHSA)，并将其无缝衔接至YOLOv5网络中.
自注意力机制作为注意力机制的变体，更擅长捕捉缺陷特征的内部相关性，可以在锁定目标的大致范围后根据缺陷各部位之间的依赖关系更加精确地识别目标类型. 为捕获输入图谱中各种范围的依赖关系(小范围依赖和大范围依赖关系)，通过将多个单头注意力机制并行地送到注意力汇聚中并通过线性映射进行综合，形成MHSA，以更全面地提取依赖关系，MHSA原理，如图5所示.
其中高度和宽度的相对位置编码分别为$ {R_h} $和$ {R_w} $，查询Query、键Key和权值Value分别为q，k和v. $ \oplus $和$ \mathbb{\otimes} $分别代表逐元素求和以及矩阵乘法，1 × 1代表逐点卷积，包括位置编码和值映射部分. 该模块的功能是通过将图像的宽度和高度不同的位置进行编码，并与作注意力机制处理后的图像进行运算，最终提取出输入图像中不同位置之间的内部联系. 为使得多头注意力机制应用在YOLOv5中对网络的改变最小，将MHSA模块直接替代原来CSP模块中残差网络ResNet中的3 × 3卷积核，其余部分保持不变，即可实现注意力自适应分配[16]，该模块称为BoT自注意力机制模块.
鉴于管道环焊缝TOFD图谱缺陷识别对网络的要求，希望网络在大的范围内将注意力引导至直通波和底面波之间的有效区域内，同时在缺陷目标区域将注意力集中在捕捉缺陷形态的特征关联上，因此，文中选择将BoT自注意力机制模块引入至网络的第5层和第10层. 第5层的作用在更大的特征图上，起到捕捉缺陷内部形态依赖关系的作用；第10层作用在更小的特征图上，主要作用是降低界面波的干扰.
1.3 SlideLoss损失函数
管道焊缝TOFD图谱中，数据的样本量不均衡，在训练中损失函数的计算时样本量较大的缺陷类别会占主导，使得网络更容易进化成为适合识别该类缺陷的网络，而对样本量较少且形态较为复杂的裂纹类缺陷的识别精度较低. 而在工程实际中，较少出现的裂纹类缺陷对管道的危害反而是最大的. 因此，网络需要在样本量不平衡的情况下引导网络更加关注裂纹类样本. 为使得网络适用于实际工程背景需求下，文中将YOLOv5网络原来的损失函数CIoU替换为SlideLoss损失函数. 该损失函数是一种针对类别不平衡问题的损失函数[17]，用于在目标检测和图像分类等任务中提高模型对少数类别的识别精度. 原理为在原有YOLOv5s模型的Loss损失函数L的基础上引入一个调制权重$ m\_weight $来调整损失，调制权重是为了让模型在分类时通过更加关注一些特定的样本来提高对该样本的识别率，即
$$ {\text{Loss }} = {\text{ }}m\_weight*{\text{Loss}} $$ (2) 记所有边界框的IoU值的平均值作为阈值µ，根据阈值µ对标签数据进行分段处理，计算不同分段的调制权重为
$$ m\_weight(x) = \left\{ \begin{gathered} 1{\text{ }}x \leqslant \mu - 0.1{\text{ }} \\ {e^{1 - \mu }}{\text{ }}\mu < x < \mu - 0 \\ {e^{1 - x}}{\text{ }}x \geqslant u \\ \end{gathered} \right.{\text{.1}} $$ (3) 相当于在阈值µ附近设置高权重，从而增加硬分类样本的相对损失，提高网络对分类错误样本的识别能力.
2. 试验结果与分析
2.1 数据集建立
文中采用的数据集来源于3个部分，第1部分是在役管线的部分实测数据，包含3个不同品牌的设备采集的图谱；第2部分是在对检测设备进行可靠性试验时采集的数据，数据是在与真实管道等比例的缺陷样件上通过正反两方向扫查得到同一焊缝的两组数据；第3部分是其他品牌设备使用培训中常用的典型缺陷图谱，此部分数据是作为前两部分的一个补充，为了保证数据的多样性，增强网络的泛化能力. 为提高网络的鲁棒性，使网络能够适应多种采集设备、采集参数、缩放尺度以及不同方位的TOFD图谱，对数据进行了镜像、缩放和对比度调整等处理. 经过整合后，最终得到507张TOFD图像，按照业内专家通过与试件和管道实际缺陷对比进行评图的结论对所有图像采用Labelimg软件进行标注，形成YOLO格式的标签文件. 经统计除无缺陷类型外，其余裂纹缺陷有156个，未熔合缺陷有423个，气孔缺陷有267个.
2.2 试验环境及结果
试验数据集采用8∶1∶1的比例区分为训练集、验证集和测试集. 训练epochs设置为200，batch-size设置为16，初始学习率为lr0，学习率周期为lrf，学习率动量分别为0.01，0.2和0.937，神经网络训练框架为Pytorch，模型参数优化器为ADAM. 硬件操作系统为64位Windows10，GPU为NVIDIA Quadro RTX 8000，CPU为Intel Xeon Gold 5220R.
为验证不同模块的效果，设计了4组试验. 试验1为基础试验，是用YOLOv5s网络模型进行试验，作为后续试验的对比标准；试验2在试验1的基础上只用可变形卷积在网络的Backbone部分代替原有的卷积，研究可变形卷积和常规卷积对TOFD图谱缺陷的特征提取差别；试验3在试验2的基础上加入注意力机制模块，研究注意力机制对抑制界面波干扰和增强网络缺陷特征提取能力的影响；试验4在试验3的基础上将原有的损失函数替换为滑动损失函数SlideLoss模块，验证模块对样本不均衡情况下提高网络对少样本缺陷类的识别能力. 试验结果如表1所示. 其中PmAP@0.5表示IoU设为0.5时3类缺陷的mAP，Plof，Pp和Pc分别表示未熔合、气孔和裂纹类的AP. 从试验1到试验4，整体缺陷mAP和裂纹AP分别提高了8.2%和7.3%. 对于图1(a)，网络改进后的识别结果，如图6所示. 通过与图2对比可以直观看出，此处没有了误判，说明网络对缺陷细微特征的提取能力和抵抗背景波干扰的能力得到了改善.
表 1 试验结果Table 1. Experimental results试验 网络改进部分 缺陷mAP
PmAP@0.5未熔合AP
Plof气孔AP
PP裂纹AP
Pc1 - - - 0.821 0.987 0.804 0.661 2 Dconv - - 0.883 0.985 0.897 0.703 3 Dconv BoT - 0.923 0.993 0.945 0.722 4 Dconv BoT SlideLoss 0.903 0.992 0.908 0.734 2.3 结果分析
2.3.1 可变形卷积对特征提取能力的影响
从表1可以看出，通过引入可变形卷积，3类缺陷的mAP提高了6.2%，从图7中PR(Precision Recall)曲线中单项缺陷的AP值也可以看出，气孔和裂纹两类缺陷的曲线在试验2中更靠近右上角. 该曲线越靠右上角，则曲线下方的面积越大，面积值越大可以认为识别的效果越好，说明采用可变形卷积以后，网络的识别AP均得到了提高. 分析认为，TOFD图谱中气孔和裂纹两类缺陷的形状较为特殊，气孔呈现出不规则的抛物线形状，密集气孔为多条抛物线交叉叠加形态，而裂纹的缺陷由于裂纹的方向以及形状不同会在TOFD图谱中呈现出不规则的形态. 此时，如果采用在试验1中的常规卷积核，则会导致对特殊形状的特征提取缺少了灵活性，而试验2中采用可变形卷积核，在网络中卷积核的后一层加入了偏移量，且偏移量可以在训练中不断学习修正，使得卷积核的实际分布更贴近于缺陷自身的形状特征，这有助于提高网络对不规则形状缺陷的特征提取能力.
![]()
图 7 试验PR曲线对比Figure 7. Comparison of PR curves of each experiment. (a) experiment 1; (b) experiment 2; (c) experiment 3; (d) experiment 42.3.2 自注意力机制对模型识别率的影响
有无自注意力机制的结果对比，如图8所示. 图8(a)为无自注意力机制时的识别效果，网络将底面波以外区域存在的图像误判为缺陷目标；图8(b)为引入自注意力机制后的结果，网络没有产生误判，且缺陷的置信度得到了提高. 同样的从图7中试对样3的PR曲线也可以看出加入自注意力机制后，网络整体的性能有了综合提高. 根据效果来看主要包括提高了缺陷的识别准确率，降低了界面波的影响两方面.
![]()
图 8 有无自注意力机制的结果对比Figure 8. Comparison of results with and without self-attention mechanism. (a) detection result without self-attention; (b) detection result with self-attention; (c) attention distribution without self-attention; (d) attention distribution with self-attention分析认为在第5层添加的自注意力机制，由于作用在网络的较前端，该层经过的下采样层数不多，网络的特征图尺寸较大，因此自注意力机制是作用在小尺度的缺陷上，使得网络更加关注缺陷的形态特征，从而在可变形卷积核的基础上进一步引导网络关注更多的缺陷细节，相当于增加了缺陷附近的微小形状的权重，使得那些自身像素占比较少，而又是重要区分特征的像素位置的权重得以提高，从而使得网络更加关注那些微小却重要的区域，从而提高了识别准确率. 以TOFD图谱中的裂纹缺陷为例，由于裂纹的不规则，使得衍射信号图谱的抛物线尖端较为尖锐，而气孔缺陷中的抛物线尖端衍射信号相对圆滑，此尖端部分的形态虽然微小，但是却是缺陷的重要特征之一[18]. 自注意力机制的作用，使得该特征被提取，从而提高了识别准确率. 而第10层的自注意力机制作用在特征提取部分的最后一层，网络的特征图最小，因此其作用更多的是在整个图像范围内的较大感受野上挖掘图像各部分与最终判定结果之间的依赖关系，从而引导网络关注整个图像范围内的有效区域，进而抑制背景波的干扰.
对比图8(c)和图8(d)有无自注意力机制时的热力图可以看出，当没有引入自注意力机制时，网络注意力较分散；而引入自注意力以后，更加聚焦在图8(d)中线框中缺陷附近区域. 表明网络在硬件计算资源有限的情况下，在识别对象的重要特征上增加了更多的计算资源，进而提高了网络的综合性能.
2.3.3 损失函数对裂纹类缺陷识别率的影响
从图7中试验3的PR曲线可以看出，由于样本不均衡，数据集中裂纹缺陷的数量较少，导致对裂纹的识别率明显低于其他两类缺陷；而当将损失函数替换为SlideLoss损失函数后，通过试验4的PR曲线可以看出，裂纹的AP值由0.722上升至0.734，总体的mAP值由0.923下降至0.903. 分析认为网络在训练时，由于SlideLoss损失函数的作用，选择了更多的困难样本，困难样本一般为样本中较少的一类，使得裂纹类缺陷对整体的网络损失贡献率得到了提高，从而在一定程度上提高了网络对裂纹类缺陷的识别精度. 虽然同时小幅拉低了其他类缺陷的识别精度，但是在网络的召回率仍然保持在0.986，即在网络对缺陷的漏判率很低的前提下，网络对裂纹类缺陷的识别能力的提高在实际工程中的意义显然更加重要. 裂纹对管道焊缝的危害在所有缺陷中是最大的[19]. 因此，在网络整体性能保持较高的前提下，采用SlideLoss损失函数提高网络对裂纹类缺陷的识别准确率，比较符合工程实际.
3. 结论
(1)采用可变形卷积代替YOLOv5s模型原有卷积，使得网络能够自适应管道环焊缝TOFD图谱中缺陷的复杂形态，mAP在原有YOLOv5s模型预测精度基础上提高了6.2%.
(2)在YOLOv5s网络中较浅和较深的层次分别加入BoT自注意力机制，能够使得网络在提高TOFD图谱中缺陷的局部特征提取能力的同时在更大感受野上挖掘图像各部分与最终判定结果之间的依赖关系，从而引导网络关注整个TOFD图谱范围内的有效区域，进而抑制背景波的干扰. 与可变形卷积共同作用的结果可以使得网络mAP在原有YOLOv5s模型基础上提高8.2%.
(3)采用SlideLoss损失函数，配合可变形卷积和自注意力机制，可将原YOLOv5s模型裂纹AP提高7.3%，增强了网络在管道环焊缝TOFD图谱缺陷识别领域的适用性.
-
![]()
图 1 不同类型缺陷的TOFD图谱
Figure 1. TOFD map of different types of defects. (a) lack of fusion; (b) porosity; (c) crack
![]()
图 7 试验PR曲线对比
Figure 7. Comparison of PR curves of each experiment. (a) experiment 1; (b) experiment 2; (c) experiment 3; (d) experiment 4
![]()
图 8 有无自注意力机制的结果对比
Figure 8. Comparison of results with and without self-attention mechanism. (a) detection result without self-attention; (b) detection result with self-attention; (c) attention distribution without self-attention; (d) attention distribution with self-attention
表 1 试验结果
Table 1 Experimental results
试验 网络改进部分 缺陷mAP
PmAP@0.5未熔合AP
Plof气孔AP
PP裂纹AP
Pc1 - - - 0.821 0.987 0.804 0.661 2 Dconv - - 0.883 0.985 0.897 0.703 3 Dconv BoT - 0.923 0.993 0.945 0.722 4 Dconv BoT SlideLoss 0.903 0.992 0.908 0.734 
下载: 导出CSV
-
[1] 姜鸿鹏, 陈辉刚, 张泽勇, 等. 基于超声TOFD 法的焊接缺陷横向定位检测技术[J]. 焊接, 2023(5): 7 − 12. JIANG Hongpeng, CHEN Huigang, ZHANG Zeyong, et al. Measurement method of weld defect transverse location based on ultrasonic TOFD technology[J]. Welding & Joining, 2023(5): 7 − 12.
[2] 金士杰, 王志诚, 田鑫, 等. 基于半跨模式波的铝合金板底面缺陷TOFD检测[J]. 航空学报, 2023, 44(4): 226 − 234. JIN Shijie, WANG Zhicheng, TIAN Xin, et al. TOFD detection of bottom defects in aluminum alloy plate by half-skip mode wave[J]. Acta Aeronautica et Astronautica Sinica, 2023, 44(4): 226 − 234.
[3] HONG Y X, YANG M X, CHANG B H, et al. Filter-PCA-based process monitoring and defect identification during climbing helium arc welding process using DE-SVM[J]. IEEE Transactions on Industrial Electronics, 2022, 70(7): 7353 − 7362.
[4] 胡丹, 吕波, 王静静, 等. 焊缝表面缺陷激光视觉传感HOG-SVM的检测方法[J]. 焊接学报, 2023, 44(1): 57 − 62,70. doi: 10.12073/j.hjxb.20211231001 HU Dan, LYU Bo, WANG Jingjing, et al. Study on HOG-SVM detection method of weld surface defects using laser visual sensing[J]. Transactions of the China Welding Institution, 2023, 44(1): 57 − 62,70. doi: 10.12073/j.hjxb.20211231001
[5] 郭忠峰, 刘俊池, 杨钧麟. 基于关键点检测方法的焊缝识别[J]. 焊接学报, 2024, 45(1): 88 − 93. doi: 10.12073/j.hjxb.20230204001 GUO Zhongfeng, LIU Junchi, YANG Junlin. Weld recognition based on key point detection method[J]. Transactions of the China Welding Institution, 2024, 45(1): 88 − 93. doi: 10.12073/j.hjxb.20230204001
[6] BANSAL A, VETTIVEL S C, KUMAR M, et al. Weld defect identification and characterization in radiographic images using deep learning[J]. Engineering Research Express, 2023, 5(2): 025079. doi: 10.1088/2631-8695/acdf3f
[7] 罗仁泽, 王磊. 基于深度学习模型的油气管道焊缝缺陷智能识别[J]. 天然气工业, 2024, 44(9): 199 − 208. doi: 10.3787/j.issn.1000-0976.2024.09.018 LUO Renze, WANG Lei. Weld defect intelligent identification for oil and gas pipelines based on the deep learning models[J]. Natural Gas Industry, 2024, 44(9): 199 − 208. doi: 10.3787/j.issn.1000-0976.2024.09.018
[8] ZHAO W J, LI D, XU F H. A lightweight weld defect recognition algorithm based on convolutional neural networks[J]. Pattern Analysis and Applications, 2024, 27(3): 94. doi: 10.1007/s10044-024-01315-7
[9] XU L S, DONG S H, WEI H T, et al. Intelligent identification of girth welds defects in pipelines using neural networks with attention modules[J]. Engineering Applications of Artificial Intelligence, 2024, 127: 107295. doi: 10.1016/j.engappai.2023.107295
[10] LI H D, LUO R Z, TANG X, et al. Weld defect recognition method based on improved DenseNet[C]//Fifth International Conference on Computer Information Science and Artificial Intelligence (CISAI 2022), September 16-18, 2022, Chongqing University, Chongqing. Washington, DC: IEEE Computer Society, 2023.
[11] 支泽林, 姜洪权, 杨得焱, 等. 图谱数据深度学习融合模型及焊缝缺陷识别方法[J]. 西安交通大学学报, 2021, 55(5): 73 − 82. doi: 10.7652/xjtuxb202105009 ZHI Zelin, JIANG Hongquan, YANG Deyan, et al. A deep learning fusion model of wave and image data for weld defect recognition[J]. Journal of Xi'an Jiaotong University, 2021, 55(5): 73 − 82. doi: 10.7652/xjtuxb202105009
[12] LI Y, LI J G, MENG P. Attention-YOLOV4: a real-time and high-accurate traffic sign detection algorithm[J]. Multimedia tools and applications, 2023, 82(5): 7567 − 7582. doi: 10.1007/s11042-022-13251-x
[13] XU Z, LI J Z, MENG Y F, et al. Channel attention based pruning YOLO for coal mine real-time intelligent monitoring[J]. Sensors, 2022, 22(12): 4331. doi: 10.3390/s22124331
[14] AHN H, SON S, ROH J, et al. SAFP-YOLO: enhanced object detection speed using spatial attention-based filter pruning[J]. Applied Sciences, 2023, 13(20): 11237. doi: 10.3390/app132011237
[15] ZHAO G, ZOU S L, WU H J. Improved algorithm for face mask detection based on Yolo-V4[J]. International Journal of Computational Intelligence Systems, 2023, 16(1): 104. doi: 10.1007/s44196-023-00286-7
[16] SRINIVAS A, LIN T Y, PARMAR N, et al. Bottleneck transformers for visual recognition[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 16519 − 16529.
[17] YU Z P, HUANG H B, CHEN W J, et al. Yolo-facev2: A scale and occlusion aware face detector[J]. Pattern Recognition, 2024, 155: 110714. doi: 10.1016/j.patcog.2024.110714
[18] 黄焕东, 胡利晨, 李斌彬, 等. 基于区域的快速卷积神经网络的焊缝TOFD检测缺陷识别[J]. 无损检测, 2019, 41(7): 12 − 18. doi: 10.11973/wsjc201907004 HUANG Huandong, HU Lichen, LI Binbin, et al. Recognition of defect in TOFD image based on faster region convolutional neural networks[J]. Nondestructive Testing, 2019, 41(7): 12 − 18. doi: 10.11973/wsjc201907004
[19] 高建奎, 李金梅, 吴险峰, 等. 焊缝TOFD检测典型缺陷图谱分析[J]. 热处理技术与装备, 2020, 41(5): 8 − 10. GAO Jiankui, LI Jinmei, WU Xianfeng, et al. Analysis of typical defect images of welds TOFD testing[J]. Heat Treatment Technology and Equipment, 2020, 41(5): 8 − 10.
计量
- 文章访问数: 11
- HTML全文浏览量: 8
- PDF下载量: 6
