高级检索

基于CCBFE-RCNN模型的焊缝X射线图像缺陷识别算法

戴铮, 刘骁佳, 潘泉

戴铮, 刘骁佳, 潘泉. 基于CCBFE-RCNN模型的焊缝X射线图像缺陷识别算法[J]. 焊接学报. DOI: 10.12073/j.hjxb.20231104001
引用本文: 戴铮, 刘骁佳, 潘泉. 基于CCBFE-RCNN模型的焊缝X射线图像缺陷识别算法[J]. 焊接学报. DOI: 10.12073/j.hjxb.20231104001
DAI Zheng, LIU Xiaojia, PAN Quan. Defect identification algorithm for weld X-ray imagesbased on the CCBFE-RCNN model[J]. TRANSACTIONS OF THE CHINA WELDING INSTITUTION. DOI: 10.12073/j.hjxb.20231104001
Citation: DAI Zheng, LIU Xiaojia, PAN Quan. Defect identification algorithm for weld X-ray imagesbased on the CCBFE-RCNN model[J]. TRANSACTIONS OF THE CHINA WELDING INSTITUTION. DOI: 10.12073/j.hjxb.20231104001

基于CCBFE-RCNN模型的焊缝X射线图像缺陷识别算法

详细信息
    作者简介:

    戴铮,博士;主要研究方向为无损检测、深度学习和图像处理; Email: zdai_800@163.com

    通讯作者:

    潘泉,教授,博士研究生导师;Email: panquan2023@163.com

  • 中图分类号: TG 409

Defect identification algorithm for weld X-ray imagesbased on the CCBFE-RCNN model

  • 摘要:

    针对X射线图像人工评定过程中存在劳动强度大、检测效率低等问题,提出一种基于Cascade-RCNN网络改进的多尺度目标检测网络CCBFE-RCNN模型,采用合并卷积层结构和FPN特征金字塔网络提升模型特征提取的尺度范围,增强了模型对于多尺度特征的提取能力;使用BFE特征批量消除网络,随机消除特征图区域,避免多次训练过程中的过拟合问题并强化了特征区域表达,同时对损失函数进行改进,对模型没有准确识别出含缺陷图像加大惩罚。通过构建并扩充熔焊焊缝X射线图像数据集,对模型进行测试. 结果表明,CCBFE-RCNN缺陷检测模型全类别召回率均值、全类别精确率均值为93.09%和91.92%,与Cascade-RCNN网络模型相比平均召回率提升5.16%,平均精确率提升5.27%. 并使用工业缺陷检测数据集对CCBFE-RCNN模型进行测试,验证了模型的泛化能力,可为焊缝缺陷智能化识别提供算法支撑.

    Abstract:

    In view of the problems of high labor intensity and low detection efficiency in the manual evaluation process of X-ray images, a multi-scale object detection network CCBFE-RCNN model based on the improved Cascade-RCNN network is proposed. The combined convolutional layer structure and FPN feature pyramid network are used to enhance the scale range of model feature extraction, and the model's ability to extract multi-scale features is enhanced; Use BFE features to batch eliminate networks, randomly eliminate feature map regions, avoid overfitting problems during multiple training processes, and enhance feature region expression. At the same time, improve the loss function to increase penalties for models that do not accurately identify images containing defects. The model was tested by constructing and expanding a dataset of X-ray images of fusion welds The results show that the CCBFE-RCNN defect detection model has an average recall rate of 93.09% and an average precision rate of 91.92% across all categories, which is 5.16% higher than the average recall rate and 5.27% higher than the average precision rate of the Cascade-RCNN network model. The CCBFE-RCNN model was tested using an industrial defect detection dataset to verify its generalization ability, which can provide algorithm support for intelligent recognition of weld defects.

  • 焊接是一种常见的金属工件连接方式,广泛应用于航空、航天、桥梁搭建等工业产品,在现代工业生产中起至关重要的作用,在国内制造业发展中占有重要的战略地位[1-4]. 焊接过程中由于温度、湿度、设备等原因,焊接后形成的焊缝内部及其热影响区可能存在缺陷,常见缺陷类型包括夹渣、未焊透、气孔等. 在产品使用过程中,焊缝内部缺陷将降低焊接部位的强度及韧性,影响产品使用性能,甚至引起安全质量事故的发生,因此工件焊接后为保证焊缝质量必须进行缺陷检测. 由于X射线检测方式成像简单同时不损坏工件,目前焊缝内部缺陷常使用X射线检测方式,操作人员通过对X射线图像中无缺陷、未焊透、气孔、夹渣特征查看,判定产品有无缺陷[5-6]. 对于部件的焊接部位,为保证产品零缺陷的质量要求需评定所有焊缝及热影响区的X射线图像. 而随着新型焊接技术的不断应用及焊缝工艺、焊接装备的提升,焊缝内部缺陷率逐步降低,因此人工评定时绝大部分时间为查看无缺陷图像,造成操作人员劳动强度大、效率难以提升等问题,因此迫切需要计算机辅助技术对大批量焊缝X射线图像进行智能检测,辅助操作人工对焊缝进行复评复查过程,提升产品检测效率、减少工作量,并实现缺陷评定结果的标准性和一致性.

    随着深度学习技术的不断发展[7-9],基于人工智能深度学习技术的缺陷识别方法开始涌现,为上述需求的解决提供了新方向[10]. 近些年,焊缝X射线图像评定领域出现一些人工智能应用案例. 刘欢等人[11]针对X射线图像评定效率低的问题,提出一种卷积神经网络结构的CC-ResNet模型,可以将焊缝X射线检测图像进行气孔、夹渣、未焊透的分类,然而该方法只能够将图像进行分类,不具备在图像中标记具体缺陷的能力;任文坚等人[12]将经典目标检测方法YOLOV3模型应用于发动机推力室熔焊焊缝胶片数字化图像识别中,证明了目标检测方法在图像上标记缺陷及类别的可行性,但由于样本集分布不均且存在标注争议,部分缺陷识别效果不佳,研究中也未提及常见缺陷夹渣的识别效果, 而且直接选用了经典目标检测方法进行验证,模型未针对X射线图像识别任务进行优化,识别效果仍有提升空间;程松等人[13]采用轻量型YOLOV5-Tiny焊缝缺陷识别方法,在主干网络加入注意力机制,同时为加快模型训练将卷积替换为深度可分离卷积,该方法识别速度较快,但识别结果呈现的不够精细.

    在缺陷检测领域,针对检测场景改进的目标检测方法的出现,为进一步提升焊缝X射线识别效果提供了思路. 针对不同领域的缺陷检测问题,研究人员提出了一系列的智能识别方法. 在交流电磁场缺陷检测方面,杨会敏等人[14]采用基于SSD网络模型的缺陷智能识别方法,该方法使用6个预测特征层预测不同尺度的目标,可对三种典型类型的缺陷图像进行有效分类;在金刚石结构几何缺陷识别中,Zhang等人[15]提出了一种基于SRYOLOV3网络结构的缺陷识别方法,该方法基于K-Models聚类算法和超分辨率卷积神经网络结构,可以提升识别细小缺陷的能力,试验结果证明该方法能够有效识别晶格结构样品的典型内部缺陷;在铁路轨道线路多目标缺陷识别方面,Wei等人[16]提出了一种基于结合空间金字塔分解的轻量级设计的TLMDDNet网络模型,该方法通过尺度缩减和特征拼接优化主干网络的特征提取层,实现多目标的缺陷识别;Dong等人[17]提出一种基于Swin-Cascade-RCNN,该方法通过结合Swin和平衡金字塔,增强了特征表达能力,同时利用侧感知边界定位提高模型的定位精度,实现了输电线路关键部件和缺陷检测.

    前述研究表明,改进的目标检测网络在缺陷识别方面具有可行性,但在焊缝内部,未焊透缺陷的量级可以达到10 ~ 100 mm,而气孔、夹渣等缺陷尺度较小仅为0.1 ~ 1 mm,较大的尺度差异要求目标检测网络具备同时在尺度较大和较小的缺陷上都有良好的识别效果,因而对于目标检测网络的特征提取能力要求更高. 为解决上述问题,提出一种基于合并卷积多尺度目标检测网络算法,实现焊缝X射线图像缺陷目标识别. 该算法采用合并卷积层和金字塔网络结构,增强了模型对于多尺度特征提取能力,同时为避免过拟合问题,网络模型加入特征批量消除模块随机消除特征,最后通过焊缝数据集进行验证,以验证所提方法的正确性和有效性.

    目前基于卷积神经网络的目标检测算法分为一阶段目标检测算法和二阶段目标检测算法. YOLO系列作为一阶段目标检测算法的代表,可直接提取检测目标特征,取消区域建议网络,在输出层预测边界框及目标类别,检测速度更快,但精度较低[18-19]. Faster-RCNN(region convolutional neural network,CNN)作为二阶段目标检测的代表[20-21],包含卷积特征提取(conv layers)、区域建议网络(region proposal network,RPN)、特征区域池化(ROI pooling)和全连接层(full connect)4部分,如图1所示,检测速度较慢,但检测精度有较大提升.

    图  1  Faster-RCNN网络
    Figure  1.  Faster-RCNN network

    Cascade-RCNN网络建立在Faster-RCNN模型基础上,引入多个级联RCNN结构. Cascade-RCNN网络共包含3个级联RCNN结构,每个结构的IoU(intersection over union)数值均不相同,分别为0.5,0.6和0.7,每个RCNN结构的输出作为下一个级联RCNN结构的输入,如图2所示. 级联结构中IoU数值逐步升高,目标识别结果得到了不断的优化,因此识别精度比Faster-RCNN模型有所提升[22-24]. 由于焊缝X射线图像缺陷目标识别对精度要求高,因此选择检测精度更高的Cascade-RCNN网络结构作为核心算法,并在此基础上,针对焊缝X射线图像中不同类型缺陷尺寸差别较大导致的识别效果不佳、单一卷积核缺陷特征提取困难等的问题,进行优化.

    图  2  级联网络
    Figure  2.  Cascade-RCNN network

    针对焊缝缺陷尺度差异较大、识别精度要求高等问题,提出一种基于Cascade-RCNN网络改进的多尺度目标检测网络CCBFE-RCNN(concatnated convolutional RCNN with batch feature erasing)模型. CCBFE-RCNN模型网络结构如图3所示,CCBFE-RCNN模型包含基于Resnet101的合并卷积层特征提取网络、FPN特征金字塔网络及BFE特征批量消除网络. 采用合并卷积层结构替换原有单通道卷积层结构,提升网络结构对多尺度特征提取能力;采用FPN特征金字塔网络,将多尺度特征信息进行融合,增加模型训练过程中对于缺陷不同尺寸特征的尺度选择,并在特征图添加BFE特征批量消除网络,通过随机消除图像提取特征图区域解决过拟合问题.

    图  3  CCBFE-RCNN网络
    Figure  3.  CCBFE-RCNN network

    CCBFE-RCNN网络采用Resnet101残差结构作为特征提取网络[25-26],其包含1个卷积块conv1和4个残差块conv2,conv3,conv4和conv5,Resnet101整体网络结构如表1所示. 对Resnet101残差结构中卷积块和残差块进行改进,卷积块和残差块使用尺寸不同的3 × 3和5 × 5卷积核进行卷积运算,并将运算后的特征进行合并,形成合并卷积层结构. 该结构替换原有Resnet101特征提取网络的卷积块和残差块结构,如图4所示,其中BN用于数据均值归一化,Relu为激活函数. 合并卷积层结构作用为将不同大小卷积核提取的缺陷特征信息进行融合,实现多尺度特征提取,并在单一缺陷信息量不变的情况下提升尺寸差别较大目标的特征提取能力,从而有利于图像缺陷特征数据流提取. 相比于单通道卷积结构,合并卷积层结构更适用于提取X射线焊缝图像中不同形状的细微缺陷特征,如圆形、长条形等,进而提高网络结构模型对缺陷目标的识别效果.

    表  1  Resnet101网络
    Table  1.  Resnet101 network
    卷积层Resnet101
    conv1conv,7 × 7,64,stride 2
    max pool,3 × 3, stride 2
    conv2$ \left[ {\begin{array}{*{20}{l}} {{\text{conv}},1 \times 1,64} \\ {{\text{conv}},3 \times 3,64} \\ {{\text{conv}},1 \times 1,256} \end{array}} \right] \times 3 $
    conv3$ \left[ {\begin{array}{*{20}{l}} {{\text{conv}},1 \times 1,128} \\ {{\text{conv}},3 \times 3,128} \\ {{\text{conv}},1 \times 1,512} \end{array}} \right] \times 4 $
    conv4$ \left[ {\begin{array}{*{20}{l}} {{\text{conv}},1 \times 1,256} \\ {{\text{conv}},3 \times 3,256} \\ {{\text{conv}},1 \times 1,1024} \end{array}} \right] \times 23 $
    conv5$ \left[ {\begin{array}{*{20}{l}} {{\text{conv}},1 \times 1,512} \\ {{\text{conv}},3 \times 3,512} \\ {{\text{conv}},1 \times 1,2048} \end{array}} \right] \times 3 $
    下载: 导出CSV 
    | 显示表格
    图  4  合并卷积层
    Figure  4.  Concatnate convolutional layer

    传统的神经网络训练过程中采用某一卷积层输出的特征图进行预测,但使用临近输入层的特征图进行预测时,由于特征图仅包含粗略的位置信息,导致目标框预测不准确,使用临近输出层的特征图进行预测,由于小目标信息丢失导致无法识别小目标,因此采用FPN特征金字塔网络,如图5所示. FPN特征金字塔网络中C2,C3,C4和C5为下采样过程,产生的特征图尺寸随着卷积池化过程不断变小,C3产生的特征图通过上采样过程与C2产生的特征图进行融合,可提取不同卷积层特征信息,并将多尺度特征进行整合. 充分结合高分辨率特征图的细节信息和低分辨率特征图的语义信息,从而提高不同尺度缺陷目标检测性能[27-29].

    图  5  FPN网络
    Figure  5.  FPN network

    为应对在训练过程中多次训练特征图时出现过拟合问题,对级联检测网络进行改进,并将特征批量消除(batch feature erasing,BFE)模块[30]置于ROI特征图结构后,BFE模块结构如图6所示. 网络模型训练过程中,BFE模块会生成Mask掩码矩阵,掩码矩阵中包含0和1要素. 掩码矩阵与对应的ROI特征图进行运算,以消除ROI特征图中0位置处的特征. 因此,BFE模块结构可以消除同一批次中随机提取的特征图区域,增强网络模型中未消除的特征区域表达,并提高网络模型对缺陷的学习能力. BFE网络结构通过随机擦除输入图像中的一部分特征,使得模型在训练过程中不会过度依赖于某些特定的特征,增加了数据的多样性,从而提高模型的泛化能力. 因此加入BFE模块能够有效解决特征图多次训练而导致的过拟合问题,从而提高CCBFE-RCNN网络模型的鲁棒性.

    图  6  BFE模块
    Figure  6.  Batch feature erasing module

    对于焊缝X射线图像缺陷识别,需要进行目标分类和目标定位两部分. 网络模型预测值和真实值之间的存在不一致程度,可通过损失函数进行评估. 该损失函数由目标分类损失函数和目标定位损失函数两部分组成,总损失值为两部分损失值的和,计算式为

    $$ L_{{\rm{loss}}}{\text{ = }}{L_{{\text{loc}}}}\left( {\overline t ,t} \right) + {L_{{\text{cls}}}}\left( {\overline y ,y} \right) $$ (1)

    式中:$L_{{\rm{loss}}}$为总损失值;Lloc为定位函数损失值;Lcls为分类函数损失值.一般在分类损失计算中使用交叉熵函数[31-32],但该函数并未考虑正负样本均衡性和预测错误时的损失值比重,从而影响网络模型学习能力. 为解决这一问题,改进分类损失函数,将含缺陷图像定义为正样本,不含缺陷图像定义为负样本,并设置超参数平衡正负样本权重,此外增加正样本预测为负样本时的损失值比重. 经过改进后的分类损失函数计算式为

    $$ {L_{{\text{cls}}}} = - \alpha \frac{1}{{{{\left( {\overline y } \right)}^2}}} \cdot y{\rm{ln}}\left( {\overline y } \right) - (1 - \alpha )(1 - y){\rm{ln}}\left( {1 - \overline y } \right) $$ (2)

    式中:$ \alpha $为平衡不同样本权重的超参数;$ y $为缺陷标记真实值,当图像含有缺陷时$ y $数值为1,当图像不含有缺陷时$ y $数值为0;$ \overline y $为网络模型预测概率值.

    目标定位损失函数采用$ {\rm{smoot}}{{\rm{h}}_{L1}} $公式,即

    $$ {L_{{\text{loc}}}} = s(\overline t - t){\text{ = }}\left\{ \begin{gathered} 0.5{\left( {\overline t - t} \right)^2},\left| {\overline t - t} \right| < 1 \\ \left| {\overline t - t} \right| - 0.5,\left| {\overline t - t} \right| \geqslant 1 \\ \end{gathered} \right. $$ (3)

    式中:$ t $为识别目标的实际坐标值;$ \overline t $为识别目标预测坐标值.

    CCBFE-RCNN网路模型在每次前向传播时,可以通过设置超参数保证正负样本在损失值中的平衡性. 在焊缝内部X射线图像缺陷识别过程中,更加关注是否准确识别含有缺陷的图像,因此改进损失函数计算方式. 若含有缺陷的焊缝内部X射线图像被错误预测为无缺陷,损失值将急剧上升,从而增加该错误预测所占的比重,从而模型的损失值会不断增加,对模型没有准确识别出含缺陷图像进行惩罚,从而确保CCBFE-RCNN网络模型尽可能多地识别出含有缺陷的图像.

    所提方法用于焊缝X射线图像检测过程,主要步骤如下.

    步骤1: 收集焊缝X射线图像,其中含缺陷图像数量多于无缺陷图像.

    步骤2: 对收集的焊缝X射线图像进行缺陷标注,标注内容包含缺陷类型和缺陷位置.

    步骤3: 构建运载X射线图像缺陷识别CCBFE-RCNN网络模型,采用5折交叉法进行训练,训练过程中采用优化后损失函数.

    步骤4:测试样本输入CCBFE-RCNN网络模型,计算不同的评价指标评估模型缺陷检测能力.

    为评估CCBFE-RCNN网络模型有效性,搭建如下实验室深度学习运行软硬件环境.

    (1)硬件环境. CPU:Intel-Xeon Gold 6226R,GPU:RTXA6000-48G,RAM:DDR4-2933-256G.

    (2)软件环境. 操作系统:Ubuntu20.04,深度学习框架:Pytorch1.10,编程语言:python3.7.3,加速框架:Cuda11.2,GPU加速库:Cudnn8.1.1.

    为验证CCBFE-RCNN网络模型的有效性,采用IOU为0.5时的召回率(Recall, R)、精确率(Precision, P)、全类别召回率均值(mean average recall, RmAR@0.5)、全类别精确率均值(mean average precision, PmAP@0.5)、指标进行模型能力评估,计算式见表2,其中TP表示正样本预测为正样本,FN表示正样本预测为负样本,FP表示负样本预测为正样本,x为单类别样本总数,c为类别总数.

    表  2  指标计算公式
    Table  2.  Calculation formula
    评价指标公式
    召回率R$ \dfrac{{TP}}{{TP + FN}} $
    精确率P$ \dfrac{{TP}}{{TP + FP}} $
    全类别召回率均值RmAR@0.5$\dfrac{ {\displaystyle\sum\limits_{j = 1}^c {\sum\limits_{i = 1}^x {R_i} } } }{ {cx} }$
    全类别精确率均值PmAP@0.5$\dfrac{ {\displaystyle\sum\limits_{j = 1}^c {\displaystyle\sum\limits_{i = 1}^x {P_i} } } }{ {cx} }$
    下载: 导出CSV 
    | 显示表格

    由于焊缝X射线图像缺陷识别时,更为关注含有缺陷产品的识别结果,因此将含有缺陷图像设定为正样本,不含缺陷图像设定为负样本. CCBFE-RCNN网络模型训练结束后,将测试集样本图像输入模型中,将输出缺陷位置预测的坐标信息,包含夹渣、未焊透、气孔3种类别,采用Recall和Precision评价指标验证模型能力,由评价指标可知当正样本判定为负样本则代表含有缺陷的图像无法准确识别,因此X射线图像识别时的召回率指标对于车间实际缺陷识别过程更为重要.

    采用熔焊焊缝图像,车间最为常见的3种熔焊焊缝缺陷构建数据集[11,13,33],进行实例验证. 此图像由X射线成像设备输出,图像深度为16位(0 ~ 655 35),共计3 000张图像,图像大小为640 × 640,其中气孔、夹渣、未焊透、无缺陷各750张,典型缺陷样本和无缺陷样本如图7所示. 焊缝图像数据集与常用公开目标识别数据集存在较大差异,常用目标识别数据集中目标占比较大,且各目标尺寸差别较小,而焊缝图像数据集小目标较多,且气孔、夹渣、未焊透各种缺陷尺寸差别较大、缺陷形状多样,造成缺陷目标识别难度大.

    图  7  数据集样本
    Figure  7.  Dataset samples. (a) porosity; (b) slag inclusion; (c) lack of penetration; (d) no defects

    为验证缺陷识别算法模型效果,对数据集中3 000张图像标记缺陷类别和位置,并采用旋转、缩放、裁剪、平移等图像数据增强方式将原有的图像数据集按1∶6进行扩充,扩充后的熔焊焊缝图像中气孔、夹渣、未焊透、无缺陷各4 500张. 使用5折交叉验证方法进行模型训练,以评估模型的缺陷识别能力.

    采用YOLOV5-Tiny,SSD,Cascade-RCNN,SRYOLOV3,TLMDDNet和Swin-Cascade-RCNN 6种模型与CCBFE-RCNN模型进行对比,分别进行模型训练和测试. 设置每次训练图像数量为8,训练次数为600,学习率设置为1 × 10−4,权重衰减为1 × 10−5. 采用优化后的损失函数计算训练过程中损失值,记录损失值变化验证训练过程是否收敛,并计算所有目标模型的性能评价指标,以验证模型缺陷检测能力.

    将焊缝X射线图像样本数据输入7种目标识别网络模型进行训练,训练过程中各个模型损失值变化如图8所示. 通过损失值收敛程度判断模型训练效果,由图8可知当迭代次数为600次时,7种目标识别网络模型损失值均已处于收敛. CCBFE-RCNN模型训练过程中优化损失函数,增加了正样本预测为负样本时的损失值比重,因此在训练初始阶段其损失值最高. 随着CCBFE-RCNN模型识别缺陷能力的提升,CCBFE-RCNN模型损失值逐渐降低,最终CCBFE-RCNN模型损失值略高于TLMDDNet和Swin-Cascade-RCNN模型,但损失值低于其他网络模型. 通过在训练过程中优化损失函数,将正负样本预测过程中错误惩罚因素进行考虑,使得缺陷识别更为准确.

    图  8  损失值变化
    Figure  8.  Loss value

    7种目标识别网络模型训练结束后,计算各个模型性能评价指标,如表3所示. 由计算结果可知CCBFE-RCNN网络模型召回率及精确率较其他网络模型性能更高,其全种类缺陷平均召回率与平均精确率为93.09%和91.92%,相较于Cascade-RCNN模型平均召回率87.93%和平均精确率86.65%分别提升5.16%和5.27%,整体检测精度优于其他算法模型. 7种目标识别网络模型检测时YOLOV5-Tiny速度最快,TLMDDNet速度最慢,CCBFE-RCNN目标识别网络模型进行缺陷检测时单张图像识别时间为0.045 s,可满足车间现场检测需求.

    表  3  不同模型测试结果
    Table  3.  Results of different models
    模型夹渣未焊透气孔R全类别召回率
    均值
    mAR@0.5(%)
    P全类别精确率
    均值
    mAP@0.5(%)
    频率
    f/(帧·s−1)
    召回率R(%)精确率P(%)召回率R(%)精确率P(%)召回率R(%)精确率P(%)
    YOLOV5-Tiny90.2389.6083.6888.7189.6586.3287.8588.2161
    SSD85.9886.3380.2485.1385.0786.6883.7686.0556
    Cascade-RCNN89.2087.1185.2687.9289.3384.9287.9386.6527
    SRYOLOV388.2786.9984.4787.8288.6786.8187.1487.2151
    TLMDDNet92.1390.4588.1190.1892.6790.7390.9790.4519
    Swin-Cascade-RCNN93.1588.4286.7988.4890.2688.9890.0788.9929
    CCBFE-RCNN93.6990.6390.4093.0195.2092.1393.0991.9222
    下载: 导出CSV 
    | 显示表格

    图9为各网络模型对焊缝X射线图像识别结果.针对气孔缺陷,YOLOV5-Tiny,SSD,Cascade-RCNN,SRYOLOV3,TLMDDNet和Swin-Cascade-RCNN相比CCBFE-RCNN网络都存在尺寸较小气孔未识别出的情况;针对夹渣缺陷,TLMDDNet,Swin-Cascade-RCNN与CCBFE-RCNN网络识别效果近似,YOLOV5-Tiny识别结果呈现不够精细,SSD,Cascade-RCNN和SRYOLOV3存在尺寸较小夹渣未识别出的情况;针对未焊透缺陷,SSD和SRYOLOV3存在将未焊透整体识别为多个缺陷的问题,YOLOV5-Tiny,Cascade-RCNN,TLMDDNet,Swin-Cascade-RCNN和CCBFE-RCNN可以将未焊透整体识别出来,但YOLOV5-Tiny,Cascade-RCNN,TLMDDNet和Swin-Cascade-RCNN识别区域相比CCBFE-RCNN较小,不完整. 综上所述,CCBFE-RCNN网络模型相较于现有模型有显著改善,并且对于小目标占比多、形状尺寸差别大的焊缝缺陷有良好的检测效果,缺陷定位更为准确.

    图  9  不同网络模型识别结果
    Figure  9.  Identification results of different network models

    为验证CCBFE-RCNN模型的泛化能力,采用DAG,NEU和AITEX 3种工业缺陷检测数据集进行测试,分别计算各个数据集的mAR@0.5和mAP@0.5,如表4所示. 试验结果表明,CCBFE-RCNN在其他工业缺陷检测数据集上依然取得很好的识别指标,具有较好的模型泛化能力.

    表  4  不同数据集测试结果
    Table  4.  Test results for different datasets
    数据集全类别召回率均值RmAR@0.5(%)全类别精确率均值PmAP@0.5(%)
    DAGM92.5691.84
    NEU95.6893.58
    AITEX89.3487.59
    下载: 导出CSV 
    | 显示表格

    (1)针对焊缝X射线图像缺陷识别场景,提出基于卷积多尺度目标检测网络的CCBFE-RCNN模型,CCBFE-RCNN模型使用合并卷积层结构进行特征提取,采用FPN进行多尺度特征融合,提升了尺寸差别较大、形状多样缺陷的特征提取能力,并加入BFE模块防止模型出现过拟合问题.

    (2) CCBFE-RCNN网络模型对焊缝RmAR@0.5PmAP@0.5性能评价指标分别为93.09%和91.92%,较YOLOV5-Tiny,SSD,Cascade-RCNN,SRYOLOV3,TLMDDNet和Swin-Cascade-RCNN 6种目标识别模型召回率和精确率更高,同时模型具有较好的泛化能力,可作为焊缝智能化检测算法基础.

    (3)以熔焊焊缝X射线图像为例,实际应用过程中,焊缝X射线检测需覆盖各类结构件以及各种焊接工艺,检测复杂程度更高. 后续需扩大样本覆盖的结构件类型、焊接工艺范围,以验证方法的泛化能力.

  • 图  1   Faster-RCNN网络

    Figure  1.   Faster-RCNN network

    图  2   级联网络

    Figure  2.   Cascade-RCNN network

    图  3   CCBFE-RCNN网络

    Figure  3.   CCBFE-RCNN network

    图  4   合并卷积层

    Figure  4.   Concatnate convolutional layer

    图  5   FPN网络

    Figure  5.   FPN network

    图  6   BFE模块

    Figure  6.   Batch feature erasing module

    图  7   数据集样本

    Figure  7.   Dataset samples. (a) porosity; (b) slag inclusion; (c) lack of penetration; (d) no defects

    图  8   损失值变化

    Figure  8.   Loss value

    图  9   不同网络模型识别结果

    Figure  9.   Identification results of different network models

    表  1   Resnet101网络

    Table  1   Resnet101 network

    卷积层Resnet101
    conv1conv,7 × 7,64,stride 2
    max pool,3 × 3, stride 2
    conv2$ \left[ {\begin{array}{*{20}{l}} {{\text{conv}},1 \times 1,64} \\ {{\text{conv}},3 \times 3,64} \\ {{\text{conv}},1 \times 1,256} \end{array}} \right] \times 3 $
    conv3$ \left[ {\begin{array}{*{20}{l}} {{\text{conv}},1 \times 1,128} \\ {{\text{conv}},3 \times 3,128} \\ {{\text{conv}},1 \times 1,512} \end{array}} \right] \times 4 $
    conv4$ \left[ {\begin{array}{*{20}{l}} {{\text{conv}},1 \times 1,256} \\ {{\text{conv}},3 \times 3,256} \\ {{\text{conv}},1 \times 1,1024} \end{array}} \right] \times 23 $
    conv5$ \left[ {\begin{array}{*{20}{l}} {{\text{conv}},1 \times 1,512} \\ {{\text{conv}},3 \times 3,512} \\ {{\text{conv}},1 \times 1,2048} \end{array}} \right] \times 3 $
    下载: 导出CSV

    表  2   指标计算公式

    Table  2   Calculation formula

    评价指标公式
    召回率R$ \dfrac{{TP}}{{TP + FN}} $
    精确率P$ \dfrac{{TP}}{{TP + FP}} $
    全类别召回率均值RmAR@0.5$\dfrac{ {\displaystyle\sum\limits_{j = 1}^c {\sum\limits_{i = 1}^x {R_i} } } }{ {cx} }$
    全类别精确率均值PmAP@0.5$\dfrac{ {\displaystyle\sum\limits_{j = 1}^c {\displaystyle\sum\limits_{i = 1}^x {P_i} } } }{ {cx} }$
    下载: 导出CSV

    表  3   不同模型测试结果

    Table  3   Results of different models

    模型夹渣未焊透气孔R全类别召回率
    均值
    mAR@0.5(%)
    P全类别精确率
    均值
    mAP@0.5(%)
    频率
    f/(帧·s−1)
    召回率R(%)精确率P(%)召回率R(%)精确率P(%)召回率R(%)精确率P(%)
    YOLOV5-Tiny90.2389.6083.6888.7189.6586.3287.8588.2161
    SSD85.9886.3380.2485.1385.0786.6883.7686.0556
    Cascade-RCNN89.2087.1185.2687.9289.3384.9287.9386.6527
    SRYOLOV388.2786.9984.4787.8288.6786.8187.1487.2151
    TLMDDNet92.1390.4588.1190.1892.6790.7390.9790.4519
    Swin-Cascade-RCNN93.1588.4286.7988.4890.2688.9890.0788.9929
    CCBFE-RCNN93.6990.6390.4093.0195.2092.1393.0991.9222
    下载: 导出CSV

    表  4   不同数据集测试结果

    Table  4   Test results for different datasets

    数据集全类别召回率均值RmAR@0.5(%)全类别精确率均值PmAP@0.5(%)
    DAGM92.5691.84
    NEU95.6893.58
    AITEX89.3487.59
    下载: 导出CSV
  • [1]

    Li Y W. Research progress of aluminum alloy welding technology[J]. The International Journal of Advanced Manufacturing Technology, 2020, 109(1): 1207 − 1218.

    [2]

    Chen Shanben. On intelligentized welding manufacturing. In: Robotic welding[C]//Intelligence and Automation: RWIA’2014. Springer International Publishing, 2015: 3-34.

    [3]

    Ahmed, Mohamed M Z. Friction stir welding of aluminum in the aerospace industry: the current progress and state-of-the-art review[J]. Materials, 2023, 16(8): 2971. doi: 10.3390/ma16082971

    [4]

    Mohandas T. Welding technologies in aerospace applications[J]. Aerospace Materials and Material Technologies, 2017, 2(1): 65 − 83.

    [5]

    Wang G, Liao T W. Automatic identification of different types of welding defects in radiographic images[J]. Ndt & E International, 2002, 35(8): 519 − 528.

    [6]

    Madhvacharyula, Anirudh Sampath, Pavan, et al. In situ detection of welding defects: a review[J]. Welding in the World, 2022, 66(4): 611 − 628. doi: 10.1007/s40194-021-01229-6

    [7]

    Andrew G, Vignesh S, Sooyoung L, et al. Applications of deep learning for fault detection in industrial cold forging[J]. International Journal of Production Reseach, 2021, 59(16): 4826 − 4835.

    [8]

    Lenka L, Jan S, Renata W. The learning path to neural network industrial application in distributed envisonment[J]. Processes, 2021, 9(12): 2247. doi: 10.3390/pr9122247

    [9]

    Dutta, Sourav. An overview on the evolution and adoption of deep learning applications used in the industry[J]. Wiley Interdisciplinary Reviews:Data Mining and Knowledge Discovery, 2018, 8(4): 1257. doi: 10.1002/widm.1257

    [10] 王睿, 胡云雷, 刘卫朋, 等. 基于边缘AI的焊缝X射线图像缺陷检测[J]. 焊接学报, 2022, 43(1): 79 − 84.

    Wang Rui, Hu Yunlei, Liu Weipeng, et al. Defect detection of weld X-ray image based on edge AI[J]. Transactions of the China Welding Institution, 2022, 43(1): 79 − 84.

    [11] 刘欢, 刘骁佳, 王宇斐, 等. 基于复合卷积层神经网络结构的焊缝缺陷分类技术[J]. 航空学报, 2022, 43(S1): 165 − 172.

    Liu Huan, Liu Xiaojia, Wang Yufei, et al. Weld defect classification technology based on compound convolution neural network structure[J]. Acta Aeronautica et Astronautica Sinica, 2022, 43(S1): 165 − 172.

    [12] 任文坚, 王永红, 李春凯, 等. 液体火箭发动机推力室熔焊缝数字化胶片图像缺陷识别方法研究[J]. 电焊机, 2023, 53(1): 9 − 14.

    Ren Wenjian, Wang Yonghong, Li Chunkai, et al. Research on automatic detection method of DR digital imaging for brazing seam defects of thrust chamber body[J]. Electric Welding Machine, 2023, 53(1): 9 − 14.

    [13] 程松, 杨洪刚, 徐学谦, 等. 基于YOLOv5的改进轻量型X射线铝合金焊缝缺陷检测算法[J]. 中国激光, 2022, 49(21): 136 − 144.

    Cheng Song, Yang Honggang, Xu Xueqian, et al. Improved lightweight X-ray aluminum alloy weld defects detection algorithm basedon YOLOv5[J]. Chinese Journal of Lasers, 2022, 49(21): 136 − 144.

    [14] 杨会敏, 李春棚, 袁新安, 等. 基于SSD的交流电磁场缺陷智能识别方法[J]. 无损检测, 2022, 44(8): 25 − 30.

    Yang Huimin, Li Chunpeng, Yuan Xin’an, et al. Defects intelligent recognition method of ACFM based on SSD[J]. Nondestructive Testing, 2022, 44(8): 25 − 30.

    [15]

    Zhang Z, Zhang Y, Wen Y, et al. Intelligent defect detection method for additive manufactured lattice structures based on a modified YOLOv3 model[J]. Journal of Nondestructive Evaluation, 2022, 41(1): 1 − 14. doi: 10.1007/s10921-021-00836-z

    [16]

    Wei X, Wei D, Suo D, et al. Multi-target defect identification for railway track line based on image processing and improved YOLOv3 model[J]. IEEE Access, 2020, 8(1): 973 − 988.

    [17]

    Dong C, Zhang K, Xie Z, et al. An improved cascade RCNN detection method for key components and defects of transmission lines[J]. IET Generation, Transmission Distribution, 2023, 17(19): 4277 − 4292. doi: 10.1049/gtd2.12948

    [18]

    Redmon J, Divvala S, Girshick R, et al. You only look once: unified, realtime object detection[J]. Computer Vision and Pattern Recognition, 2016, 91(1): 779 − 788.

    [19]

    Bhavya Sree B, Yashwanth Bharadwaj V, Neelima N. An inter-comparative survey on state-of-the-art detectors—R-CNN, YOLO and SSD[C]//Intelligent Manufacturing and Energy Sustainability: Proceedings of ICIMES 2020. Springer Singapore, 2021: 475-483.

    [20]

    Cao C Q. An improved faster R-CNN for small object detection[J]. Ieee Access, 2019, 7(1): 106838 − 106846.

    [21]

    Bharati P, Pramanik A. Deep learning techniques—R-CNN to mask R-CNN: a survey[J]. Computational Intelligence in Pattern Recognition:Proceedings of CIPR 2019, 2020(1): 657 − 668.

    [22]

    Cai Z W, Vasconcelos N. Cascade R-CNN: delving into high quality object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recongnition, 2018: 6165 − 6162.

    [23]

    Sun C Y, Hong X J, Shi S, et al. Cascade faster R-CNN detection for vulnerable plaques in OCT images[J]. IEEE Access, 2021(9): 24697 − 24704.

    [24]

    Cai Zhaowei, Vasconcelos Nuno. Cascade R-CNN: high quality object detection and instance segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 43(5): 1483 − 1498.

    [25]

    Feng T, Liu J G, Xia F, et al. A double-branch surface detection system for armatures in vibration motors with miniature volume based on ResNet-101 and FPN[J]. Sensors, 2020, 20(8): 1 − 16. doi: 10.1109/JSEN.2020.2978309

    [26]

    Alshammari A, Chabaan R C. Sppn-Rn101: spatial pyramid pooling network with resnet 101-Based foreign object debris detection in airports[J]. Mathematics, 2023, 11(4): 841. doi: 10.3390/math11040841

    [27]

    Ren K, Huang L, Fan C Q, et al. Real-time traffic sign detection network using DS-DetNet and lite fusion FPN[J]. Journal of Real-Time Image Processing, 2021, 18(6): 1 − 11.

    [28]

    Li Y C, Zhou S L, Chen H, et al. Attention-based fusion factor in FPN for object detection[J]. Applied Intelligence, 2022, 1(1): 1 − 10.

    [29]

    Chen J Y, Liu S P, Zhao L. Small object detection combining attention mechanism and a novel FPN[J]. Journal of Intelligent Fuzzy Systems, 2022, 42(4): 3691 − 3703.

    [30]

    Dai Z Z, Chen M Q, Gu X D, et al. Batch drop block network for person re-identification and beyond [C]// Proceedings of the IEEE Conference on Computer Vision, 2019: 3690 − 3700.

    [31]

    Ye J. Single valued neutrosophic cross-entropy for multicriteria decision making problems[J]. Applied Mathematical Modelling, 2014, 38(3): 1170 − 1175. doi: 10.1016/j.apm.2013.07.020

    [32]

    Chen Y P, Xu K, Zhou P, et al. Improved cross entropy loss for noisy labels in vision leaf disease classification[J]. IET Image Processing, 2022, 16(6): 1511 − 1519. doi: 10.1049/ipr2.12402

    [33] 程松, 戴金涛, 杨洪刚, 等. 基于改进型YOLOv4的焊缝图像检测与识别[J]. 激光与光电子学进展, 2022, 59(16): 105 − 111.

    Cheng Song, Dai Jintao, Yang Honggang, et al. Weld Image detection and recognition based on improved YOLOv4[J]. Laser & Optoelectronics Progress, 2022, 59(16): 105 − 111.

图(9)  /  表(4)
计量
  • 文章访问数:  66
  • HTML全文浏览量:  17
  • PDF下载量:  17
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-11-03
  • 网络出版日期:  2024-03-18

目录

/

返回文章
返回