An ultrasonic image mosaic method based on improved SIFT algorithm
-
摘要:
针对大型结构超声C扫描获得的多幅子图像，为了获取被测结构的全景图像，研究图像的拼接方法. 根据超声波法成像检测的动态过程并结合数字化图像处理技术，在传统的基于尺度不变特征变换 (scale invariant feature transform，SIFT)算法基础上，提出了一种改进的超声C扫描检测图像拼接方法. 首先，针对传统SIFT算法存在超声图像配准成功率低的问题，利用超声扫查过程中探头起始位置的矢量差对SIFT算法得到的特征点粗匹配结果进行筛选；其次，采用动态规划的方法寻找最佳缝合路径；最后，沿最佳缝合路径进行渐入渐出融合以改善融合区域的视觉效果. 人工缺陷试块及焊接结构试件超声图像的拼接结果表明，基于改进的SIFT图像拼接算法可以将多幅超声C扫描子图像有效拼接为全景图像；所提方法特征点匹配准确率高、图像融合失真小，优于常规SIFT图像拼接算法；拼接图像中，目标位置关系对应良好，可实现结构加工质量的整体无损评价.
Abstract:A comprehensive non-destructive testing of large structures usually needs a series of C-scans. In order to obtain a panoramic image of the structure under test, the method of sub-image mosaic is studied. According to the dynamic process of ultrasonic imaging and combined with digital image processing technology, an improved image mosaic method for ultrasonic C-scan detection is proposed based on the traditional scale invariant feature transform (SIFT) algorithm. Firstly, in view of the low success rate of ultrasound image registration using the traditional SIFT algorithm, the obtained matching feature points are screened through the vector difference of the starting positions of ultrasonic probe. Secondly, a dynamic programming method is used to find the best stitching path. Finally, a gradual in and out fusion is carried out along the best path for stitching to improve the visual effect of the fused area. Artificial defect contained block and welded piece are prepared and tested. The results of ultrasonic image mosaic show that the improved SIFT algorithm can effectively stitch multiple ultrasonic C-scan sub-images into panoramic images, and the proposed method has high accuracy of feature point matching and small image fusion distortion, which is better than the conventional SIFT image mosaic algorithm. In the mosaic image, the positions of targets match well, which can achieve overall non-destructive evaluation of structural processing quality.
-
Keywords:
- non-destructive testing /
- ultrasonic imaging /
- image mosaic /
- SIFT algorithm
-
0. 序言
增材制造(additive manufacturing, AM)是一种实现复杂结构精密“控形”和高性能“控性”相结合的高端制造方式[1-4]. 对于轻质铝合金高性能增材制造成形构件，传统的熔化增材制造工艺在制造过程中存在构件热损伤严重，易产生气孔和裂纹缺陷等难题[5-6].
搅拌摩擦增材制造技术[7]衍生于搅拌摩擦焊[8-9]，是一种固相增材制造技术，以低热输入和大塑性变形为主要特征，在高性能的轻质合金构件制造成形方面具有独特的优势. 搅拌摩擦增材制造过程中，材料并未达到熔点而一直保持热塑化态，热塑化的材料经过增材制造工具的“锻造”作用制造成形，避免了熔化增材制造工艺中的热损伤或气孔裂纹等缺陷，可获得性能良好的细晶组织，从而提高铝合金构件的性能. 根据制造工艺过程特点，将搅拌摩擦增材制造分为3种典型模式，即摩擦堆焊沉积式、板材叠加式及中空棒料摩擦沉积式. 最初，学者们研究的摩擦堆焊沉积式主要通过耗材与基板之间的摩擦形成冶金结合实现沉积成形[10]，沉积层间存在界面弱连接且在外在成形控制方面和大型构件连续送料成形方面的研究仍缺少实质性的进展；He等人[11]采用板材叠加式对Al-Zn-Mg合金成形进行了研究，采用板材叠加的方式将多块板材向上堆叠，增材成形件仅焊核无缺陷的区域可有效使用，且在FSAM过程中各道次间需反复装夹；美国Meld公司开发了搅拌摩擦沉积增材技术[12]，方形棒料受轴向推力作用，通过中空模具腔内与基板摩擦塑化成形，制造过程中方形棒料需多次换料装夹并重启，送料过程不连续. 综上，目前已开发的搅拌摩擦固相增材制造技术在送料方面具有不连续性[13-14]，致使增材制造过程中的多次非稳定性过程，大型结构件制造时间较长，且堆积层间界面存在弱连接等技术瓶颈.
拟突破搅拌摩擦增材制造技术送料不连续和界面弱连接的难题，原创性地开发基于丝材的连续进给搅拌摩擦增材制造技术[15]，研究增材制造工艺成形过程，揭示多层堆积层的结合界面成形特性，分析堆积层组织与性能，为铝合金搅拌摩擦增材制造高性能大型构件提供技术方案.
1. 试验方法
连续进给搅拌摩擦增材制造系统主要包括万洲焊接公司生产的WWW-LM3324-2D-3T龙门式数控搅拌摩擦焊机和自主研发的搅拌摩擦增材制造系统，该系统包括设有进料孔的储料腔、用于热塑化丝材并连续挤压与搅拌处理的搅拌头和实现连续送料的送丝机. 其中，送丝机的送丝轮采用V形槽和滚花结构设计以防止焊丝打滑，增大送丝力. 试验所用丝材为Al-Si合金丝材，直径为2.4 mm，基板采用6061-T4铝合金，尺寸为300 mm × 100 mm × 6 mm. Al-Si丝材及6061-T4铝合金基板的化学成分见表1.图1为连续进给搅拌摩擦增材制造示意图，在增材制造过程中，增材制造过程主要分为三个阶段，即：丝材输送段、材料热塑化段和增材成形段；丝材原料是从送丝通孔进入螺槽中，螺杆上的矩形螺纹会将丝材剪切成多个金属颗粒段，金属颗粒段以非塞流的形式沿螺槽向下运动；随塑化材料的连续积累，储料腔内的压力逐渐增高，颗粒状材料逐渐被压实并达到塑化状态；此时，非塞流输送转变成塞流输送，塑化态金属材料经过底部的搅拌针连续的搅拌处理，材料组织与成分更加均匀，最终经储料腔底部的轴肩端面与基板之间的间隙增材制造成形. 增材制造过程中采用的转速为1 100 r/min，行进速度为600 mm/min，送丝速度为3 000 mm/min，且搅拌针压入前一堆积层0.6 mm进行搅拌.
表 1 Al-Si合金和6061-T4板材化学成分 (质量分数，%)Table 1. Chemical compositions of Al-Si alloy and 6061-T4 sheet材料 Cu Mg Si Fe Mn Zn Ti Cr Al Al-Si 丝材 0.23 0.05 ~ 0.08 4.5 ~ 6.0 0.18 0.10 0.008 0.07 0.0001 余量 6061-T4板材 0.25 1.08 0.60 0.32 0.04 0.001 0.045 0.189 余量 ![]()
图 1 连续进给搅拌摩擦增材制造示意图Figure 1. Schematic of continuous feeding friction stir additive manufacturing process增材制造完成后，采用线切割沿垂直行进方向选取单侧成形壁样件进行分析，切取5 mm厚的金相样品进行金相宏观形貌分析，腐蚀液为5%(体积分数)的氢氟酸水溶液，腐蚀时间为10 ~ 20 s；采用Keyence VHX-1000E超景深显微镜观察增材构件截面宏观形貌及各个区域的层间结合界面和堆积层不同区域的微观组织；在增材制造截面上采用HXD-1000TM数字式显微硬度仪进行硬度测试，加载载荷为0.98 N，保载时间为10 s，显微硬度测试点分布如图2所示，相邻测试点之间的距离为0.5 mm；沿堆积方向并排切取拉伸试样进行测试，拉试件尺寸如图3所示，采用SHIMADZUEHF-UV200K2型力学性能试验机进行拉伸性能测试，拉伸速率为0.5 mm/min，采用扫描电子显微镜(SEM, Merlin Compact)分析拉伸断口形貌.
2. 试验结果与讨论
2.1 过程分析
增材制造制备的多层闭环成形实际工艺过程及材料流动情况如图4所示. 在增材制造实际工艺过程中(图4a)，热塑化材料的流动行为决定了增材制造构件的成形，如图4b所示，丝材经由增材制造搅拌头的剪切热塑化处理流入储料腔内，随着热塑化金属材料连续积累，储料腔内的压力升高，热塑化态的铝合金沿搅拌头上的螺槽向下流动，储料腔底部的静止端面对热塑化材料有一定的径向限位与锻造挤压作用，而搅拌头底部的搅拌针设计提高了塑化材料的动态流动性和均质性，搅拌针的搅拌处理作用避免了搅拌摩擦增材制造层间界面弱连接缺陷，提高了堆积层与层之间的结合致密性，最终组织及均匀态的铝合金材料经储料腔底部端面与前一堆积层之间的间隙增材制造成形. 选取铝合金搅拌摩擦增材制造特征成形构件单侧成形壁样件进行分析，如图5所示. 宏观形貌显示各堆积层成形良好且均匀一致，堆积层厚平均为1.2 mm，层宽为24 mm，证明了增材制造技术成形过程稳定.
![]()
图 4 增材制造实际过程及内部热塑化材料流动情况Figure 4. Actual process of additive manufacturing and the schematic of thermo-plasticized material flow. (a) actual process; (b) flow behavior of materials增材制造成形件截面及特征区域层间界面形貌与微观组织形貌如图6所示. 堆积层与基板、堆积层与堆积层之间界面结合致密，无沟槽和弱连接等缺陷(图6a)，表明在增材制造过程中搅拌针的搅拌处理作用可显著提高热塑化材料与基板之间的结合效果. 在增材制造过程中，储料腔底部的端面对热塑化状态材料的径向限位作用，使堆积层成形宽度保持在24 mm，与储料腔底部端面尺寸相一致，同时该端面也会对热塑化材料有一定的锻造挤压作用，使堆积层间及内部结合良好.
![]()
图 6 增材制造样件横截面及特征区域层间界面形貌与微观组织形貌Figure 6. The cross-section of the additive manufacturing specimen and its interfacial morphology and microstructures from the featured areas. (a) additive morphology; (b) interface A; (c) interface B; (d) interface C; (e) top section; (f) middle section; (g) bottom section堆积层间界面结合是确保增材制造成形的关键，因此进一步表征了堆积层与基板之间的界面，图6b ~ 图6d为未腐蚀的初始堆积层与基板的界面形貌. 在增材制造过程中，搅拌针侧面与热塑化材料之间发生相对剪切滑动，热塑化材料被连续不断地剪切挤压. 同时在搅拌针的侧向挤压与锻造挤压的共同作用下，初始堆积层与基板形成良好的界面. 进一步地，分析了增材制造成形件不同增材位置的微观组织形貌，图6e ~ 图6g依次为成形件沿堆积方向顶部、中部及底部的微观组织形貌. 在增材制造的连续制备成形过程中，热塑化态的铝合金材料在热力耦合作用下，发生严重的塑性变形，晶粒组织以动态再结晶的形式形成细小的等轴晶粒；堆积层的底部和中部区域受多次摩擦热输入的影响，晶粒尺寸略大于堆积层顶部.
2.2 显微硬度分布
沿堆积方向不同区域的显微硬度分布情况如图7所示，沿堆积方向，硬度值的波动较小，由于在增材制造过程中，铝合金材料一直维持热塑化态，摩擦热输入较小；通过显微硬度云图得出，增材制造成形件顶部堆积层的显微硬度平均值为44.8 HV ± 2.7 HV，中部堆积层的显微硬度平均值为42.8 HV ± 1.8 HV，底部堆积层的平均硬度值为41.6 HV ± 0.5 HV. 中部和底部堆积层在增材制造过程中经历了多次摩擦热输入的影响，堆积层中部和底部硬度的平均值要略低于顶部堆积层，整体堆积层的显微硬度分布较均匀. 由于搅拌头底部搅拌针对热塑化材料的搅拌处理作用，同一堆积层内部的晶粒尺寸分布具有一定的均匀性，证明热塑化材料得到了充分且均匀化的搅拌处理.
2.3 拉伸性能评价
图8为增材方向的拉伸性能测试结果，增材制造沿堆积方向的抗拉强度可达207.1 MPa ± 3.2 MPa，断后伸长率为19.6 % ± 5.3%. 搅拌针对热塑化材料的搅拌摩擦处理，提高了堆积层与层之间界面结合的致密性. 在3 000 mm/min的送丝速度下，冷金属过渡增材制造铝合金成形件沿堆积方向的抗拉强度为156 MPa，延伸率为13.9%[16]，增材制造工艺成形件中铝合金沿堆积层方向的抗拉强度相比于冷金属过渡增材制造技术提高34%，断后伸长率提高41%. 连续进给搅拌摩擦增材制造铝合金优质性能成形较冷金属过渡增材制造工艺具有显著的优势.
图9为沿堆积方向选区A的拉伸断口形貌，从沿堆积方向的整体的SEM断口形貌来看(图9a)，断口表面形貌具有大量的均匀分布的韧窝和局部的撕裂棱组成，选区断口形貌(图9b)中不存在气孔及裂纹等缺陷，塑性较好，表现为典型的韧性断裂模式.底部的堆积层在多次热循环的影响下，晶粒组织尺寸较大，因此会在底部堆积层优先开裂.
![]()
图 9 拉伸断口形貌Figure 9. Tensile fracture morphologies. (a) overall fracture morphology of additive layers; (b) fracture morphology of the selected area3. 结论
(1) 提出了连续进给搅拌摩擦增材制造方法，铝合金丝材经由送丝孔进入储料腔，搅拌头连续热塑化并向下挤压铝合金材料，搅拌针在堆积层间的搅拌作用有效地提高了堆积层间的界面结合，成功制备了成形良好的铝合金多层闭环结构件，各堆积层成形厚度平均为1.2 mm，证明了增材制造过程的连续性和稳定性.
(2) 连续进给搅拌摩擦增材制造过程中，热塑化材料被搅拌头连续剪切并向下挤压，搅拌针与热塑化材料之间发生相对剪切滑动，堆积层间界面结合良好，无沟槽和弱连接等缺陷，搅拌摩擦增材制造的堆积层各区域均为细小的等轴晶粒.
(3) 增材制造成形件整体的硬度值波动较小，增材方向的抗拉强度可达207.1 MPa ± 3.2 MPa，断后伸长率为19.6% ± 5.3%，拉伸断口表面中存在大量致密的韧窝，表现为典型的韧性断裂特征.
-
![]()
图 2 待拼接的超声图像
Figure 2. Ultrasonic images involved in stitching. (a) image 1; (b) image 2; (c) image 3; (d) image 4
![]()
图 3 传统SIFT算法特征点匹配结果
Figure 3. Result of feature points matching using traditional SIFT algorithm
![]()
图 4 改进SIFT算法特征点匹配结果
Figure 4. Result of feature points matching using improved SIFT algorithm
![]()
图 5 不同配准算法直接拼接的图像
Figure 5. Images stitched by different registration algorithms. (a) traditional SIFT algorithm; (b) improved SIFT algorithm
![]()
图 8 焊接结构超声图像拼接
Figure 8. Mosaic of welding structure tested ultrasonic images. (a) image 1; (b) image 2; (c) fused image
表 1 图像配准结果评价
Table 1 Evaluation of image registration results
配准算法 拼接次序 匹配对总数
n匹配准确率
k(%)传统SIFT 1 16 18.75 2 16 31.25 3 16 12.50 改进算法 1 16 68.75 2 16 62.50 3 11 72.73 
下载: 导出CSV
表 2 图像融合结果评价
Table 2 Evaluation of image fusion results
融合算法 拼接次序 峰值信噪比
$\eta_{\mathrm{PSNR}} $结构相似性
$F_{\mathrm{SSIM}}\left( {X,Y} \right) $直接融合 1 20.5743 0.9424 2 20.8279 0.9497 3 17.1486 0.9173 改进算法 1 21.9148 0.9526 2 21.3024 0.9549 3 17.6537 0.9305
下载: 导出CSV
-
[1] 张晨昊, 陈兵, 刘恒, 等. 增材制造AlSi10Mg超声横波和纵波孔隙率检测对比分析[J]. 焊接学报, 2023, 44(10): 111 − 119. doi: 10.12073/j.hjxb.20230414001 Zhang Chenhao, Chen Bing, Liu Heng, et al. Comparison of ultrasonic transverse and longitudinal wave porosity detection in additive manufacturing of AlSi10Mg[J]. Transactions of the China Welding Institution, 2023, 44(10): 111 − 119. doi: 10.12073/j.hjxb.20230414001
[2] 王斌, 李升, 朱富慧, 等. 基于超声无损检测的扩散连接界面缺陷尺寸评估[J]. 焊接学报, 2020, 41(8): 34 − 38. doi: 10.12073/j.hjxb.20200323004 Wang Bin, Li Sheng, Zhu Fuhui, et al. Evaluation on interfacial defect size of diffusion bonding based on ultrasonic non-destructive testing[J]. Transactions of the China Welding Institution, 2020, 41(8): 34 − 38. doi: 10.12073/j.hjxb.20200323004
[3] 迟大钊, 郭涛, 张闰琦, 等. 声阻法胶接结构缺陷实时成像检测[J]. 焊接学报, 2022, 43(11): 107 − 111. doi: 10.12073/j.hjxb.20220702001 Chi Dazhao, Guo Tao, Zhang Runqi, et al. Study on real-time imaging detection of bonding defects by acoustic impedance method[J]. Transactions of the China Welding Institution, 2022, 43(11): 107 − 111. doi: 10.12073/j.hjxb.20220702001
[4] 陈尧, 冒秋琴, 石文泽, 等. 基于相位相干性的厚壁焊缝TOFD成像检测研究[J]. 机械工程学报, 2019, 55(4): 25-32. Chen Yao, Mao Qiuqin, Shi Wenze, et al. Research on ultrasonic TOFD imaging inspection for heavy-walled weld based on phase coherence characteristics[J] Journal of Mechanical Engineering. 2019, 55(4): 25-32.
[5] Bazulin E G. TOFD echo signal processing to achieve superresolution[J]. Russian Journal of Nondestructive Testing, 2021, 57(5): 352 − 360. doi: 10.1134/S1061830921050053
[6] 王锐, 刘志宏, 吴杰峰, 等. 316L对接焊缝相控阵超声检测工艺模拟与试验验证[J]. 焊接学报, 2019, 40(11): 33 − 38. doi: 10.12073/j.hjxb.2019400284 Wang Rui, Liu Zhihong, Wu Jiefeng, et al. Simulation and experimental verification of phased array ultrasonic testing process in 316L butt weld[J]. Transactions of the China Welding Institution, 2019, 40(11): 33 − 38. doi: 10.12073/j.hjxb.2019400284
[7] 汪认, 赵鹏, 何建英, 等. 基于超声相控阵的耐候钢接头疲劳裂纹动态监测[J]. 焊接学报, 2022, 43(12): 100 − 104. doi: 10.12073/j.hjxb.20211117001 Wang Ren, Zhao Peng, He Jianying, et al. Fatigue crack dynamic monitoring of weathering steel joint based on ultrasonic phased array[J]. Transactions of the China Welding Institution, 2022, 43(12): 100 − 104. doi: 10.12073/j.hjxb.20211117001
[8] 杨敬, 吴斌, 焦敬品, 等. 奥氏体不锈钢焊缝超声阵列检测方法[J]. 焊接学报, 2022, 43(2): 1 − 10. doi: 10.12073/j.hjxb.20210617001 Yang Jing, Wu Bin, Jiao Jingpin, et al. Nondestructive testing of austenitic welds using method of ultrasonic array[J]. Transactions of the China Welding Institution, 2022, 43(2): 1 − 10. doi: 10.12073/j.hjxb.20210617001
[9] Chen L L, Zhao Y Q, Kong S G. SFA-guided mosaic transformer for tracking small objects in snapshot spectral imaging[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2023, 204: 223 − 236. doi: 10.1016/j.isprsjprs.2023.09.015
[10] Liu Y F, Zhao, X N, Song Z H, et al. Detection of apple mosaic based on hyperspectral imaging and three-dimensional gabor[J]. Computers and Electronics in Agriculture, 2024, 222: 109051 doi: 10.1016/j.compag.2024.109051
[11] Zhang K, Yin C, Cheng Y H, et al. Rapid defect detection for spacecraft in infrared reconstructed images using image mosaic technique[C]//The 21st World Congress of the International Federation of Automatic Control (IFAC), July 12-17, 2020, Berlin. San Francisco: Curran and Associates, Inc. , 2020: 5695-5700.
[12] Lowe D G. Distinctive image features from scale-invariant interest points[J]. International Journal Of Computer Vision, 2004, 60(2): 91 − 110. doi: 10.1023/B:VISI.0000029664.99615.94
[13] Huang Q H, Deng Q F, Li L, et al. Scoliotic imaging with a novel double-sweep 2.5-dimensional extended field-of-view ultrasound[J]. IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control, 2019, 66(8): 1304 − 1315. doi: 10.1109/TUFFC.2019.2920422
[14] Tsourounis D, Kastaniotis D, Theoharatos C, et al. SIFT-CNN: when convolutional neural networks meet dense SIFT descriptors for image and sequence classification[J]. Journal of Image, 2022, 8(10): 256.
[15] Wang F B, Paul T b, Chen W, et al. Multi-image mosaic with SIFT and vision measurement for microscale structures processed by femtosecond laser[J]. Optics and Lasers in Engineering, 2018, 100: 124 − 130. doi: 10.1016/j.optlaseng.2017.08.004
-
期刊类型引用(0)
其他类型引用(3)
计量
- 文章访问数: 270
- HTML全文浏览量: 31
- PDF下载量: 91
- 被引次数: 3
