高级检索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

线结构光焊接图像去噪方法

马增强 钱荣威 许丹丹 杜巍

马增强, 钱荣威, 许丹丹, 杜巍. 线结构光焊接图像去噪方法[J]. 焊接学报, 2021, 42(2): 8-15. doi: 10.12073/j.hjxb.20200519002
引用本文: 马增强, 钱荣威, 许丹丹, 杜巍. 线结构光焊接图像去噪方法[J]. 焊接学报, 2021, 42(2): 8-15. doi: 10.12073/j.hjxb.20200519002
Zengqiang MA, Rongwei QIAN, Dandan XU, Wei DU. Denoising of line structured light welded seams image based on adaptive top-hat transform[J]. TRANSACTIONS OF THE CHINA WELDING INSTITUTION, 2021, 42(2): 8-15. doi: 10.12073/j.hjxb.20200519002
Citation: Zengqiang MA, Rongwei QIAN, Dandan XU, Wei DU. Denoising of line structured light welded seams image based on adaptive top-hat transform[J]. TRANSACTIONS OF THE CHINA WELDING INSTITUTION, 2021, 42(2): 8-15. doi: 10.12073/j.hjxb.20200519002

线结构光焊接图像去噪方法

doi: 10.12073/j.hjxb.20200519002
基金项目: 国家自然科学基金资助项目(12072207);河北省高等学校科学技术研究项目青年基金项目(QN2020155);河北省研究生专业学位教学案例库项目(KCJSZ2019057).
详细信息
    作者简介:

    马增强,博士,教授,博士研究生导师;主要从事轴承故障诊断及图像识别等工作;Email:mzqlunwen@126.com.

    通讯作者: 杜巍,博士,讲师;E-mail:duwei571@126.com.
  • 中图分类号: TG 409

Denoising of line structured light welded seams image based on adaptive top-hat transform

  • 摘要: 为了滤除焊接过程中大量散射及飞溅焊渣等噪声,提出了一种基于自适应顶帽变换(adaptive Top-Hat transform)的线结构光焊接图像去噪方法. 将噪声图像进行一定范围结构元尺寸的Top-Hat变换处理,提出了一种评价指标互相关系数(cross-correlation coefficient of image histogram, CCIH)选取得到最优结构元尺寸L. 其次,进行一定迭代次数范围的顶帽变换(Top-Hat)变换处理,并提出一种基于最大类间方差(Otsu)改进结构相似度(SSIM)算法的评价指标相亮比(ratio of structural similarity index to average brightness,RSB)选取得到最优迭代次数I. 结果表明,与自适应中值法(median filter,MF)、全变分法(total variation,TV)和非下采样轮廓波变换与全变差法相结合的方法(non-subsampled contourlet transform with total variation,NSCT-TV)相比,该方法在主观视觉效果,信息熵(entropy,EN)、峰值信噪比(peak signal-to-noise ratio,PSNR)和均方根误差(mean-square error,MSE)上均有较大的改善. 噪声得到有效去除的同时图像中的线结构光区域得到较好的保留.
  • 图  1  CCIHL关系图

    Figure  1.  Graph of CCIH and L

    图  2  L = 9与其他尺寸处理效果对比

    Figure  2.  Comparison of L = 9 and other sizes. (a) source image; (b) L = 3; (c) L = 9 (proposed); (d) L = 11; (e) L = 15; (f) L = 21

    图  3  不同L下SSIM与I的计算关系

    Figure  3.  Graph of SSIM and I under different L

    图  4  RSBI的计算关系图

    Figure  4.  Graph of RSB and I

    图  5  I = 5与其他迭代次数处理效果对比

    Figure  5.  Comparison of I = 5 and other parameters. (a) source image; (b) I = 1; (c) I = 3; (d) I= 5 (proposed); (e) I = 15; (f) I = 20

    图  6  试验图像

    Figure  6.  Images of experiments. (a) No. 110; (b) No. 151; (b) No. 219; (d) No .239

    图  7  算法模型参数

    Figure  7.  Parameters of the proposed model. (a) L; (b) I

    图  8  去噪效果主观对比

    Figure  8.  Subjective comparison of denoising effect. (a) MF; (b) TV; (c) NSCT; (d) proposed

    表  1  去噪效果客观指标对比

    Table  1.   Comparison of objective indicators of denoising effect

    焊接图像评价指标原始图像自适应中值(MF)全变分(TV)[20]非下采样全变分(NSCT-TV)[21]文中算法
    第一组 EN 7.593 6 7.077 3 7.080 5 7.064 1 4.014 3
    PSNR 9.935 5 16.067 3 16.655 1 36.935 5
    MSE 1 429.728 8 153.342 7 133.930 4 62.929 0
    第二组 EN 7.627 8 7.136 8 7.040 2 6.902 5 4.095 6
    PSNR 9.923 2 13.941 7 14.035 2 34.923 2
    MSE 1248.230 3 252.187 7 146.817 3 63.615 37
    第三组 EN 8.247 6 7.219 9 7.205 1 7.201 8 4.299 1
    PSNR 7.769 7 13.969 5 18.154 5 38.264 3
    MSE 1 086.774 1 126.945 6 126.069 2 9.697 4
    第四组 EN 8.240 0 7.217 3 7.245 3 7.222 7 4.103 9
    PSNR 6.797 3 19.281 0 19.763 2 37.479 6
    MSE 1359.404 1 767.319 1 686.695 5 11.617 8
    下载: 导出CSV
  • [1] Chen X Z, Li T, Lang Y Y, et al. Edge detection and its application to recognition of arc weld image[J]. China Welding, 2007, 16(4): 20 − 26.
    [2] 郭吉昌, 朱志明, 孙博文. 基于组合激光结构光的多功能视觉传感器[J]. 焊接学报, 2019, 40(10): 1 − 7.

    Guo Jichang, Zhu Zhiming, Sun Bowen. A multifunctional monocular visual sensor based on combined laser structured lights[J]. Transactions of the China Welding Institution, 2019, 40(10): 1 − 7.
    [3] Agarwal G, Gao H, Amirthalingam M, et al. In situ strain investigation during laser welding using digital image correlation and finite-element-based numerical simulation[J]. Science and Technology of Welding and Joining, 2018, 23(2): 134 − 139. doi:  10.1080/13621718.2017.1344373
    [4] Huo P, Li X, Pei W C. Arithmetic processing of image of weld seam based on morphological filtering[J]. Communications in Computer & Information Science, 2010, 106: 305 − 311.
    [5] Chang C L, Chen Y H. Measurements of weld geometry using image processing technology[J]. Key Engineering Materials, 2010, 437: 449 − 452. doi:  10.4028/www.scientific.net/KEM.437.449
    [6] Floris G, Anwar M, Teun B, et al. Improving source camera identification using a simplified total variation based noise removal algorithm[J]. Digital Investigation, 2013, 10(3): 207 − 214. doi:  10.1016/j.diin.2013.08.002
    [7] Duan J X, Luo L, Gao X R, et al. Multiframe ultrasonic tofd weld inspection imaging based on wavelet transform and image registration[J]. Hindawi, 2018: 101 − 155.
    [8] Padmagireeshan S J, Johnson R C, Balakrishnan A A, et al. Performance analysis of magnetic resonance image denoising using contourlet transform[C]//Third International Conference on Advances in Computing & Communications. IEEE, 2013: 396-399.
    [9] Tian X L, Jiao L C, Guo K W. An affinity-based algorithm in nonsubsampled contourlet transform domain: application to synthetic aperture radar image denoising[J]. Journal of Signal Processing Systems, 2016, 83(3): 373 − 388. doi:  10.1007/s11265-015-1024-2
    [10] Siblini A, Audi K, Ghaith A. Power-based pulsed radar detection using wavelet denoising and spectral threshold with pattern analysis[J]. International Journal of Microwave and Wireless Technologies, 2020, 12(8): 782 − 789. doi:  10.1017/S1759078720000124
    [11] Wu H L, Xu H P, Wang P B, et al. Denoising method based on intrascale correlation in nonsubsampled contourlet transform for synthetic aperture radar images[J]. Journal of Applied Remote Sensing, 2019, 13(4): 046503 − 046503.
    [12] Sebastian V B, Unnikrishnan A, Balakrishnan K, et al. Morphological filtering on hypergraphs[J]. Discrete Applied Mathematics, 2014, 216: 307 − 320.
    [13] He G Q, Zhang Q J, Ji J J, et al. An infrared and visible image fusion method based upon multi-scale and top-hat transforms[J]. Chinese Physics B, 2018, 27(11): 344 − 352.
    [14] Wei N, Yang J H, Liu R X. Denoising for variable density ESPI fringes in nondestructive testing by an adaptive multiscale morphological filter based on local mean[J]. Applied Optics, 2019, 58(28): 7749 − 7759. doi:  10.1364/AO.58.007749
    [15] Hematizadeh A, Jazayeri M, Ghafary B. Generation of terahertz radiation via cosh-Gaussian and top-hat laser beams in a collisional magnetized plasma[J]. Contributions to Plasma Physics, 2018, 58(1): 578 − 586.
    [16] Huang J, Deng K, Yao Z. Using top-hat beam to improve the performance of the inter-satellite laser communication[J]. Optik - International Journal for Light and Electron Optics, 2017, 137: 238 − 243. doi:  10.1016/j.ijleo.2017.03.010
    [17] 孙博文, 朱志明, 郭吉昌, 等. 基于组合激光结构光的视觉传感器检测算法及图像处理流程优化[J]. 清华大学学报(自然科学版), 2019, 59(6): 445 − 452.

    Sun Bowen, Zhu Zhiming, Guo Jichang, et al. Detection algorithms and optimization of image processing for visual sensors using combined laser structured light[J]. Journal of Tsinghua University (Natural Science Edition), 2019, 59(6): 445 − 452.
    [18] 毛志伟, 赵滨, 周少玲. 线结构光视觉传感焊缝跟踪图像处理[J]. 热加工工艺, 2016, 45(15): 233 − 235+238.

    Mao Zhiwei, Zhao Bin, Zhou Shaoling. Image processing of line structured light vision sensing seam tracking[J]. Thermal processing technology, 2016, 45(15): 233 − 235+238.
    [19] 于岩, 成敏. 荧光图像增强去噪的自适应顶帽变换算法[J]. 电脑与电信, 2013(4): 42 − 44. doi:  10.3969/j.issn.1008-6609.2013.04.028

    Yu Yan, Cheng Min. An Adaptive Top-Hat algorithm for fluorescence image processing[J]. Computer and Telecommunication, 2013(4): 42 − 44. doi:  10.3969/j.issn.1008-6609.2013.04.028
    [20] 张鹏贤, 韦志成, 刘志辉. 管道焊口间隙量与错边量的激光视觉检测[J]. 焊接学报, 2018, 39(11): 103 − 107. doi:  10.12073/j.hjxb.2018390282

    Zhang Pengxian, Wei Zhicheng, Liu Zhihui. Laser visual measurement for gap values and misalignment values of pipeline welding groove[J]. Transactions of the China Welding Institution, 2018, 39(11): 103 − 107. doi:  10.12073/j.hjxb.2018390282
    [21] Wu Y Q, Wan H, Ye Z L, et al. Noise reduction of welding defect image based on NSCT and anisotropic diffusion[J]. Springer Berlin Heidelberg, 2014, 20(1): 60 − 65.
    [22] Li J W, Cheng W, Bao L L, et al. An improved method for blind detection of multi-node cooperative spectrum based on correlation coefficient[J]. Journal of Physics: Conference Series, 2018, 1087(2): 022031 − 022039.
    [23] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2004, 13(4): 600 − 12. doi:  10.1109/TIP.2003.819861
    [24] Onumanyi A J, Onwuka E N, Aibinu A M, et al. A modified Otsu’s algorithm for improving the performance of the energy detector in cognitive radio[J]. AEU-International Journal of Electronics and Communications, 2017, 79: 53 − 63.
  • [1] 李天旭, 王天琪, 李亮玉, 杨壮.  典型薄壁结构件增材制造焊接路径规划优化算法 . 焊接学报, 2021, 42(2): 69-74. doi: 10.12073/j.hjxb.20200823002
    [2] 康存锋, 王明凯, 张鹏飞, 陈树君, 蒋晓青.  基于空间变换原理的直线摆焊算法 . 焊接学报, 2019, 40(3): 1-5. doi: 10.12073/j.hjxb.2019400061
    [3] 于英飞,朱志明,孙博文,程世佳.  焊接电弧图像的边缘检测及其批处理算法 . 焊接学报, 2018, 39(11): 17-21. doi: 10.12073/j.hjxb.2018390265
    [4] 刘习文, 陈显明, 刘超英.  基于拉东变换和模糊增强的结构光焊缝跟踪图像处理 . 焊接学报, 2017, 38(2): 19-22.
    [5] 齐继阳, 李金燕, 陆震云, 魏赛.  改进的Otsu法在焊接图像分割中的应用 . 焊接学报, 2016, 37(10): 97-100.
    [6] 宋奎晶, 魏艳红, 董志波, 马瑞, 占小红, 郑文健, 方坤.  焊接热循环和变形历史相关的A7N01-T6本构关系 . 焊接学报, 2014, 35(4): 87-90,94.
    [7] 薛钢, 王涛, 方洪渊.  异质接头应力集中系数与坡口角度和材料差异度的关系方程 . 焊接学报, 2014, 35(8): 95-98.
    [8] 汤小红, 杨岳, 张闪影.  基于相似理论的箱型结构焊接应力与变形的数值模拟 . 焊接学报, 2013, (11): 22-26,108.
    [9] 赵辉煌, 周德俭, 吴兆华, 李春泉, 李康满.  基于小波包变换与自适应阈值的SMT焊点图像去噪 . 焊接学报, 2011, (11): 73-76.
    [10] 熊俊, 张广军, 胡玉堂.  基于迭代算法的焊接电弧发射系数重建 . 焊接学报, 2010, (11): 105-108.
    [11] 姬书得, 张利国, 李雅范, 刘雪松, 方洪渊.  基于相似理论的构件与模拟件之间焊接残余应力关系的建立 . 焊接学报, 2010, (6): 61-64.
    [12] 黄军芬, 黄继强, 黄民双, 邓双成.  基于Beamlet变换的结构光焊缝图像线性特征提取 . 焊接学报, 2009, (5): 89-92.
    [13] 王明泉, 柴黎.  改进的分水岭算法在焊接图像中的应用 . 焊接学报, 2007, (7): 13-16.
    [14] 刘永, 王克鸿, 杨静宇.  冗余度弧焊机器人位置优化建模及算法 . 焊接学报, 2007, (11): 25-28.
    [15] 崔晓芳, 马君, 赵海燕, 兆文忠, 孟凯.  基于遗传算法的箱型结构焊接顺序优化 . 焊接学报, 2006, (8): 5-8.
    [16] 陈章兰, 高向东, 陈永平, 谢志孟.  焊接视觉图像质心算法及其特性 . 焊接学报, 2006, (4): 17-20,24.
    [17] 黄军芬, 蒋力培, 邹勇, 殷树言.  用DSP实现焊缝图像处理算法中的小波变换算法 . 焊接学报, 2005, (12): 77-80.
    [18] 陈俊梅, 陆皓, 周永华, 魏良武, 陈玉.  挖掘机下车架主件顶环面的平面度 . 焊接学报, 2004, (1): 107-110.
    [19] 祁欣, 陈娟, 刘殿魁.  局部磁化法对焊接结构件残余应力的磁弹噪讯测试 . 焊接学报, 2000, (3): 1-4.
    [20] 刘志华, 厉克勤, 焦好军.  焊接工艺裕度及其与焊接质量保证的关系 . 焊接学报, 1996, (3): 188-197.
  • 加载中
图(8) / 表 (1)
计量
  • 文章访问数:  293
  • HTML全文浏览量:  27
  • PDF下载量:  37
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-05-19
  • 网络出版日期:  2021-03-30
  • 刊出日期:  2021-02-25

线结构光焊接图像去噪方法

doi: 10.12073/j.hjxb.20200519002
    基金项目:  国家自然科学基金资助项目(12072207);河北省高等学校科学技术研究项目青年基金项目(QN2020155);河北省研究生专业学位教学案例库项目(KCJSZ2019057).
    作者简介:

    马增强,博士,教授,博士研究生导师;主要从事轴承故障诊断及图像识别等工作;Email:mzqlunwen@126.com.

    通讯作者: 杜巍,博士,讲师;E-mail:duwei571@126.com.
  • 中图分类号: TG 409

摘要: 为了滤除焊接过程中大量散射及飞溅焊渣等噪声,提出了一种基于自适应顶帽变换(adaptive Top-Hat transform)的线结构光焊接图像去噪方法. 将噪声图像进行一定范围结构元尺寸的Top-Hat变换处理,提出了一种评价指标互相关系数(cross-correlation coefficient of image histogram, CCIH)选取得到最优结构元尺寸L. 其次,进行一定迭代次数范围的顶帽变换(Top-Hat)变换处理,并提出一种基于最大类间方差(Otsu)改进结构相似度(SSIM)算法的评价指标相亮比(ratio of structural similarity index to average brightness,RSB)选取得到最优迭代次数I. 结果表明,与自适应中值法(median filter,MF)、全变分法(total variation,TV)和非下采样轮廓波变换与全变差法相结合的方法(non-subsampled contourlet transform with total variation,NSCT-TV)相比,该方法在主观视觉效果,信息熵(entropy,EN)、峰值信噪比(peak signal-to-noise ratio,PSNR)和均方根误差(mean-square error,MSE)上均有较大的改善. 噪声得到有效去除的同时图像中的线结构光区域得到较好的保留.

English Abstract

马增强, 钱荣威, 许丹丹, 杜巍. 线结构光焊接图像去噪方法[J]. 焊接学报, 2021, 42(2): 8-15. doi: 10.12073/j.hjxb.20200519002
引用本文: 马增强, 钱荣威, 许丹丹, 杜巍. 线结构光焊接图像去噪方法[J]. 焊接学报, 2021, 42(2): 8-15. doi: 10.12073/j.hjxb.20200519002
Zengqiang MA, Rongwei QIAN, Dandan XU, Wei DU. Denoising of line structured light welded seams image based on adaptive top-hat transform[J]. TRANSACTIONS OF THE CHINA WELDING INSTITUTION, 2021, 42(2): 8-15. doi: 10.12073/j.hjxb.20200519002
Citation: Zengqiang MA, Rongwei QIAN, Dandan XU, Wei DU. Denoising of line structured light welded seams image based on adaptive top-hat transform[J]. TRANSACTIONS OF THE CHINA WELDING INSTITUTION, 2021, 42(2): 8-15. doi: 10.12073/j.hjxb.20200519002
    • 线结构光的视觉传感器在工业焊接中得到了广泛的应用. 在图像的预处理中能否准确提取包含了焊缝特征点的线结构光,影响了最终焊缝特征点提取的精度. 由于焊接产生的噪声不仅具有散射性,而且图像中存在局部高光反射、飞溅焊渣及场景光分布不均匀等问题[1-2],需要进行去噪处理.

      目前,焊接图像的去噪模型主要包括两类:空间域去噪和变换域去噪. 空间域去噪模型主要包括均值滤波[3]、中值滤波[4]和双边滤波[5]等. 采用这些空间去噪模型时,图像的边缘细节会变得模糊,影响后续焊缝特征点的提取. 全变分(TV)[6]模型的出现很好地保留了图像的边缘细节,但在图像的内部区域可能会引入模糊效应. 随着多尺度变换的兴起,变换域模型在焊缝图像去噪中的应用越来越广泛. 包括小波变换(WT)[7],轮廓波变换(CT)[8]和非下采样轮廓波变换(NSCT)[9]等,能更有效地抑制噪声,具有更好的边缘细节保护性能. 然而,这种保护能力在处理高维图像时会失效,小波变换仅具有点奇异性,只能捕获有限的方向信息,不能有效地反映丰富的方向纹理,限制了其在图像处理中的应用[10]. 虽然这一问题已通过轮廓波变换得到解决,但会产生吉布斯效应[11].

      形态学去噪[12]是一门建立在数学基础上的去噪方法,近年来在图像处理中得到了广泛的应用. 它最初是从数学集合论发展而来,用于处理二值图像. 虽然操作简单,但往往能产生良好的效果. 经过推广灰度图像也适用于这种方法,大大提高了形态学在图像处理中的适用性. 而顶帽变换[13]作为形态学的一个经典算法,它能够得到原图中的较亮区域,尤其对于含有激光线条的图像它能够很好的去除光条周围的噪声,同时又能保留光条及光条边缘[14-16]. 因此对于一些含有噪声的线结构光焊接图像,顶帽变换会非常合适. 近年来,许多学者对基于Top-Hat变换的线结构光焊接图像去噪方法进行了大量的研究. 孙博文等人[17]将Top-Hat变换应用于图像预处理中,在去除噪声的同时保留了线结构光的完整性,不足的是对于顶帽变换参数如何选取并未做详细讨论. 毛志伟等人[18]采用顶帽变换使得图像中背景变得更为均匀,滤除了大量散射噪声,条纹与背景对比鲜明,更加有利于后续二值化处理,但同样未讨论参数选取问题. 于岩等人[19]从定性的角度提出了一种结构元尺寸L的选取方法,遗憾的是未得出一种定量指标,并且未对第二个参数迭代次数I作讨论. 针对上述问题,文中提出直方图互相关系数(CCIH)评价指标,得到最优的结构单元尺寸L;其次,在结构单元尺寸L最优的前提下,提出一种基于Otsu改进SSIM算法的评价指标相亮比(RSB)得到最优迭代次数I. 为了评价文中算法的去噪性能进行了试验验证. 根据主观视觉效果、信息熵(EN)、峰值信噪比(PSNR)和均方误差(MSE)与MF法、TV法[20]和NSCT-TV法[21]进行了比较.

    • 在数字信号处理中经常要研究两个信号的相似性,以实现信号的检测、识别与提取. 而互相关系数[22]就是描述这两个信号相似性的重要公式. 设x(n),y(n)是两个能量有限的确定性信号,定义

      $$\mathop \rho \nolimits_{xy} = \frac{{\displaystyle\sum\limits_{n = 0}^\infty {x(n)y(n)} }}{{{{\left[\displaystyle\sum\limits_{n = 0}^\infty {{x^2}(n)} \displaystyle\sum\limits_{n = 0}^\infty {{y^2}(n)} \right]}^{1/2}}}}$$ (1)

      x(n)和y(n)的互相关系数. 由许瓦兹(Schwartz)不等式,有

      $$\left| {{\rho _{xy}}} \right| \leqslant 1$$ (2)

      分析式(1)可知,当x(n) = y(n)时,${\rho _{xy}} = 1$,两个信号完全相关;当x(n)与y(n)完全无关时,${\rho _{xy}} = 0$;当x(n)与y(n)在一定程度上相似时,$\left| {{\rho _{xy}}} \right|$在0和1之间取值,并且x(n)与y(n)的相似程度与数值呈正相关. 因此$\left| {{\rho _{xy}}} \right|$可以用来描述x(n)与y(n)之间的相似度.

    • 在数字图像处理中一幅图像的直方图横坐标表示图像的灰度级0~255,纵坐标表示每个灰度级对应的像素点数,因此可以看作是一个256点的离散信号.

      设原图像为S,输出图像为O,原图像的直方图为$ His{t}_{I}(n)(n{\text{为整数{\text{,}}且}}0\leqslant n\leqslant 255)$,输出图像的直方图为$ His{t}_{I}(n)(n{\text{为整数 {\text{,}}且}}0\leqslant n\leqslant 255)$. 定义

      $$K = \left| {\frac{{\displaystyle\sum\limits_{n = 0}^{255} {His{t_I}(n)His{t_O}(n)} }}{{{{\left[\displaystyle\sum\limits_{n = 0}^{255} {His{t_I}^2(n)} \displaystyle\sum\limits_{n = 0}^{255} {His{t_O}^2(n)} \right]}^{1/2}}}}} \right|$$ (3)

      为输出图像O与原图像S的直方图互相关系数CCIHCCIH在0和1之间取值,其值越小则代表输出图像O与原图像S差距越大. 将采用不同尺寸进行顶帽变换后图像的直方图$His{t_O}(n)$与原图像的直方图$His{t_S}(n)$进行式(3)计算,即可根据CCIH的大小来判断两者的相似性,若CCIH越小则代表两者差距越大,可以认为此时的结构元尺寸L选取较为合适. 对含有严重噪声干扰的线结构光图像,L取值范围为3~21 (根据经验设置)迭代次数默认为5时,顶帽变换后的CCIH图1所示,从图1中可以看出,当L为9时CCIH最小,因此可以认为L = 9在时处理效果较好.

      图  1  CCIHL关系图

      Figure 1.  Graph of CCIH and L

      为验证此指标的选取效果,将L = 9时与其它结构元尺寸下的去噪结果进行对比如图2所示. 从图中可以看出当L = 9时,处理后图像在去除局部高光反射及飞溅焊渣等噪声的同时较好的保留了线结构光条. 当L = 3时,虽然噪声看似得到了全部滤除,但是线结构光部分也被当成了噪声几乎全部泯灭,图像遭到严重破坏. 当L>9时,随着结构元尺寸的增大,噪声开始变得越发明显. 在红色圆标记内,L = 9时几乎看不出噪声,L = 11时开始出现微小的高光反射,当L增加到21时噪声变得十分明显. 因此,此指标选取得到的结构元尺寸可以取得较好效果.

      图  2  L = 9与其他尺寸处理效果对比

      Figure 2.  Comparison of L = 9 and other sizes. (a) source image; (b) L = 3; (c) L = 9 (proposed); (d) L = 11; (e) L = 15; (f) L = 21

    • 结构相似度 (structural similarity index,SSIM)[23]是一种衡量两幅图像相似度的指标. 该指标首先由德州大学奥斯丁分校的图像和视频工程实验室(Laboratory for Image and Video Engineering)提出. 分别从亮度、对比度、结构3方面度量图像的相似性.

      设输入图像S,输出图像O,尺寸均为H·W,两幅图像的SSIM定义如下.

      $$SSIM(S,O) = l(S,O) \cdot c(S,O) \cdot s(S,O)$$ (4)

      式中:l代表亮度;c代表对比度;s代表结构,即

      $$l(S,O) = \frac{{2{\mu _S}{\mu _O} + {C_1}}}{{\mu _S^2 + \mu _O^2 + {C_1}}}$$ (5)
      $$c(S,O) = \frac{{2{\delta _S}{\delta _O} + {C_2}}}{{\delta _S^2 + \delta _O^2 + {C_2}}}$$ (6)
      $$s(S,O) = \frac{{{\delta _{SO}} + {C_3}}}{{\delta _S^{}\delta _O^{} + {C_3}}}$$ (7)

      式中:${C_1}$${C_2}$${C_3}$为常数,是为了避免分母出现0的情况,通常取${C_1} = {({K_1} \cdot N)^2}$$ {C}_{2}=({K}_{\rm{2}}\cdot N{)}^{\rm{2}}$${C_3} = {C_2}/2$(${K_1} = 0.01$${K_2} = 0.03$$N = 255$),$\;{\mu _S}$$\; {\mu _O}$分别表示图像SO的均值;${\delta _S}$${\delta _O}$分别表示图像SO的标准方差;${\delta _{SO}}$表示图像SO的协方差,即

      $${\mu _S} = \frac{1}{{H \cdot W}}\sum\limits_{i = 1}^H {\sum\limits_{j = 1}^W {S(i,j)} } $$ (8)
      $${\mu _O} = \frac{1}{{H \cdot W}}\sum\limits_{i = 1}^H {\sum\limits_{j = 1}^W {O(i,j)} } $$ (9)
      $${\delta _S} = {\left[\frac{1}{{H \cdot W - 1}}\sum\limits_{i = 1}^H {\sum\limits_{j = 1}^W {{{(S(i,j) - {\mu _S})}^2}} } \right]^{1/2}}$$ (10)
      $${\delta _{SO}} = \frac{1}{{H \cdot W - 1}}\sum\limits_{i = 1}^H {\sum\limits_{j = 1}^W {(S(i,j) - {\mu _S})(O(i,j) - {\mu _O})} } $$ (11)

      SSIM的取值范围为[0,1],数值越大,表示两幅图像越相似. 在图像去噪试验中,SSIM值越大说明处理后的图像与无噪图像越相似,效果越好. 但文中算法处理的原图像是噪声图像,因此SSIM值较小时一定程度上说明顶帽变换后图像相对于原图像来说噪声滤除较多,处理效果较好. 经计算得知在顶帽变换处理中迭代次数ISSIM呈正相关,如图3所示列举了在不同结构元尺寸下SSIM与迭代次数I的计算关系. 但值得一提的是在迭代次数I较小时,图像中含有结构光的波峰区域也会被当成噪声滤除,线结构光有效信息遭到严重破坏,I较大则会影响算法的抗噪能力,不能有效去除焊接中产生的各种噪声干扰. 文中提出一种基于Otsu的改进SSIM算法来选取迭代次数I,并进行了横向对比.

      图  3  不同L下SSIM与I的计算关系

      Figure 3.  Graph of SSIM and I under different L

    • Otsu (最大类间方差法)[24]是由日本学者Otsu于1979年提出的一种图像分割算法,该算法是在判别分析最小二乘法原理的基础上推到得出. 因其高效、精确的分割特性在数字图像处理的二值化中得到广泛应用.

      设输入图像为S,尺寸为H·W$histogra{m_S}(k)$代表归一化图像直方图,其中$k \in [0,255]$. 该算法步骤如下.

      第一步:计算灰度直方图的零阶累积矩.

      $$\begin{split}& {\textit{z}}eroCumuMoment(k) = \\ & \displaystyle\sum\limits_{i = o}^k {histogra{m_S}(i)},k \in [0,255] \end{split} $$ (12)

      第二步:计算灰度直方图的一阶累积矩.

      $$\begin{aligned}& oneCumuMoment(k) = \\ &\displaystyle\sum\limits_{i = o}^k {[i * histogra{m_S}(i)]},k \in [0,255] \end{aligned} $$ (13)

      第三步:计算图像S整体的平均灰度值mean.

      $$ mean = oneCumuMoment(255) $$ (14)

      第四步:遍历每一个灰度级k,计算前景区域平均灰度、背景区域平均灰度与整体图像平均灰度的方差${\delta ^2}(k)$.

      $${\delta ^2}(k) = \frac{{{{[mean * {\textit{z}}eroCumuMoment(k) - oneCumuMoment(k)]}^2}}}{{{\textit{z}}eroCumuMoment(k) * [1 - {\textit{z}}eroCumuMoment(k)]}},k \in [0,255]$$ (15)

      第五步:找到使${\delta ^2}(k)$值最大的k,即Otsu选取的阈值.

      $$thresh = {\arg _{k \in [0,255]}}\max ({\delta ^2}(k))$$ (16)

      第六步:按照上述公式计算出的thresh分割图像.

      Otsu算法之所以具有良好的分割效果,究其原因是因为根据最小二乘法计算得到的阈值thresh精确的描述了前景与背景的分界点,小于thresh的灰度值为背景,大于thresh的灰度值为前景,因此在结构光焊缝图像中可以认为大于阈值thresh的部分为结构光波峰部分,将上述2.1节中的结构相似性指标SSIM与结构光波峰的平均灰度值$mea{n_v}$作比,得到一种衡量迭代次数对顶帽变换处理效果的指标相亮比RSB,即

      $$mea{n_v} = \frac{{\displaystyle\sum {S(S \geqslant thresh)} }}{{Num(S \geqslant thresh)}}$$ (17)
      $$RSB = \frac{{SSIM}}{{mea{n_v}}}$$ (18)

      文中提出的指标相亮比RSB权衡了去噪效果与线结构光有效信息的保留. 当其取得最小值时,意味着在最大程度保留线结构光的同时去噪效果更佳,此时对应的迭代次数I被认为是最优的.

      图2a原图像,选取上述得到的9*9为最优结构元尺寸,I取值范围为1~20 (根据经验设置),顶帽变换后相亮比RSBI的计算关系如图4所示,从图4中可以看出,当I取值为5时RSB最小,因此认为I = 5在时处理效果较好.

      图  4  RSBI的计算关系图

      Figure 4.  Graph of RSB and I

      图5显示了I = 5与其它迭代次数下去噪结果的横向对比. 从图中可以看出相比较于其它迭代次数,I = 5的去噪图像去噪效果显著,并且线结构光区域保留更加的完整,实现了两者的有效结合,充分说明了此指标的有效性.

      图  5  I = 5与其他迭代次数处理效果对比

      Figure 5.  Comparison of I = 5 and other parameters. (a) source image; (b) I = 1; (c) I = 3; (d) I= 5 (proposed); (e) I = 15; (f) I = 20

    • 为充分验证文中提出算法的去噪效果,对相机所采集的焊接视频进行拆帧处理,并随机选取4帧进行相应试验. 试验所使用数据均来自实际焊接工况,图像中含有大量局部高光反射、照明分布不均匀及飞溅焊渣等噪声. 所使用的计算机处理器为Intel(R) Core(TM) i7-4720HQ CPU@ 2.60 GHz,内存为12.0 GB,操作系统为Windows 10 64位系统,运行平台为Python 3.7.4. 并从主观视觉效果,去噪指标信息熵(EN)、峰值信噪比(PSNR)和均方误差(MSE)将文中方法与MF法、TV[21]法和NSCT-TV[22]法进行了横向对比.

    • 图6显示了焊接过程中所采集的线结构光含噪图像. 由图可见,图像中不仅有散射,还具有局部高光反射、飞溅焊渣及场景光分布不均等问题,线结构光条所受噪声干扰较为严重. 对图6所示4幅图像采用文中算法自适应选取得到顶帽变换参数LI,同时为体现参数选取的简洁与直观将其整合进了两张折线图中,结果如图7所示. 图7a中的红色折线与图7b中的红色折线相对应,它们共同构成了对图6a进行文中算法去噪的参数LI. 其它折线对应关系与上述一致. 文中所提算法与MF法、TV法以及NSCT-TV法去噪效果的主观对比显示在图8中.

      图  6  试验图像

      Figure 6.  Images of experiments. (a) No. 110; (b) No. 151; (b) No. 219; (d) No .239

      图  7  算法模型参数

      Figure 7.  Parameters of the proposed model. (a) L; (b) I

      图  8  去噪效果主观对比

      Figure 8.  Subjective comparison of denoising effect. (a) MF; (b) TV; (c) NSCT; (d) proposed

      图8为主观效果对比,与其它算法相比,文中所提算法得到的线结构光去噪图像在保留线结构光的前提下,可以去除大量局部高光反射、飞溅的焊渣及场景光分布不均匀等噪声,这是其它算法无法实现的. NSCT-TV算法对飞溅的焊渣有一定的抑制效果,但对局部高光反射却无能为力,同时得到的线结构光边缘产生了模糊效应. TV算法同样无法处理局部高光反射,而且去除飞溅焊渣的性能略差于NSCT-TV. MF算法则表现最差,既无法消除局部高光反射,又不能较好抑制飞溅焊渣.

    • 采用信息熵(EN)、均方根误差(MSE)和峰值信噪比(PSNR)对去噪后图像进行定量评价,EN是一种图像失真信息的度量. 在式(19)中,使用香农熵来计算图像的信息熵,熵值越小代表所含噪声越小.

      $$EN = - \sum\limits_{i = 0}^{L - 1} {{p_i} \cdot } {\log _2}{p_i}$$ (19)

      设原图像为S(i, j),去噪后图像为S*(i, j),尺寸为$M \cdot N$,均方根误差(MSE)定义为

      $$MSE = \frac{1}{{MN}}\sum\limits_{i = 0}^{M - 1} {\sum\limits_{j = 0}^{N - 1} {{{[S(i,j) - {S^*}(i,j)]}^2}} } $$ (20)

      峰值信噪比(PSNR)为

      $$PSNR = {\rm{10}}\lg \left(\frac{{{{255}^2}}}{{MSE}}\right)$$ (21)

      MSE值越小代表噪声越少,但PSNR与误差成反比,因此越大的PSNR值意味着更少的噪声. 图8的客观评价指标如表1所示,该表给出了文中算法与现有算法MF,TV和NSCT-TV在线结构光焊接图像上去噪性能的对比结果. 在EN指标中,算法在4组试验图像中均取得最小值并较其它算法在原图像基础上减少量最大,说明噪声含量最少去噪效果明显. PSNR取得最大值同样是文中算法,其次是NSCT-TV,TV和MF,代表文中算法得到的去噪图像与无噪声图像更为相似,且噪声量最小. 在MSE指标中,最大值是MF,其次是TV和NSCT-TV. 文中算法取得最小值,表明与无噪声图像误差最小,这也与主观视觉效果相对应. 综合主客观评价,充分证明了文中算法较其它3种算法具有更好的去噪效果,在线结构光焊接图像去噪中具有更佳的应用潜力.

      表 1  去噪效果客观指标对比

      Table 1.  Comparison of objective indicators of denoising effect

      焊接图像评价指标原始图像自适应中值(MF)全变分(TV)[20]非下采样全变分(NSCT-TV)[21]文中算法
      第一组 EN 7.593 6 7.077 3 7.080 5 7.064 1 4.014 3
      PSNR 9.935 5 16.067 3 16.655 1 36.935 5
      MSE 1 429.728 8 153.342 7 133.930 4 62.929 0
      第二组 EN 7.627 8 7.136 8 7.040 2 6.902 5 4.095 6
      PSNR 9.923 2 13.941 7 14.035 2 34.923 2
      MSE 1248.230 3 252.187 7 146.817 3 63.615 37
      第三组 EN 8.247 6 7.219 9 7.205 1 7.201 8 4.299 1
      PSNR 7.769 7 13.969 5 18.154 5 38.264 3
      MSE 1 086.774 1 126.945 6 126.069 2 9.697 4
      第四组 EN 8.240 0 7.217 3 7.245 3 7.222 7 4.103 9
      PSNR 6.797 3 19.281 0 19.763 2 37.479 6
      MSE 1359.404 1 767.319 1 686.695 5 11.617 8
    • (1) 与MF方法、TV方法和NSCT-TV方法相比,该方法在保持线结构光区域完整的同时,去除了大量噪声,大大提高了主观视觉效果. 客观的去噪指标EN,PSNR和MSE证明了上述效果.

      (2) 由于文中的试验对象为对接焊缝,虽然该模型在理论上对含有线结构光的不同焊缝图像去噪具有一定的通用性,但是否适用于角焊缝、坡口焊缝、搭接焊缝等不同类型的焊缝,还需进一步研究.

参考文献 (24)

目录

    /

    返回文章
    返回