高级检索

基于红外视觉的熔化极气体保护焊外观缺陷识别

夏卫生, 龚福建, 杨荣国, 万柴志, 杨云珍

夏卫生, 龚福建, 杨荣国, 万柴志, 杨云珍. 基于红外视觉的熔化极气体保护焊外观缺陷识别[J]. 焊接学报, 2020, 41(3): 69-73. DOI: 10.12073/j.hjxb.20190928001
引用本文: 夏卫生, 龚福建, 杨荣国, 万柴志, 杨云珍. 基于红外视觉的熔化极气体保护焊外观缺陷识别[J]. 焊接学报, 2020, 41(3): 69-73. DOI: 10.12073/j.hjxb.20190928001
XIA Weisheng, GONG Fujian, YANG Rongguo, WAN Chaizhi, YANG Yunzhen. Apparent defect recognition of gas metal arc welding based on infrared vision[J]. TRANSACTIONS OF THE CHINA WELDING INSTITUTION, 2020, 41(3): 69-73. DOI: 10.12073/j.hjxb.20190928001
Citation: XIA Weisheng, GONG Fujian, YANG Rongguo, WAN Chaizhi, YANG Yunzhen. Apparent defect recognition of gas metal arc welding based on infrared vision[J]. TRANSACTIONS OF THE CHINA WELDING INSTITUTION, 2020, 41(3): 69-73. DOI: 10.12073/j.hjxb.20190928001

基于红外视觉的熔化极气体保护焊外观缺陷识别

基金项目: 航天科学技术基金项目(2019-HT-HZ);武汉市应用基础研究计划项目(2017010201010125).
详细信息
    作者简介:

    夏卫生,1979年出生,博士,副教授;主要从事焊接与增材制造智能控制、先进连接与电子封装技术、智能制造与机器人系统等科研和教学工作;发表论文50余篇;Email:xiawsh@hust.edu.cn

    通讯作者:

    杨云珍,讲师;Email:yangyunzhen@whut.edu.cn.

  • 中图分类号: TG 441

Apparent defect recognition of gas metal arc welding based on infrared vision

  • 摘要: 焊接过程可视化监控与成形缺陷智能识别是实现焊接智能制造的重要途径之一. 采用红外CCD在线采样熔化极气体保护焊(gas metal arc welding,GMAW)熔池红外图像,结合改进滤波算法和图像增强算法对图像进行预处理,通过热电偶进行温度标定,建立红外图像中灰度值与温度值的对应关系,进而获取焊接熔池的温度分布信息,然后采用改进边缘提取算法提取熔池的特征参数,据此建立焊接外观缺陷的特征识别算法. 结果表明,所设计的算法对焊接形状缺陷、烧穿及未熔透等在线识别具有良好的实用性和准确性.
    Abstract: The visual monitoring of welding process and welding defect identification are vital to the intelligent control of welding processes. In this paper, a mid-wave infrared CCD was used to acquire the infrared images of the welding pool on-line during the welding process. The images captured are preprocessed by the improved filtering algorithm and image enhancement algorithm. To obtain the temperature distribution information of the welding pool, the relationship between the gray value in infrared image and the temperature is established based on temperature calibration of the used thermocouple. The improved edge extraction algorithm is used to extract the characteristic parameters of the welding pool. Then the identification algorithm of welding defect is developed. The results of verified experiments show that the proposed algorithm has good practicability and accuracy in the on-line identification of welding shape, burn-through and unmelted defects.
  • 在“十四五”智能制造发展规划、2035 年远景目标纲要及“十四五”制造业高质量发展规划背景下,焊接智能化技术已经成为了航空、航天、海洋、能源等领域高端装备焊接制造中“必不可少”的可靠性依据之一.基于焊接延伸出来的增材制造技术,包括电弧增材、激光增材等3D打印技术无疑给传统焊接界带来了巨大的科研活力.焊接智能化技术再次被提到了重要且不可取代的位置,也为制造的高效性和可靠性提供了重要的技术途径.

    以焊接与智能化为关键词,在中国知网对学术界和工业界近五年的成果进行检索统计结果显示.研究成果以专利居多,占到了总体的91.79%,专利排在前三名的分别是广东利元亨智能装备、苏州浪潮智能科技以及无锡先导智能装备,均来自新能源工业领域.从地域分布来看,占据前三位的分别是江苏省(1629件)、广东省(1125件)、浙江省(500件),主要集中在沿海地区.分析目前专利类型发现,大多数与工业现场的焊接作业、工艺参数、装置开发、自动定位相关,涉及到的智能化监测与检测的较少,侧面反映出目前国内的工业水平整体仍处于自动化、数字化阶段,距离智能化还有一定的距离.

    通过在Web of science数据库以Welding 和Machine learning为关键词对2019-2024年文献进行检索共找到相关文献18043篇,排名前三的分别是中国(52.85%)、美国(10.35%)以及印度(8.47%).相比之下,增材制造领域的研究热度相对较高,尤其是在高被引论文方面,差距较大.但是对比Science、 Nature世界顶尖期刊论文成果,以L-PBF增材制造关键词检索,有93.333%来自美国,26.67%来自中国(截止2024年9月).说明中国在科学创新方面处于国际领先水平,但是在重要的原创性科学研究方面,中国与美国的差距还是较大的.不仅如此,许多著名的学术组织和研究机构就焊接过程质量监测和智能化等前沿问题召开了一系列具有一定影响力的国内国际学术会议.以陈善本教授、冯智力教授、张裕明教授等为会议主席,在中国焊接学会机器人与自动化专业委员会等学术机构支持下于2017年6月23-25日在上海发起主办了首届“2017年国际智能化焊接制造研讨会”.作为每两年一届的系列IWIWM会议,2019年11月6-14日同时在中国上海和美国列克星敦举办了第二届会议IWIWM'2019;新冠疫情期间,在2021年12月28-30日在中国上海以线上方式举办了第三届会议IWIWM'2021;2023年12月15-17日在中国上海和新加坡同时举办第四届IWIWM会议,即“2023国际智能化焊接制造研讨会”,会议由中国上海交通大学和新加坡南洋理工大学共同组织承办.2023年7月、2024年7月先后召开了第76、77届IIW年会,并由张裕明教授担任主席主持了智能焊接制造分会场研讨会(Symposium on Intelligent Welding Manufacturing).

    作为电弧增材中最明显的伴生信号之一,声信号包含丰富的焊接过程信息,与焊接电弧状态、熔滴过渡方式以及参数变化等密切相关[1].在对一些复杂情况如:有关材料内部的凝固、熔化、裂纹扩展和孔隙生成机理研究上,声学信号更具优势[2].此外声学监测方法具有独特的优势,可以灵活的进行传感器的配置和安装,几乎不需要对焊接设备进行任何修改,这些优点使得基于声学的传感器方法更具吸引力[3].

    北京航空航天大学林京等人[4],提出了一种基于声发射信号的双分类器和正交约束联合引导WAAM(wire arc additive manufacturing)健康监测领域自适应方法.该方法使用双分类器差异损失建立了一种最小-最大优化策略,实现不同领域的特征自适应.通过增加类间距离的离散度,应用正交约束来增强模型区分不同状态的能力.上海交通大学吴頔等人[5]提出了一种基于声波特性和深度学习的框架用于对熔透状态进行识别.配合高速摄像和声发射技术,可以原位观察完整的钥匙孔动力学行为.该研究揭示了声发射信号特征与小孔振荡和各种焊缝熔透状态之间的关联关系,如图1所示.

    图  1  基于声发射时频特性的激光焊透监测[5]
    Figure  1.  Monitoring laser weld penetration using acoustic emission time-frequency characteristics

    与此同时西安交通大学张志芬与任文静等人[6]针对铝合金GMAW(gas metal arc welding)过程提出了TF-CNN(time frequency- convolutional neural network)模型来进行焊缝熔深判断,如图2所示. 该研究使用对数时频谱图来解释时频域中的原始电弧声数据,揭示了电弧声穿透状态与频率分布的相关性.表明过度穿透的电弧声强和频率能量比局部穿透的电弧低,这是由于过度穿透时能量泄漏所导致的.

    图  2  基于电弧声音的TF-CNN熔透识别模型[6]
    Figure  2.  TF-CNN melt-through detection model based on arc sound signals

    声学传感因其独特的优势受到越来越多研究人员的青睐.近年来,西安交通大学张志芬团队在此方面开展了一系列有益的探索,将声学传感技术拓展到了管道泄漏、激光冲击强化与激光粉末床熔融等领域监测过程中.黄婧等人[7]针对管道焊缝泄漏监测的深度学习技术缺乏物理可解释性的难题,开发了一种基于声发射技术的物理可解释性模型.这项工作中创新性地设计了一种具有不同小波卷积核的可解释性网络,通过多级动态感受野提取声发射信号的特征细节.秦锐等人[8]提出了一种结合可变帧长(variable brame length, VFL)和可变滤波器组(variable filter bank, VFB)的自适应倒谱特征表示方法,如图3所示. 该研究基于频谱分布相关性实现可变帧长,并通过迭代运算选择最优帧长和帧速率.另一方面,可变滤波器组通过设置动态权重分布来表征可变帧长信号的局部测量特征,最后在激光冲击强化和管道泄漏的混合信号上对该方法进行了评估.

    图  3  具有VFL和VFB的自适应倒频谱框架[8]
    Figure  3.  Adaptive cepstrum frame with VFL and VFB

    激光粉末床熔融制造(laser powder bed fusion, LPBF)过程中的熔池动力学、粉末喷射、快速凝固和相变等复杂相互作用会导致产品表面粗糙、诱发孔隙生成[9],从而影响产品性能.李治文等人[10]研究了基于气载声发射和深度迁移学习的LPBF在线监测方法,如图4所示. 该方法使用声学信号的时频图谱作为模型输入,通过多源域知识融合的深度迁移学习方法实现缺陷分类.与此同时为了解决LPBF过程中的宏观变形和微观气孔对于零件性能的影响.张帅等人[11]开发了一种基于声学的宏微观缺陷同步监测技术.该方法通过逐步分析层内到层间的过程信息来实现监控.研究指出高能量密度会导致变形缺陷,螺旋扫描策略的能量波动会加剧变形;38-42 kHz的高频信号来自于小孔,并且高频能量在声信号中的比例与小孔的数量成正比.

    图  4  基于声发射技术的LPBF缺陷监测系统[10]
    Figure  4.  LPBF defect monitoring system based on acoustic emission technology

    声学研究表明,焊接过程中的噪声背景谱主要分布在0-500 Hz范围内,这些背景的低频噪音在分析的过程中可以被抑制,因此它们对沉积过程中的声学信号影响可以忽略不计[12].总体来说基于声学传感器技术可以对焊接/增材制造过程中空气或者材料内部产生的宽频范围内的弹性波进行快速的响应,基于声学的监测手段表现出巨大的潜力.

    相对于电、磁和声音等其它信息而言,焊接过程中的动态信息大部分来自于熔池视觉信息,因此光现象更能描述和代表该过程质量的特征.焊接过程中的温度分布、熔合情况、熔池的流动状态等都可以透过熔池的光辐射传递出信息[13].

    采用视觉处理方法是实现焊接质量监测与控制的重要途径之一.美国肯塔基大学张裕明教授[14]在该领域深耕了数十年,对电弧制造过程监测展开了一系列深入研究.在他们最近的工作中提出了一种以视觉信息为主的创新数字孪生模型来进行焊接过程监测.通过内嵌的强大深度学习算法对采集到的熔池图像等信息进行集成分析,该方法可以实时监测焊缝成形,并准确对焊透状态进行控制,如图5所示.

    图  5  基于深度学习的数字孪生模型[14]
    Figure  5.  Deep learning based digital twin model

    华南理工大学薛家祥等人[15]采用相机直接拍摄获取熔池的图像,利用数学形态学的处理方法,建立统一的非线性处理算法,对熔池的图像进行预处理和特征提取,以获取熔池的边缘信息.最后将这些信息与模糊逻辑相结合,实现了高性能的焊接质量PID(proportional integral derivative control)闭环控制.为了提高制造的精度和稳定性,山东大学夏纯阳等人[16]开发了基于视觉的层宽反馈系统,如图6所示. 试验过程中模拟了电弧增材制造工艺中层宽度的动力学过程,在此基础上提出了一种预测控制策略来进行过程调节.

    图  6  基于被动视觉的层宽反馈系统[16]
    Figure  6.  Layer-width feedback system based on passive vision

    南昌大学何银水等人[17]利用激光视觉传感器对焊接进行轮廓提取,并采用基于尺度不变特征变换和方向特征检测的新方法提取焊缝轮廓.通过特征点与焊接状态构建了一种贝叶斯网络模型.该方法能有效地对不同厚度T形接头的焊接位置进行决策,在提高制造效率和自动化水平方面具有很大的潜力.熔透信息的实时获取是实现焊接自动化的关键环节之一,通过熔池形状特征预测熔透状态可为焊接过程提供参考.北京石油化工学院焦向东等人[18]建立基于气体金属弧焊的双目视觉传感.试验系统提取熔池正面二维与三维形状特征参数及背面熔宽信息作为训练样本,以背面熔宽作为输出量.通过BP(error back propagation)算法对神经网络进行训练,建立了熔透状态预测模型.与此同时东华大学刘天元[19]等针对熔池区域存在蒸汽和飞溅等干扰,并且相邻的熔透状态之间特征区分度低带来的模式识别困难问题,基于顺序视觉传感,提出了一种融合时序信息的激光焊接熔透状态识别方法.实时观察和测量熔池表面是下一代智能焊接的基础.为了从熔池的观察中获取焊接状态信息.清华大学都东等人[20]针对中厚板铝合金惰性气体钨极保护焊(tungsten inert gas welding, TIG)过程易出现的熔池失稳和成形缺陷问题,提出了一种基于熔池图像特征的TIG焊接状态监测方法,为大型铝合金构件 TIG 焊缝成形缺陷的在线智能诊断与工艺优化提供了基础.

    上海交通大学许燕玲团队[21]将全局摄像引入到激光视觉传感系统中,提出了一种新的基于双目协作的初始焊点制导框架,如图7所示. 该框架结合实时焊枪监测的Yolo-v4(you only look once)模型,在机器人上实现了全自主焊接制导的可行性验证.由于焊接过程本身是一个动态、非线性的过程,因此实时、高精度地监测焊接缺陷具有挑战.西安交通大学王杰和张志芬等人[22]以实际工业熔化极惰性气体保护焊(melt inert-gas welding, MIG)过程中产生的成形缺陷为研究对象,提出了一种基于Yolo-v5模型的多任务同步监测系统.目前该系统已经成功应用到了某大型电热水器生产线中,如图8所示.

    图  7  机器人焊接视觉制导框架[21]
    Figure  7.  Robot welding vision guidance frame
    图  8  工业MIG焊熔池图像在线监测系统[22]
    Figure  8.  Online monitoring system for MIG welding molten pool

    基于熔池视觉图像的焊接制造过程监测的硬件重点在于选择合适的滤光片以排除过程中强烈弧光、烟雾等因素的干扰.图像处理部分的重点在于提取合适的与焊接质量相关的特征用以进行监测.总体来说基于图像的传感技术目前在焊缝熔透状态和缺陷类型识别等方面取得了巨大的进步.

    光谱传感是焊接/电弧增材制造过程中一种有效的成分分析工具,过程中产生的大量等离子体信息嵌入在光谱信号中[23].因此,研究电弧光谱信息对于分析理解电弧增材的零件内部结构特征具有一定的帮助.

    西安交通大学白子键、张志芬等人[24]搭建了一套基于光纤光谱仪的TIG焊接过程实时监测系统,用于对核电传热管道堵管焊接熔深进行监测.并创新性提出了一种深度学习模型实现了堵管 TIG 焊接过程中焊缝熔深的分类识别.针对电弧增材构件成形过程中的热积累问题,河南科技大学肖笑等人[25]利用光谱分析方法计算了TIG电弧增材热源的温度场.配合高速摄像的光谱采集系统获取了过程中电弧特征谱强度分布,提出了基于标准温度法计算非对称增材电弧温度场模型,并利用了boltzmann法对结果进行了验证,结果表明两种方法的计算结果具有较好的一致性.

    天津大学黄一鸣团队[26]系统研究了不同送丝速率比下的光谱信号和电弧等离子体特性,结合液滴转移的高速摄像结果,发现了球状转移过程中MgI 517.26 nm光谱强度异常高,如图9所示. 此外通过对沉积部件微观结构和相组成的表征结果显示:在不同工艺下,电子温度变化与Al2CuMg相含量的变化趋势一致.提出了利用谱线MnI 407.92 nm与MgI 517.26 nm的强度比来定量测量相变程度.

    图  9  基于光谱分析的WAAM微观结构研究[26]
    Figure  9.  Study of WAAM microstructure using spectral analysis

    西安交通大学荣命哲等人[27]针对纯数据驱动模型无法为样本外的场景提供可靠分类的弊端,开发了一种基于注意力和光谱域知识的光谱物理全局局域网络,如图10所示.该模型通过两个分支来分别提取局部和全局信息,并通过一个多尺度特征融合模块来集成多层次特征,增强故障状态监测模型的识别能力.

    图  10  基于光谱域知识的WAAM异常状态监测[27]
    Figure  10.  WAAM anomalous state monitoring based on spectral domain knowledge

    莫斯科国立科技大学Lednev等人[28]首次使用激光诱导击穿光谱(laser-induced breakdown spectroscopy, LIBS)证明了其在增材制造过程原位定量多元素分析的可行性. 如图11所示,在这项研究中,科研人员设计了一种低重量、紧凑的LIBS探针,用于安装在机器人上.通过LIBS探针对热固化覆层和熔池表面进行了采样,并对制造过程中的钨和碳元素进行了校准.

    图  11  激光诱导击穿光谱的原位多元素分析[28]
    Figure  11.  In situ multi-element analysis by laser-induced breakdown spectroscopy

    光谱传感因其非接触、可以提供丰富的元素分析等优势,已经成为在线监测焊接/增材氧化物、气孔等成形缺陷的重要手段.但是也存在一定的局限性,如复杂且昂贵的光谱分析系统、时间与空间的分辨率较差,光谱元素分析主要集中在熔池表面的等离子体,难以对材料内部的状态进行深入的分析.

    焊接/增材过程中复杂的热循环是影响部件成形质量与性能的关键因素之一.过程中的热输入量大、熔池温度高、热积累严重[29].并且局部热分布随时间的变化给材料加工带来的新挑战,这些温度变化会导致不同的相变和微观结构发展,从而导致材料性能偏差.

    温州大学陈希章等人[30]利用红外热成像实时无损检测技术对TIG焊接过程中焊缝可能出现的缺陷进行实时检测.该研究通过信号处理,热图像的解析的方法可以实时判断缺陷的类型和位置.南京工业大学丁东红等人[31]针对电弧熔丝增材制造中热量积累容易造成零部件成形质量差、沉积效率低等问题.研究了自然对流冷却和层间强制冷却下电弧熔丝增材制造 Ti6Al4V 钛合金成形过程,分析了层间强制冷却对增材钛合金墙体结构温度场与应力场的影响,如图12所示.

    图  12  层间强制冷却对温度场和应力场的影响[31]
    Figure  12.  Effect of interlayer forced cooling on the temperature and stress fields

    针对制约焊接/增材技术广泛应用的成形质量问题,华中科技大学张海鸥团队[32]提出了一种基于过程温度场的多特征数据融合无损检测方法,如图13所示.通过提取与成形质量密切相关的特征实现了对驼峰、沉积塌陷、偏移和孔隙等缺陷的识别.

    图  13  基于热红外的电弧增材无损检测框架[32]
    Figure  13.  A thermal infrared testing framework for arc additive manufacturing

    准确的激光束焦点和焊缝位置之间的偏差检测是焊缝跟踪的先决条件.为了提高焊缝跟踪的准确性,广东工业大学高向东等人[33]研究了用于实时焊缝跟踪的红外图像传感和视觉识别技术,采用热梯度参数作为测量值,建立了激光焦点和焊缝中心偏移的动态视觉模型.由于焊接/增材过程中的动态变化导致发射率不是一个常数,将会影响到测量的准确性,因此目前基于单一热传感的监测方法存在较大的误差.此外,目前对于过程物理传热部分的研究还不充分,也就导致了热学传感技术在焊接/增材过程监测上存在一定的局限.

    除了以上提到的几种主流传感方法之外,焊接/增材过程中产生的丰富信息为其他类型的传感监测技术提供了基础,其中包括X射线成像技术、电流与电压传感以及超声波成像方法也逐步受到了研究人员的重视.山东大学贾传宝等[34]利用X射线成像技术研究了埋弧焊过程中的物理现象,揭示了焊接过程中金属转移和空腔演变的特点.并确定了三种金属转移模式,即前通量壁引导的液滴转移、后通量壁引导液滴转移和排斥液滴转移.在澳大利亚卧龙岗大学潘增喜教授[35]的工作中,提出了一个基于电流电压信号的WAAM过程缺陷监测模型.将增量学习的知识集成到WAAM监控系统中,通过不断引入新的信息和缺陷类别对模型进行迭代优化,从而提升系统的识别准确度和泛化能力.为了确保电弧增材沉积过程中高度的稳定,西南交通大学熊俊团队[36]提出了一种具有小延迟的电弧电压传感和控制方法.这项研究使用电弧电压信号间接表征沉积高度稳定性,并开发了一种模糊PID控制器,通过调节下一层的送丝速度来控制电弧电压.在闭环控制测试中可以获取更为出色的沉积层外观.武汉大学张俊教授[37]等提出了一种超快激光超声成像方法,以提供对增材制造工艺的有效在线监测.该研究中构造了多圆组合扫描测量和缺陷定位算法,提高了检测效率.其次,针对粗糙表面信号导致信噪比低的问题,建立了表面波聚焦算法.结果表明,所提出的超快成像方法能够有效地检测表面和亚表面缺陷,将单层检测的扫描效率提高300%以上.

    焊接/增材过程是一个快速、复杂的物理化学过程,在这个过程中多种复杂的因素相互耦合,因此单一传感器信息难以全面对该过程进行表征,无法实现更为可靠和智能化的监测及控制系统[38].针对这一问题,近年来越来越多的研究将分析对象转向多信息融合,已经成为目前的重要研究方向.

    上海交通大学陈善本教授首次提出了焊接智能体概念,陈超博士[39]构建了一套视觉、声音、电流和电压信息融合下三个不同焊接工艺下的机器人焊接智能体,包含了智能化焊接制造过程多源信息监测及控制系统,验证了所提焊接制造系统方案能够在广度上包含不同的焊接工艺方法,在深度上能兼容执行特定焊接工艺规范与流程,实现智能化焊接制造过程的全流程作业.南京理工大学王克鸿团队[40]利用单色相机和红外相机构建了一个双目视觉传感系统,提出一种基于多模式融合感知的机器人轨迹偏差监测系统,为保证WAAM产品质量提供了有效的监测手段.深度学习在重塑制造业方面具有巨大潜力,美国橡树岭国家实验室冯智力研究员[41]利用多源传感图像进行气体钨弧焊(gas tungsten arc welding, GTAW)过程监控.该框架使用三个深度学习增强的连续阶段:图像预处理、图像选择和焊透分类来同步分析多种类型的光学传感图像.在实际的焊接过程中,由于检测焊缝背面的空间的限制,焊头识别是一个长期存在的具有挑战性的难题.为此,南京工业大学焦文华等人[42]开发了带有两个摄像头的被动传感视觉系统,以同时监测熔池的侧面和背面信息.并提出了一种基于残差神经网络的迁移学习方法,来提高模型的分类性能.

    北京工业大学陈树君团队[43]借助工艺试验与焊接工艺卡开展焊接缺陷试验设计、批量数据采集、专家经验标定、数据库构建等工作.最终采用卷积神经网算法对不同类型数据进行多维信息建模,提高了机器人焊接智能化的水平. 所开发的多信息融合GMAW焊缺陷监次系统,如图14所示.

    图  14  多信息融合GMAW焊接缺陷监测系统[43]
    Figure  14.  Multi-information fusion GMAW welding defect monitoring system

    广东工业大学张艳喜等人[44]建立了一个包含视觉、光谱和光电二极管的多传感器系统,用以全方位捕捉激光焊过程中的状态信号,如图15所示.该研究开发了一种卷积神经网络模型来对多源信息进行融合,最终完成了焊接过程中的三种不同缺陷监测任务.

    图  15  基于多传感器的激光焊接缺陷检测[44]
    Figure  15.  Detecting laser welding defects with multiple sensors

    综上,多信息融合分析相对于单一信息分析具 有正确率高、稳定性强等优点,已逐渐成为焊接质量在线监测的主要研究方向.但是目前仍然存在多传感器数据同步获取、不同特征难以融合等难题.总体来说如果能打破多源信息融合壁垒,复合传感技术有望为提升WAAM过程自动化、智能化程度奠定坚实的基础.

    (1)现阶段国内焊接智能化-缺陷在线监测基础研究存在的问题,有“六多六少”现象:研究表面显著缺陷多,研究内部微弱缺陷少;研究简单焊缝多,研究复杂焊缝少;研究试验数据多,研究工程数据少;研究单一方法多,研究体系方法少;研究缺陷监测多,研究缺陷机理少;研究智能化软方法多,研究软-硬一体智能化装备少.

    (2)现有监测在工程应用场景下,处于“摆设”的尴尬境地,智能化焊接技术形同虚设,亟需突破其中可用好用耐用等瓶颈,向国家重大需求靠拢,抓准前沿科学问题,发挥智能化监测核心优势,为诸多制造场景提供“必不可少”的制造可靠性依据.

    (3)从轻量化高性能成形制造、极端尺寸构件制造的形性协同调控、极端服役环境构件的原位可靠焊接修复、极端制造环境下构件可靠成形到短流程复合成形制造—形性协同调控,智能化监测技术都“大有可为”.通过进一步与建模仿真、人工智能、大数据等技术深度融合,突破制造缺陷深层机理探究,缺陷数据隐层规律挖掘,可解释深度模型构建,微弱缺陷在线定量评估,智能化监测体系构建,大规模工程化应用六大瓶颈.实现制备—成形—服役全流程、宏/细/微观多尺度、形状—组织—性能一体化、工艺—装备—产线全要素的智能化监测及整体优化调控,赋能高效高精、高质新一代焊接/增材绿色制造.

  • 图  1   红外图像采集系统示意图

    Figure  1.   Infrared image acquisition system

    图  2   热电偶测量熔池温度示意图

    Figure  2.   Temperature measurement by thermocouples

    图  3   熔池温度测量点示意图

    Figure  3.   20 points selected for temperature measurement

    图  4   实测温度与像素灰度值间玻尔兹曼函数拟合结果

    Figure  4.   Boltzmann fitting consequent of temperature and grayscale value

    图  5   原始红外图像及滤波处理结果对比

    Figure  5.   Comparisons between the raw and the filtered infrared images. (a) simplified digital image; (b) original image; (c) ordinary mean filtering; (d) improved mean filtering

    图  6   三种插值算法增强后的图像对比

    Figure  6.   Comparisons of infrared images after three interpolation algorithms

    图  7   红外图像的熔池特征参数

    Figure  7.   Characteristic parameters of welding pool

    图  8   焊缝形状缺陷图像及其对应红外图像

    Figure  8.   Defects of weld shape and its corresponding infrared images. (a) weld field diagram; (b) infrared map of region A; (c) infrared map of region B

    图  9   烧穿及未熔透缺陷及焊缝熔池红外图像

    Figure  9.   Burn-through defect, lack of penetration and its corresponding infrared images. (a) early period of overheating; (b) continued overheating; (c) late stage of overheating; (d) after burn through; (e) not fully melted; (f) normal; (g) actual appearance of the weld

    表  1   红外传感器参数

    Table  1   Parameters of the IR sensor

    FPA分辨率像素尺寸(μm × μm)响应波长l/μm积分时间t/µs最大帧数f/Hz通讯接口
    80 × 80130 × 1301 ~ 5100 ~ 1 0001 000USB 2.0
    下载: 导出CSV
  • [1]

    Zhu Yanjun, Wu Zhisheng, Li Ke, et al. Welding deviation detection method based on weld pool image contour features[J]. China Welding, 2019, 28(2): 35 − 44.

    [2]

    Xu Y, Fang G, Lü N, et al. Computer vision technology for seam tracking in robotic GTAW and GMAW[J]. Robotics & Computer Integrated Manufacturing, 2015, 32: 25 − 36.

    [3]

    Xu Y, Lü N, Fang G,et al. Sensing technology for intelligentized robotic welding in arc welding processes[M]. Cham: Springer International Publishing, 2015.

    [4] 方吉米, 王克鸿, 黄勇. 高速GMAW驼峰焊道形成过程熔池图像识别[J]. 焊接学报, 2019, 40(2): 42 − 46.

    Fang Jimi, Wang Kehong, Huang Yong. Weld pool image recognition of humping formation process in high speed GMAW[J]. Transactions of the China Welding Institution, 2019, 40(2): 42 − 46.

    [5]

    Wang Kehong, Tang Xincheng, Yu Jian, et al. Method of visional detecting MAG weld pool information[J]. Transactions of Nonferrous Metals Society of China, 2005, 15(S3): 369 − 374.

    [6] 于英飞, 朱志明, 孙博文,等. 焊接电弧图像的边缘检测及其批处理算法[J]. 焊接学报, 2018, 39(11): 17 − 21.

    Yu Yingfei, Zhu Zhiming, Sun Bowen, et al. Edge detection and batch algorithm for welding arc images[J]. Transactions of the China Welding Institution, 2018, 39(11): 17 − 21.

    [7]

    Hu C, Chen X Z. A review and preliminary experiment on application of infrared thermography in welding[M]. Cham: Springer International Publishing, 2015.

    [8]

    Lu X Q, Liu W M, Wu Y X. Review of sensors and its applications in the welding robot[M]. Cham: Springer International Publishing, 2015.

    [9]

    Kumar R, Somkuva V. A review on analysis, monitoring and detection of weld defect products[J]. International Journal of Engineering & Technical Research, 2015, V4(11): 664 − 667.

    [10] 曹宏岩, 陈章希, 胡超, 等. 基于红外温度场的焊接质量在线检测方法简介[J]. 上海交通大学学报, 2016, 50(7): 66 − 70.

    Cao Hongyan, Chen Zhangxi, Hu Chao, et al. A brief introduction to the on-line measurement method of welding quality based on infrared temperature field[J]. Journal of Shanghai Jiaotong university, 2016, 50(7): 66 − 70.

    [11]

    Huang R S, Liu L M, Song G. Infrared temperature measurement and interference analysis of magnesium alloys in hybrid laser-TIG welding process[J]. Materials Science & Engineering, 2007, 447(1-2): 239 − 243.

    [12] 闻倩艺, 何建萍, 王昂洋, 等. 焊接熔池图像视觉传感技术的研究现状及发展趋势[J]. 热加工工艺, 2016(22): 7 − 10.

    Wen Qianyi, He Jianping, Wang Angyang, et al. Research status and development trend of visual sensing technology for welding pool image[J]. Journal of Thermal Processing Technology, 2016(22): 7 − 10.

    [13] 谢志孟, 高向东. 基于Canny算子的焊缝图像边缘提取技术[J]. 焊接学报, 2006, 27(1): 29 − 32.

    Xie Zhimeng, Gao Xiangdong. Edge extraction of weld image based on canny operator[J]. Transactions of the China Welding Institution, 2006, 27(1): 29 − 32.

    [14] 罗勇, 张华. 基于Canny边缘检测算子和去除小物体算法的熔池图像处理[J]. 焊接学报, 2005(5): 17 − 20.

    Luo Yong, Zhang Hua. Image processing of molten pool based on Canny edge detection operator and small object removal algorithm[J]. Transactions of the China Welding Institution, 2005(5): 17 − 20.

    [15]

    Ogawa Y. High speed imaging technique. Part1: high speed imaging of arc welding phenomena[J]. Science & Technology of Welding & Joining, 2011, 16(1): 33 − 43.

  • 期刊类型引用(2)

    1. 苗立国,邢飞,柴媛欣,刘琦,孙凤. 基于在线视觉与人工神经网络的熔道高度预测方法. 焊接学报. 2025(03): 65-74 . 本站查看
    2. 洪宇翔,应其洛,林凯,王开明,王瑶祺. 基于注意力机制和迁移学习的弧焊熔池图像识别. 焊接学报. 2025(04): 94-102 . 本站查看

    其他类型引用(0)

图(9)  /  表(1)
计量
  • 文章访问数:  546
  • HTML全文浏览量:  46
  • PDF下载量:  46
  • 被引次数: 2
出版历程
  • 收稿日期:  2019-09-27
  • 网络出版日期:  2020-07-12
  • 刊出日期:  2020-02-29

目录

/

返回文章
返回