0.   序言

在轨道交通领域，国内进入了快速发展，经历了引进、消化吸收、再创新阶段，高速动车铸就了“金名片”，为持续保持国内轨道交通在全球的领先优势，中国中车新一代轨道交通装备CR450和时速600 km/h的磁悬浮列车的研制不仅要满足高速快捷的需求，而且更需要安全可靠，其制造过程显得尤其重要. 焊接是高速动车组车体结构连接的主要方式，为了确保焊接质量的提高，核心部件焊接性能的一致性，以及生产效率的提升，焊接过程中的智能传感与控制变得日益重要，在自动化和智能化焊接领域扮演着关键的角色，其中弧压传感^[1-2]，视觉传感，声音传感，超声传感，红外线传感，X射线传感以及多维信息传感^[3-9]等方法被广泛应用于焊接过程，能够有效地监测焊接缺陷，避免废品废件，保障产品质量.

高速动车组司机室铝合金外板，对焊接质量在线监测和历史数据可视化追溯等方面提出了更高的要求，为了更全面地监测司机室铝合金外板焊接中的焊缝质量问题，对焊接过程中遇到的缺陷进行梳理、分析和归纳，具体包含：焊漏、未焊透、焊偏、气孔、夹渣等问题，将这些问题划分为熔透性、对中性以及设备异常3个类别. 针对焊接熔透性问题，熔透状态依据焊缝背面熔宽/熔深可分为未熔透、临界熔透、全熔透和过熔透，其中全熔透状态为生产制造过程中采用的工艺区间范围，此时焊缝背面熔宽大于未熔透状态，小于过熔透状态. 为了保证焊接质量的一致性，焊缝背面熔宽/熔深应该保持在一定的区间范围，如何有效且实时地监测焊缝熔透状态是目前遇到的一大难题；针对焊缝对中性问题，由于装配误差以及工件变形等引起的焊枪与焊缝之间的偏差，如何有效且实时地识别焊偏是目前遇到的又一难题；在设备异常方面，由于保护气堵塞或者保护气不足引起的焊缝气孔问题，以及铝合金试件待焊区表面氧化膜和油渍去除不充分引起的夹渣问题，这些均是生产现场需要面临解决的问题. 通过对焊接过程可传感的信息进行调研和分析，发现熔池图像可有效映射熔池表面信息，国内学者发现在一定条件下图像表面特征可与熔透状态、焊偏、气孔以及夹渣等建立关联，通过查阅国内外文献发现电弧声音与熔透状态、焊偏、气孔等具有关联性，焊接电流和电弧电压作为焊接电源的输出形式，在一定速度下可表征热输入，与焊接熔透状态具有关联性. 以上调研发现，熔池图像、电弧声音、电流和电压均与焊缝缺陷存在直接或间接的映射关系，如何更有效地提取和融合上述信息的特征，以建立与焊缝缺陷之间的关系，深度学习^[10]的快速发展为实现这一目标提供可能性.

卷积神经网络(convolutional neural networks，CNNs)作为当前非常受欢迎的深度学习模型之一，被广泛地应用于图像分类及回归、自然语言处理和信号分析等领域，其中典型的CNNs模型为LeNet，AlexNet，VGG-Nets，GoogLeNet和ResNet^[11-14]等，通过这几年的迭代发展，具有强大的特征提取能力和识别能力. 文中通过典型的铝合金熔化极气体保护焊(gas metal arc welding，GMAW)工艺与深度学习的结合，依据采集信息构建多维信息融合模型，对融合模型进行迭代训练以及优化，并验证融合模型的识别能力，解决焊缝缺陷在线监测问题，为焊接生产现场提供预警，保障产品质量与安全.

1.   试验平台搭建

试验平台由焊接系统、运动机构和采集系统组成，如图1所示. 其中焊接系统由福尼斯TPS500i数字化焊接电源、送丝机、清枪器、99.99%纯氩保护气和GMAW焊枪等组成；运动机构由KUKA 10R1420六自由度工业机器人执行；采集系统由Xiris XVC 1000相机、660 nm滤光片、声望科技MPA201传声器、霍尔传感器、电压传感器和工控机等组成，可实现不同类型缺陷的焊接以及焊接过程相关信息的同步采集. 由中车工业研究院有限公司与中车青岛四方车辆研究所有限公司联合设计和开发的信息采集平台界面如图2所示，信息采集平台采集的信息分为4类，分别为熔池正面图像、电弧声音、焊接电流和焊接电压，此采集平台可用于数据的在线显示和历史数据追溯，并对当前焊接缺陷状态进行识别和预警.

图  1  焊接试验平台

Figure  1.  Welding test platform

下载: 全尺寸图片 幻灯片

图  2  信号采集平台界面

Figure  2.  Signal acquisition platform interface

下载: 全尺寸图片 幻灯片

2.   数据采集与标定

2.1   试验设计与数据采集

试验采用高速动车司机室铝合金外板材料，焊接试板如图3所示，材料型号为5083，试件长宽尺寸为300 mm × 150 mm，厚度4 mm，坡口60°，无钝边，焊丝采用直径为1.2 mm的ER5356铝合金焊丝，焊接方式为对接，焊缝背面采用衬板，焊前待焊区域均进行氧化膜清除处理以及油渍清洗处理.

图  3  焊接试板(mm)

Figure  3.  Welding test plate

下载: 全尺寸图片 幻灯片

依据生产现场工艺卡进行焊接参数设计，其中焊接电流、焊接速度、保护气流量、焊缝中心偏差量以及试件表面整洁度等参数见表1，试验设计过程采用交叉试验对多场景下的焊接缺陷问题进行复刻，使数据样本更加丰富，提高后续训练模型的泛化能力.

表  1  焊接参数

Table  1.  Welding parameters

类型	焊接电流I/A	焊接速度v/(mm·s−1)	气体流量Q/(L·min−1)	偏差量d/mm	表面 整洁度
未开始	0	0	0	0	好
正常	120 ~ 150	8	20	0	好
焊偏	120 ~ 150	8	20	0 ~ 10	好
未焊透	80 ~ 120	8	20	0	好
焊漏	150 ~ 200	8	20	0	好
气孔	120 ~ 150	8	0 ~ 10	0	好
夹渣	120 ~ 150	8	20	0	差

下载: 导出CSV 

| 显示表格

试验复现的焊接质量类别共8种，其定义如下：未开始(序号1)为未开始的焊接状态；正常(序号2)为生产现场满足产品要求的焊接状态；焊偏(序号3)为焊枪偏离焊缝中心位置的焊接状态；未焊透(序号4)为焊接热输入过小或者由于焊接试样散热大，导致焊缝未能达到标准全熔透的焊接状态；焊漏(序号5)为焊接热输入过大或者由于焊接试样散热小，导致焊缝超过标准全熔透的焊接状态；气孔(序号6)为保护气不足而导致的焊缝出现气孔的焊接状态；夹渣(序号7)为焊接试样表面未清理干净而导致的焊缝夹渣状态；未确定(序号8)为信息采集中不能够人工区分具体类别的焊接状态. 图4为8种类别某一时刻的熔池正面图像，可以看出不同状态下熔池表面特征主要体现在熔池尺寸、形状和图像灰度等方面的差异，证明了采集图像信息的有效性，图5为几种类别在特定条件下的焊缝宏观形貌.

图  4  8种类别熔池正面图像

Figure  4.  8 kinds of topside images of weld pool

下载: 全尺寸图片 幻灯片

图  5  焊缝宏观形貌

Figure  5.  Schematic of the weld

下载: 全尺寸图片 幻灯片

2.2   数据预处理

试验中采集的焊接过程信号有熔池正面图像、电流、电压和声音，像素大小为200 × 200，采集范围能够较为全面地覆盖熔池和电弧部分，其中一帧图像单独作为一个数据包进行发送、存储和调取；电流、电压和声音分别单独作为一个数据包，每个数据包包含1 000个数据点；图像的采样频率为10 Hz，电流、电压和声音采样频率均为10 000 Hz，即100 ms可获取4个数据包，分别为图像包、电流包、电压包和声音包. 数据包采用Base64进行编码并存储到MySQL数据库，历史查询与分析阶段，可以将编码数据进行解码对数据进行分析和识别；在在线识别阶段，数据均被保存为神经网络能够读取的Numpy格式，送入预先训练的模型进行识别，输出预测结果.

数据标定质量直接关系到模型的识别精度，依据专家经验对数据对进行标定，确保数据与标签匹配的准确性，人工标定的标签与时序下对应的4个数据包组成数据对，大量数据对构成数据集，数据集分为训练集、验证集和测试集. 对于熔透性数据标定方面，通过观察熔池正面图像和焊缝背面熔宽对数据对进行一一标定，为了符合生产需求，认定焊缝背面熔宽w满足w≥2.5 mm且w≤10 mm时，焊缝熔透满足生产要求，即定义为正常熔透；焊缝背面熔宽w<2.5 mm时，定义为未熔透；焊缝背面熔宽w>10 mm时，定义为焊漏；2.5 mm和10 mm熔池背面熔宽值的选取是依据经验及试样横截面测量试验；加上焊偏、气孔、夹渣、未开始以及未确定等标注样本，试验共获取样本84 820对，其中训练集57 915对，验证集12 755对，测试集14 150对，数据集具体分布情况见表2.

表  2  数据集分布

Table  2.  Data set distribution

类别	训练集数量n1	验证集数量n2	测试集数量n3
未开始	5 870	2 168	2 666
正常	14 007	1 944	2 341
焊偏	8 021	1 559	1 534
未焊透	3 970	1 374	1 143
焊漏	10 132	1 474	1 630
气孔	3 856	1 321	1 635
夹渣	7 616	2 128	2 296
未确定	4 443	787	905

下载: 导出CSV 

| 显示表格

3.   深度学习模型构建

3.1   模型架构设计

试验采用基于Pytorch平台设计的卷积神经网络融合模型，对采集的信号进行特征提取和识别，融合模型由4个子神经网络组成，具体的神经网络架构和各子神经网络参数如图6和图7所示. 图6描述了4个子网络与输入和输出之间的关系，图像、电流、电压和声音信号分别送入子神经网络Net_1，Net_2，Net_3和Net_4中进行特征提取和识别，其中，Net_1为18层的残差神经网络(ResNet18)，Net_2，Net_3和Net_4均为8层的一维卷积神经网络，分别包含3层卷积层、3层池化层以及2层全连接层. 子神经网络输出结果分别乘上权重系数W₁，W₂，W₃和W₄，再求和作为整个融合模型的输出，经过多次调试，其中W₁=0.4，W₂=0.2，W₃=0.2和W₄=0.2时具有较好的效果，且W₁ + W₂ + W₃ + W₄=1. 图7为每个子神经网络的层数，数据流的尺寸变化以及每层网络中参数的数量，模型最终输出8种类别的识别概率，以最高概率类别作为识别的结果. 这种通过采集信号(图像、电流、电压和声音)与焊缝质量之间建立关联的人工智能方法，不仅有效地解决了不同类型数据的提取问题，而且智能地融合了不同类别的特征，对焊缝质量进行更精确的识别，从而提高了模型识别结果的精度和泛化能力.

图  6  设计的神经网络架构

Figure  6.  Designed neural network architecture

下载: 全尺寸图片 幻灯片

图  7  各子神经网络层数及其参数

Figure  7.  The number of sub neural network layers and parameters

下载: 全尺寸图片 幻灯片

3.2   模型训练、测试与优化

采用上述的网络结构对采集的数据开展训练，并通过调节超参数对模型进行多次优化，模型共进行50次迭代训练，训练中后期，模型精确度和损失值均趋于稳定. 在50次迭代训练中，当验证集精确度达到最高时，保存此时训练得到的模型，并把此次模型作为最优模型，依据最优模型开展模型测试，训练结果表明，模型在24次迭代训练获得最优模型. 为了对比分析多维信息融合模型和单信息模型之间的优劣，在融合模型训练过程中同时保存每个单信息的最优模型，一次迭代训练完成后共获得5个最优模型，分别为融合模型、图像模型、电流模型、电压模型和声音模型. 训练集结果见表3，融合模型和图像模型均有较高的精确度，约为99%，其次是声音模型，约为67.9%，电压模型和电流模型的精确度均较低，约为34.3%.测试集结果表明，5个最优模型识别精确度分别为88.3%，87.5%，35.2%，35.4%和62.9%，融合模型具有最高精确度，证明多维信息融合的有效性，能在一定程度上提高单信息模型的识别精度.

表  3  各模型的精确度

Table  3.  The accuracy of each model

不同模型	数据精确度A(%)
	训练集	验证集	测试集
融合模型	99.0	85.8	88.3
图像模型	98.9	84.3	87.5
电流模型	34.3	32.1	35.2
电压模型	34.3	32.2	35.4
声音模型	67.9	64.3	62.9

下载: 导出CSV 

| 显示表格

融合模型训练集、验证集以及测试集中由真实标定标签和识别结果组成的混淆矩阵分别如图8 ~ 图10所示，其表明8种焊接质量的识别结果均分布在对角线区域，每个类别均具有较高的识别精度，图10中未开始、正常、焊偏、未焊透、焊漏、气孔、夹渣以及未确定的识别精确度分别约为100%，85.2%，91.3%，88.7%，91.7%，92.8%，80.0%和63.3%. 结果表明，依据焊接过程传感信息，采用深度学习方法对焊接缺陷进行识别的可行性和有效性.

图  8  训练集混淆矩阵

Figure  8.  Training set confusion matrix

下载: 全尺寸图片 幻灯片

图  10  测试集混淆矩阵

Figure  10.  Testing set confusion matrix

下载: 全尺寸图片 幻灯片

图  9  验证集混淆矩阵

Figure  9.  Verification set confusion matrix

下载: 全尺寸图片 幻灯片

4.   结论

(1) 构建的焊接过程采集与监测系统，能够对焊缝缺陷的关键信息进行采集、传输和存储，焊接过程中可以实时显示各类信息的变化以及各缺陷类别的判别结果，焊后能够对历史数据进行读取和分析，系统采集的具体信息包含熔池正面图像、焊接电流、焊接电压以及电弧声音.

(2) 依据数据类型设计的多维融合模型，能够对各类数据进行特征提取与融合，有效地解决了不同维度数据融合难的问题，并且能够充分利用各数据的特征与焊缝缺陷建立关联.

(3) 通过多次迭代训练获得的最优深度学习模型，对文中8种类别的综合识别精度约为88.3%，且每一次识别中监测系统运行和模型响应总时间不超过100 ms，在精确度和响应速率方面能够满足工程化应用需求.

(4)文中的焊接缺陷在线监测系统，已在高速高铁司机室铝合金外板焊接过程中完成了相关功能测试，对焊接过程中焊缝质量具有较好的监测效果，目前正在进行工程化应用研究，并持续优化模型与完善监测系统，后续开展进一步推广和应用.