-
电弧传感器和视觉传感器是焊接领域研究和应用最广泛的两类传感器. 然而，电弧传感器因电弧长度与焊接电流、电弧电压之间的精确关系模型较难建立，适用的接头类型有限，如：不能用于薄板工件、非对称坡口及较小坡口等[1]，不能全面地反映工件坡口尺寸和焊枪的空间位姿变化等问题，限制了其应用范围.
与其它传感方法相比，基于激光结构光的视觉传感技术具有独特的优势，如：精度高，适宜于智能化应用；与工件非接触，不影响焊接工艺正常实施，适用于各种接头类型和坡口形式；抗干扰能力和环境适应性强，可有效防止电磁、弧光、飞溅和烟尘等干扰. 而且，因为激光光源具有良好可控性和单色性，视觉图像中的干扰信息较容易去除，图像处理算法相对简单、稳定，从而使处理结果具有较好的真实性和实时性. 因此，基于激光结构光的视觉传感器逐渐成为焊接领域传感技术研究和应用的热点及主流[2].
对应用于焊接领域的现有基于激光结构光的视觉传感技术进行简要剖析，在分析其特性和局限性的基础上，提出并设计了一种基于组合激光结构光的新型单目视觉传感器，介绍了其研究开发思路和结构设计原则，并推导了焊接坡口尺寸和焊枪高度的检测算法. 相对于传统的基于单线激光结构光的视觉传感器，该系统具有更加丰富的检测功能，能够利用单目视觉实现工件坡口尺寸、焊枪空间位姿等参数的有效检测，且当传感器外部安装参数(空间位姿)变化时，不需要进行重新标定，可有效提升基于激光结构光的视觉传感器的检测能力和适应性.
-
焊接领域中应用的激光视觉传感器主要有扫描式和结构光式两种. 扫描式激光视觉传感器的视场深度大，但检测精度相对较低，且系统结构复杂，受扫描速度影响，实时性相对较差, 主要用于机器人的引导定位及中厚板焊接中的焊缝跟踪和自适应控制. 在高精度控制或需要高频调整的焊缝(坡口)跟踪场合，以基于激光结构光的视觉传感器的应用为主. 基于激光结构光的视觉传感器的特性主要决定于所采用的激光结构光源的类型和视觉传感元件的数量.
基于单线激光结构光的视觉传感器，是目前焊接制造中针对工件坡口检测和焊缝跟踪应用最多的传感器类型，其实现坡口尺寸检测的前提是焊枪与工件间的高度和空间位姿固定，并据此对传感器进行事先标定. 当焊枪高度或空间位姿变化时，则需要对视觉传感器进行重新标定. 也就是说，在传感器标定后，焊接过程中的焊枪高度和空间位姿必须保持不变(传感器固连在焊枪上)，才能保证传感器检测的尺寸信息及其精度的有效性，这限制了其在结构复杂的工件、需要根据焊接轨迹改变和调整焊枪空间位姿的焊接工艺中的应用.
基于十字线激光结构光的视觉传感器多用于焊缝(坡口)跟踪，其优势在于使十字线中的竖线(或交点)直接跟踪焊缝(坡口)位置；但应用于坡口尺寸检测时，则存在与单线激光结构光视觉传感器类似的问题. 配合激光结构光的扫描或被检测物的运动，该类传感器在物体表面形貌检测中的应用相对较多[3]，但系统结构复杂且实时性较差.
基于多线激光结构光的视觉传感器也是焊接领域中研究和应用相对较多的类型，相对于单线激光结构光，多线激光结构光具有更多的检测信息和覆盖面积，但同时增加了标定的复杂性和图像处理的难度. 乔东虓等人[4-5]研究了双线激光结构光传感器在焊缝(坡口)跟踪与焊枪定位中的应用，并提出了相应的检测算法. 文献[6]采用三线激光结构光，实现了对窄间隙焊接坡口的空间尺寸检测，得到了坡口宽度、中心线位置和坡口法向量等信息. Sung等人[7]设计了一种基于5线激光结构光的视觉传感器，可获得较大范围内的焊缝(坡口)尺寸信息，应用于高速焊接场合的焊缝跟踪，提高了跟踪的精度.
基于组合激光结构光的视觉传感器，在焊接领域中的研究和应用较少，主要应用于测量领域. 文献[8]中组合使用了双线和十字线激光结构光，用于台阶检测，但是其十字线激光结构光仅用于辅助定位，不参与检测运算. 其次，基于网格和编码的激光结构光法在焊接领域中多用于接头特征、焊接熔池和焊缝(焊道)形貌检测，且往往需要配合扫描使用，因此实时性相对较差，一般不直接用于焊接坡口参数检测和焊缝跟踪.
视觉传感器的另外一个重要特征，是其采用的视觉传感元件的数量. 根据所采用视觉传感元件数量的不同，视觉传感系统有单目、双目和多目之分. 目前，绝大多数的研究及工程应用以单目视觉为主. 对于单目视觉传感器，当被测物的空间位姿信息向二维平面投影时，存在深度方向信息丢失问题. 因此，工程中应用较多的基于单线激光结构光的单目视觉传感器，虽然可以利用激光结构光的形变获得相应的坡口深度等尺寸信息，但前提是使用前需要进行安装高度标定，且在使用中，安装高度和空间位姿必须保持不变.
双目视觉法使用双摄像机从不同角度同时获取目标信息，由两幅存在视差的平面图像还原目标的三维信息；或使用单目视觉在不同位置成像，进而模拟双目立体视觉获得被测物的空间三维信息. 文献[9-10]利用双目视觉法实现了焊缝(坡口)识别、三维重建和焊接轨迹规划等功能.
三目视觉法增加一台摄像机提供额外约束，以避免双目视觉难以解决的假目标、边缘模糊、误匹配等问题，重建效果优于双目视觉. 但由于结构复杂，控制难度大，目前主要以测量应用为主，在焊接领域中的应用相对较少.
当对焊接过程的控制要求和精度进一步提高，需要检测被焊工件、焊缝(坡口)、熔池等目标的空间坐标、位置姿态等三维信息时，双目视觉或多目视觉的优势明显，但存在图像处理数据量大、实时性较难保证等问题.
-
由上述分析可知，目前基于激光结构光的视觉传感器应用于焊接领域时存在诸多局限性，且未见基于激光结构光的视觉传感器应用于焊枪空间位姿检测的报道. 针对这些问题，设计开发了一款基于组合激光结构光的新型多功能视觉传感器，其基本结构如图1所示，主要由工业CCD相机、微型摄像机、十字线和一字线激光器等器件组成. 其中，CCD相机的光学中轴线、焊枪中轴线和两个激光器的中轴线共面安装，工业CCD相机的光学中轴线与焊枪中轴线平行且与两个激光器的中轴线(二者平行)间的夹角
$\alpha $ 为定值.图1中，视觉传感器与焊枪固连，并位于焊枪实施焊接运动的前进方向. 防护板用以防止大量的焊接飞溅进入镜头视野，以减少图像中的干扰信息. 激光器波长为650 nm，因为此波长附近范围的弧光强度相对较弱，从而可有效避开弧焊的强光照波段对拍摄图像的影响. 系统安装有减光和滤光片，以保证成像的合理曝光.
图 1 视觉传感器系统结构示意图
Figure 1. Schematic diagram of the visual sensor system
-
基于组合激光结构光的视觉传感器设计，涉及如下3个方面.
(1)激光光源：综合考虑各类型激光结构光的优缺点，选用十字线激光和一字线激光组合的方式，作为视觉传感器的结构光源，充分利用十字线激光结构光在焊缝(坡口)跟踪中的优势，改进了一字线激光结构光的检测信息量不足问题，同时避免了多线激光结构光在图像处理中的实时性不足和信息冗余问题.
(2)视觉检测：采用单目视觉，充分利用组合激光光路的空间几何关系和传感器的内部结构特征参数，针对性地解决了单目视觉传感存在的深度方向信息丢失等固有问题，实现基于单幅图像的焊接坡口截面尺寸和焊枪空间位姿检测等功能，有效避免双目或多目视觉传感器需要同时处理多幅图像、实时性较难保证的问题.
(3)结构设计：目前，基于激光结构光的视觉传感器的结构主要有3种类型：直射−斜接收式、斜射−直接收式和斜射−斜接收式. 三种结构形式在焊接领域的视觉传感中都有应用，各有优缺点. 其中，斜射−直接收的结构形式，虽然确定焊接坡口的深度信息较麻烦，但测量误差相对较小[11]，且系统体积可以明显减小. 因此，采用斜射−直接收式的传感器结构.
在基于激光结构光的视觉传感器设计中，工业CCD 相机的光学中轴线与激光器的中轴线之间的夹角是一个关键参数，该角度的大小直接影响传感器的测量精度. 目前，对该角度的设计值，还没有统一的研究结论，因为在不同的视觉传感器结构中，该角度的影响各不相同. 文献[12]的讨论表明，若激光器与CCD传感器二者其一倾斜，则该夹角取20°左右时，测量结果与实际值较接近. 文中，CCD 相机的中轴线与激光器中轴线间的夹角设计值为30°，在保证检测精度的前提下，可使检测算法的计算相对简便.
-
所设计的视觉传感器主要用于辅助焊接机器人工作，促进焊接制造自动化和智能化，实现高精度焊接. 通过图像处理和基于光学三角测量原理的相关算法，该传感器可实现以下功能.
(1)接头形式和坡口截面尺寸检测：可用于包括对接(V形，Ι形，U形)、搭接和T形接头等接头形式的确定；可用于对称或非对称V形坡口截面尺寸参数的检测(见图2)，包括坡口宽度、深度、角度等.
(2)焊缝跟踪：可以实现直线焊缝、斜焊缝和曲线焊缝的跟踪.
(3)焊枪高度检测：可实现焊接过程中的焊枪高度实时检测，与机器人控制系统配合，可进一步实现焊接过程中的焊枪高度实时控制.
(4)焊枪空间位姿检测：焊枪的空间位姿可以分解为3个自由度参数，分别是沿焊缝(坡口)方向的前后倾角，垂直于焊缝(坡口)方向的左右摆角和焊枪高度方向的移动. 所设计的基于组合激光结构光的视觉传感器能够实现任意1个自由度固定时的另外2个自由度复合运动下的空间位姿检测.
利用辅助摄像机，所设计的传感器可实现焊接全过程的实时监控，紧急情况下可进行人工干预，以避免意外状况发生.
-
在焊枪垂直于工件表面的工况下，传感器进行坡口截面尺寸参数和焊枪高度检测的原理如图2所示. 激光线条照射在工件上，并向坡口内延伸，在坡口的边缘和底部形成折弯特征，分别形成特征点1 ~ 6. 图2中，两个激光器中轴线的间距D2是传感器内部设计参数，安装后即为定值，当激光器的光学中轴线和工业CCD相机中轴线的夹角
$\alpha $ 确定后，则投影在工件表面的激光线条的间距(特征点1和2之间、3和4之间)d1是定值，投影在坡口底部的特征点5和6的间距d2也是定值(d1 = d2)，且不随传感器在焊枪上的安装高度H0或焊枪高度H的变化而改变. 可见，在该传感器中，D2，d1和$\alpha $ 是传感器的固有参数，不随外部工况条件的改变而变化.
图 2 焊枪垂直于工件表面时的传感器检测示意图
Figure 2. Schematic diagram of the visual sensor in the case of welding torch vertical to the upper surface of workpiece
针对不同检测功能，视觉传感器的检测算法各不相同. 根据成像原理和光学三角测量法，可以分别推导出针对坡口截面尺寸和焊枪空间位姿的不同检测算法. 下面主要介绍焊枪垂直于工件时的坡口截面尺寸和焊枪高度检测算法.
视觉传感器的结构参数及相关检测参数如图2所示，检测图像中的特征点1 ~ 6的物坐标
$\left( {{x_i},{y_i},{\textit{z}_i}} \right)$ 、像坐标$\left( {{{x'}_i},{{y'}_i}} \right)$ 与焊枪高度H(相机焦点离工件表面的高度)、相机焦距f的关系为特征点1：
$$ \left\{ \begin{split} &{{x_1} = \varepsilon ,\;\;\;\;{y_1} = {b_2},\;\;\;{\textit{z}_1} = 0}\\ &{{x'_1} = \frac{f}{H}\varepsilon ,\;\;{y'_1} = \frac{f}{H}{b_2}} \end{split}\right. $$ 特征点2：
$$ \left\{\begin{split}&{x_2} = \varepsilon + {d_1},\;\;\;{y_2} = {b_2},\;\;\;{\textit{z}_2} = 0\\ & {x'_2} = \frac{f}{H}\left( {\varepsilon + {d_1}} \right),\;{y'_2} = \frac{f}{H}{b_2}\end{split}\right. $$ 特征点3：
$$ \left\{\begin{split}&{x_3} = \varepsilon ,{y_3} = - {b_1},{\textit{z}_3} = 0\\ & {{x'}_3} = \frac{f}{H}\varepsilon ,{{y'}_3} = - \frac{f}{H}{b_1}\end{split}\right. $$ 特征点4：
$$ \left\{\begin{split}&{x_4} = \varepsilon + {d_1},{y_4} = - {b_1},{\textit{z}_4} = 0\\ &{{x'}_4} = \frac{f}{H}\left( {\varepsilon + {d_1}} \right),{{y'}_4} = - \frac{f}{H}{b_1}\end{split}\right. $$ 特征点5：
$$ \left\{\begin{split}&{x_5} = \varepsilon - {\delta _1},{y_5} = 0,{\textit{z}_5} = - h\\ &{{x'}_5} = \frac{f}{{H + h}}\left( {\varepsilon - {\delta _1}} \right),{{y'}_5} = 0\end{split}\right. $$ 特征点6：
$$ \left\{\begin{split}&{x_6} = \varepsilon - {\delta _1} + {d_2} = \varepsilon + {d_1} - {\delta _2},{y_6} = 0,{\textit{z}_6} = - h\\ &{{x'}_6} = \frac{f}{{H + h}}\left( {\varepsilon - {\delta _1} + {d_2}} \right) = \frac{f}{{H + h}}\left( {\varepsilon + {d_1} - {\delta _2}} \right),{{y'}_6} = 0\end{split}\right. $$ 投射至工件表面(
$\textit{z} = 0$ )的2条激光平行线沿x方向的物距离d1和像距离${d'_1}$ 分别为$$ \left\{\begin{split}&{d_1} = {d_{1 - 2}}{\rm{ = }}{d_{3 - 4}} = {x_2} - {x_1}{\rm{ = }}{x_3} - {x_4} = \frac{{{D_2}}}{{\cos \alpha }}\\ & {d'_1} = {x'_2} - {x'_1} = {x'_4} - {x'_3} = \frac{f}{H}{d_1} = \frac{f}{H} \times \frac{{{D_2}}}{{\cos \alpha }}\end{split}\right. $$ (1) 同理，2条平行激光线在坡口底部(
$\textit{z} = - h$ )沿x方向的物距离d2和像距离${d'_2}$ 分别为$$ \left\{\begin{split}&{d_2} = {d_{5 - 6}} = {x_6} - {x_5} = \frac{{{D_2}}}{{\cos \alpha }}\\ &{d'_2} = {x'_6} - {x'_5} = \frac{f}{{H + h}} \times \frac{{{D_2}}}{{\cos \alpha }}\end{split}\right. $$ (2) 由式(7)和式(8)可求得坡口深度
$h$ 为$$\begin{split} h &= \frac{{{D_2}f}}{{\cos \alpha }}\left( {\frac{1}{{{{x'}_6} - {{x'}_5}}} - \frac{1}{{{{x'}_2} - {{x'}_1}}}} \right) \\ &= \frac{{{D_2}f}}{{\cos \alpha }}\left( {\frac{1}{{{{x'}_6} - {{x'}_5}}} - \frac{1}{{{{x'}_4} - {{x'}_3}}}} \right) \end{split}$$ (3) 根据特征拐点的像坐标
$\left( {{{x'}_i},{{y'}_i}} \right)$ ，可求得坡口宽度${b_1}$ 、${b_2}$ 和$B = {b_1} + {b_2}$ 分别为$${b_1} = - \frac{{{D_2}}}{{\cos \alpha }} \times \frac{{{{y'}_3}}}{{{{x'}_4} - {{x'}_3}}} = - \frac{{{D_2}}}{{\cos \alpha }} \times \frac{{{{y'}_4}}}{{{{x'}_4} - {{x'}_3}}}$$ (4) $${b_2} = \frac{{{D_2}}}{{\cos \alpha }} \times \frac{{{{y'}_1}}}{{{{x'}_2} - {{x'}_1}}} = \frac{{{D_2}}}{{\cos \alpha }} \times \frac{{{{y'}_2}}}{{{{x'}_2} - {{x'}_1}}}$$ (5) $$\begin{split} B =& \frac{{{D_2}}}{{\cos \alpha }}\left( {\frac{{{{y'}_1}}}{{{{x'}_2} - {{x'}_1}}} - \frac{{{{y'}_3}}}{{{{x'}_4} - {{x'}_3}}}} \right)\\ =& \frac{{{D_2}}}{{\cos \alpha }}\left( {\frac{{{{y'}_2}}}{{{{x'}_2} - {{x'}_1}}} - \frac{{{{y'}_4}}}{{{{x'}_4} - {{x'}_3}}}} \right)\end{split}$$ (6) 根据坡口深度
$h$ 和坡口宽度${b_1}$ ，${b_2}$ ，非对称坡口的角度${\omega _1}$ 和${\omega _2}$ 可分别表示为$$ \begin{split} {\omega _1} = & {\rm{ta}}{{\rm{n}}^{ - 1}}\left( {\frac{{{b_1}}}{h}} \right)\\ =& {\tan ^{ - 1}}\left[ {\frac{{ - \dfrac{{{{y'}_3}}}{f}}}{{\left( {\dfrac{{{{x'}_4} - {{x'}_3}}}{{{{x'}_6} - {{x'}_5}}} - 1} \right)}}} \right] = {\tan ^{ - 1}}\left[ {\dfrac{{ - \dfrac{{{{y'}_4}}}{f}}}{{\left( {\dfrac{{{{x'}_4} - {{x'}_3}}}{{{{x'}_6} - {{x'}_5}}} - 1} \right)}}} \right] \end{split} $$ (7) $$ \begin{split} {\omega _2}=& {\rm{ ta}}{{\rm{n}}^{ - 1}}\left( {\frac{{{b_2}}}{h}} \right)\\ =& {\tan ^{ - 1}}\left[ {\dfrac{{\dfrac{{{{y'}_1}}}{f}}}{{\left( {\dfrac{{{{x'}_2} - {{x'}_1}}}{{{{x'}_6} - {{x'}_5}}} - 1} \right)}}} \right] = {\tan ^{ - 1}}\left[ {\dfrac{{\dfrac{{{{y'}_2}}}{f}}}{{\left( {\dfrac{{{{x'}_2} - {{x'}_1}}}{{{{x'}_6} - {{x'}_5}}} - 1} \right)}}} \right] \end{split} $$ (8) 同理，由式(7)可求得CCD相机焦点
$O'$ 与工件表面的距离H为$$\begin{split} H =& \frac{{{D_2}f}}{{{{d'}_1}\cos \alpha }} \\ =& \frac{{{D_2}f}}{{\cos \alpha }} \times \frac{1}{{{{x'}_2} - {{x'}_1}}}=\frac{{{D_2}f}}{{\cos \alpha }} \times \frac{1}{{{{x'}_4} - {{x'}_3}}} \end{split} $$ (9) 进一步，利用传感器在焊枪上的安装高度H0，可确定实际的导电嘴高度H2为
$$\begin{split} {H_2} =& \left( {H + h} \right) - {H_0} \\ =& \frac{{{D_2}f}}{{{{d'}_2}\cos \alpha }} - {H_0} = \frac{{{D_2}f}}{{\cos \alpha }} \times \frac{1}{{{{x'}_6} - {{x'}_5}}} - {H_0} \end{split} $$ (10) 由式(9) ~ 式(16)可知，工件坡口截面尺寸和焊枪高度的检测算法只与所设计传感器的固有参数(D2，d1，
$\alpha $ )及CCD相机的焦距f有关，与外部工况参数无关. -
传统的摄像机标定是利用一个标准参照物与其图像的对应约束关系，来确定摄像机模型的参数. 工程中常用的标定方法主要有直接线性变换法和透视变换矩阵法两种，利用标准标定物在多次标定试验的基础上求解标定物和检测图像之间的空间位姿变换矩阵[13].
所设计的视觉传感器的检测算法是利用结构光之间的空间几何关系、根据成像原理推导出的，避免了传统标定方法中求解空间位姿变换矩阵的过程，从而实现了传感器标定的简化. 当焊枪高度或姿态发生变化时，因为结构光之间的空间几何关系不变，因此不需要对传感器进行重新标定(传感器中的激光投影面的平行度、CCD相机及镜头、激光器中轴线与焊枪中轴线的共面性等需要进行光学校准). 其次，利用传感器固有确定参数，完全可以实现基于单目视觉的空间深度信息检测，获得三维立体信息.
由上述分析可知，使用所设计的视觉传感器对工件坡口截面尺寸(宽度B，b1和b2；角度
${\omega _1}$ 和${\omega _2}$ ；深度h)和焊枪高度H进行检测时，由于传感器的固有参数(D2，d1，α)可作为检测算法求解的基准，相当于传感器自身带有内标定，而不需要进行依赖于外部参照物的特殊标定，因此避免了焊枪高度变化时的再标定工作，且能够实时检测出传感器的高度信息. -
图3为所设计的视觉传感器实物图，为了验证传感器检测算法的正确性以及结构设计的合理性，开展了针对非对称V形坡口和焊枪高度的检测试验. 设计坡口角度为20°和30°的组合，试板厚度为25 mm，对应坡口深度为23 mm. 其典型的检测图像如图4所示(非对称V形坡口).
图 3 传感器实物图
Figure 3. Physical picture of the visual sensor
图 4 非对称坡口检测图(测试板厚25 mm，坡口深度23 mm，角度20°+ 30°)
Figure 4. Image of the V-groove with the angle of 20° + 30°, depth of 23mm, and plate thickness of 25 mm
利用MATLAB软件对检测图像进行处理. 首先，依次应用膨胀、腐蚀及二值化的方法对所获得的检测图像进行预处理，然后，利用垂直投影和灰度叠加，结合区域内灰度值判断的方法提取图像的特征点坐标值
$\left( {{{x'}_i},{{y'}_i}} \right)$ (i = 1 ~ 6). 最后，利用前述的检测算法，即可计算获得焊接坡口的截面尺寸和焊枪高度值. 检测结果如表1所示.检测试验结果表明，该视觉传感器可以实现非对称V形坡口截面尺寸和焊枪高度的准确检测，最大检测误差约为2.1%，充分说明了检测算法的正确性. 检测误差值取决于试验器材安装调试的误差和图像处理的特征点提取精度. 针对MAG焊而言，此检测精度可以很好地满足实际焊接生产制造的需求. 同理，该传感器也可应用于Ι形，U形等工件坡口的特征及尺寸检测.
由上述分析和试验检测过程可知，所设计的视觉传感器可实现坡口截面尺寸和焊枪高度检测，误差在允许范围内，且检测基于单幅图像处理，可以有效提高其实际工程应用的实时性.
表 1 非对称V形对接坡口检测试验结果
Table 1. Experimental detection data of butt joint with asymmetrical V-groove
类别 坡口总宽度B/mm 半坡口宽度b1/mm 半坡口宽度b2/mm 坡口深度h/mm 坡口总角度ω/(°) 半坡口角度ω1/(°) 半坡口角度ω2/(°) 焊枪高度H/mm 理论值 21.65 13.28 8.37 23.00 50.00 30.00 20.00 184.00 测量值 21.84 13.47 8.36 23.19 49.98 30.15 19.84 180.15 相对误差 0.73% 1.43% –0.1% 0.83% –0.03% 0.49% –0.8% –2.10% 综上所述，与现有的视觉类检测和跟踪传感器相比，所提出的基于组合激光结构光的视觉传感器系统具有集成化程度高、检测功能丰富的特点，且解决了以下4个方面的问题.
(1)优化了视觉传感器在使用前和使用中的标定问题. 在传感器使用前，不需要对视觉传感器进行相对于工具坐标系的空间位姿预标定；在焊接过程中，当焊枪高度或空间位姿变化时，也不需要对传感器进行重新标定，且能够实时检测出焊枪的高度信息.
(2)在不需要进行激光扫描或被测物移动等增加系统复杂性的操作的情况下，有效解决了单目视觉传感器在使用中存在深度方向信息丢失的问题，实现了立体视觉检测.
(3)实现了多种检测功能的集成，可同时实现焊枪空间位姿检测、坡口截面尺寸检测、焊缝(坡口)跟踪等多种功能.
(4)所有检测功能都是基于单幅图像处理的方法实现的，避免了基于多图像处理(多目视觉法或单目视觉多角度成像)的耗时长、计算量大的问题，能够有效提高其工程应用的实时性.
-
(1)提出并设计了一款新型的基于组合激光结构光的多功能单目视觉传感器，能够利用单目视觉、在单幅检测图像的基础上，同时实现焊枪空间位姿(2自由度复合)和工件坡口截面尺寸检测等多种功能. 进而用于焊缝跟踪、焊枪位姿调整和焊接轨迹规划.
(2)检测算法充分利用了组合激光结构光在传感器内部安装时的固有参数和工业CCD相机的焦距等，与焊枪的安装高度等外部工况无关，从而优化了视觉传感器在使用前和使用中的标定问题. 在传感器使用前，不需要对视觉传感器进行相对于工具坐标系的空间位姿预标定；在传感器使用过程中，当焊枪高度或空间位姿变化时，不需要进行重新标定.
(3)通过单目视觉和对单幅图像的处理实现目标空间信息检测，有效解决了单目视觉传感器在使用过程中存在深度方向信息丢失的问题，同时避免了为弥补深度信息而进行的复杂操作(激光扫描，被测物移动)或基于多幅图像的信息比对分析(多目视觉或单目视觉多角度成像)，进而可有效提高工程应用的实时性.
A multifunctional monocular visual sensor based on combined laser structured lights
-
摘要: 提出并设计了一款基于组合激光结构光的新型多功能单目视觉传感器，介绍了其研究开发思路和结构设计过程. 基于单目视觉和单幅图像处理，可实现焊接坡口截面尺寸、焊枪高度和空间位姿检测等功能. 传感器的标定充分利用了其内部固有参数，在焊枪空间位姿发生变化时，不需要进行重新标定，有效提高了其应用于复杂结构件焊接时的适应能力. 组合激光结构光的应用，有效解决了常规单目视觉存在的深度方向信息丢失问题. 针对V形坡口的截面尺寸和焊枪高度检测，推导了检测算法并进行了试验验证. 试验结果表明，最大检测误差不超过2.1%.Abstract: A novel multifunctional monocular visual sensor based on combined laser structured lights is proposed and designed; its research and development ideas and structural design process are detailed. The proposed visual sensor can realize multi-functions of detection such as the cross-sectional sizes of welding groove, the height, space position and posture of welding torch by using monocular vision and single image processing. The calibration of the sensor makes full use of its intrinsic parameters, and there is no need to re-calibrate the sensor when the position and posture of welding torch changes, which effectively improves the adaptability of the sensor in the welding process of complex structural workpiece and welding trajectory. With the use of combined laser structured lights, the problem of information loss in the depth direction existing in usual monocular visual sensor is solved effectively. Finally, the corresponding detection algorithms for the cross-sectional sizes of the V-type groove and the height of welding torch are derived, and the experiments are carried out to verify them. The experimental results show that the maximum relative detection error is not more than 2.1%.
-
图 2 焊枪垂直于工件表面时的传感器检测示意图
Figure 2. Schematic diagram of the visual sensor in the case of welding torch vertical to the upper surface of workpiece
图 4 非对称坡口检测图(测试板厚25 mm，坡口深度23 mm，角度20°+ 30°)
Figure 4. Image of the V-groove with the angle of 20° + 30°, depth of 23mm, and plate thickness of 25 mm
表 1 非对称V形对接坡口检测试验结果
Table 1. Experimental detection data of butt joint with asymmetrical V-groove
类别 坡口总宽度B/mm 半坡口宽度b1/mm 半坡口宽度b2/mm 坡口深度h/mm 坡口总角度ω/(°) 半坡口角度ω1/(°) 半坡口角度ω2/(°) 焊枪高度H/mm 理论值 21.65 13.28 8.37 23.00 50.00 30.00 20.00 184.00 测量值 21.84 13.47 8.36 23.19 49.98 30.15 19.84 180.15 相对误差 0.73% 1.43% –0.1% 0.83% –0.03% 0.49% –0.8% –2.10% 
下载: 导出CSV
-
[1] 王 伟, 邹奇仕, 朱六妹, 等. 视觉传感焊缝跟踪技术的发展状况及实施方案探讨[J]. 电焊机, 2002, 32(5): 1 − 8. doi: 10.3969/j.issn.1001-2303.2002.05.002 Wang Wei, Zou Qishi, Zhu Liumei, et al. The development state and implementing method of seam tracking system with optical sensor[J]. Electric Welding Machine, 2002, 32(5): 1 − 8. doi: 10.3969/j.issn.1001-2303.2002.05.002 [2] 郭吉昌, 朱志明, 于英飞, 等. 焊接领域激光结构光视觉传感技术的研究及应用[J]. 中国激光, 2017, 44(12): 1 − 10. Guo Jichang, Zhu Zhiming, Yu Yingfei, et al. Research and application of visual sensing technology based on laser structured light in welding industry[J]. Chinese Journal of Lasers, 2017, 44(12): 1 − 10. [3] 吴珊珊, 基于十字结构光的三维重建及精度分析[D]. 杭州: 浙江理工大学, 2015. [4] 乔东虓, 郑 军, 潘际銮. 双线结构光焊缝跟踪传感器及其特性[J]. 电焊机, 2010, 40(11): 14 − 16. doi: 10.3969/j.issn.1001-2303.2010.11.004 Qiao Dongxiao, Zheng Jun, Pan Jiluan. Dual structure laser vision sensor and its character[J]. Electric Welding Machine, 2010, 40(11): 14 − 16. doi: 10.3969/j.issn.1001-2303.2010.11.004 [5] 毛志伟, 周少玲, 赵 滨, 等. 双线激光传感焊枪定位与焊缝走向识别[J]. 焊接学报, 2015, 36(2): 35 − 38. Mao Zhiwei, Zhou Shaoling, Zhao Bin, et al. Welding torch position and seam orientation deviation based on two stripes laser vision sensing[J]. Transactions of the China Welding Institution, 2015, 36(2): 35 − 38. [6] Shao W J, Huang Y, Zhang Y. A novel weld seam detection method for space weld seam of narrow butt joint in laser welding[J]. Optics and Laser Technology, 2018, 99: 39 − 51. doi: 10.1016/j.optlastec.2017.09.037 [7] Sung K, Lee H, Choi Y S, et al. Development of a multiline laser vision sensor for joint tracking in welding[J]. Welding Journal, 2009, 88(4): 79 − 85. [8] 田忠运. 基于双线结构光三维检测技术研究[D]. 南京: 南京航空航天大学, 2012. [9] 李学瑞. 基于激光双目视觉的焊接机器人波纹板焊缝三维重建的研究[D]. 广州: 华南理工大学, 2014. [10] 陈熙引. 基于双目视觉的机器人焊缝识别及轨迹规划研究[D]. 广州: 华南理工大学, 2015. [11] 邹媛媛, 赵明扬, 张 雷, 等. 结构光视觉传感器误差分析与结构分析[J]. 仪器仪表学报, 2008, 29(12): 2605 − 2610. doi: 10.3321/j.issn:0254-3087.2008.12.026 Zou Yuanyuan, Zhao Mingyang, Zhang Lei, et al. Error analysis and structural analysis of structured-light visual sensor for seam tracking[J]. Chinese Journal of Scientific Instrument, 2008, 29(12): 2605 − 2610. doi: 10.3321/j.issn:0254-3087.2008.12.026 [12] 刘南生, 郭昌荣, 刘明友, 等. 爬行式弧焊机器人结构光视觉传感器内部布局实验研究[J]. 江西科学, 2005, 23(4): 325 − 327. doi: 10.3969/j.issn.1001-3679.2005.04.010 Liu Nansheng, Guo Changrong, Liu Mingyou., et al The internal layout experiment research of structural light visual sensor used in crawling arc welding robot[J]. Jiangxi Science, 2005, 23(4): 325 − 327. doi: 10.3969/j.issn.1001-3679.2005.04.010 [13] 邱茂林, 马颂德. 计算机视觉中摄像机定标综述[J]. 自动化学报, 2000, 26(1): 43 − 54. Qiu Maolin, Ma Songde. Overview of camera calibration for computer vision[J]. Acta Autom Atica Sinica, 2000, 26(1): 43 − 54. -
点击查看大图
图(4) / 表 (1)
计量
- 文章访问数: 305
- HTML全文浏览量: 12
- PDF下载量: 36
- 被引次数: 0
