焊接机器人焊缝图像特征点获取线结构光条纹中心线提取

基本双目视觉的焊缝轨迹自动校正就是示教后的焊接机器人在焊接过程中可以实时反馈实际上即将要焊的焊点坐标与示教程序上即将要焊的焊点坐标是否处于一个可以接受的误差范围之内，若大于这个误差，则需要进行轨迹的校正处理，焊炬移动到校正后的坐标位置进行焊接，解决上述过程的核心问题就是找到实际要焊接的焊缝点的坐标。经过本章之前的叙述，从构建视觉采集系统到系统标定完成坐标系的关系换算，再进行图像预处理及图像模式识别分辨出不同类别的三种焊缝，之后可以针对处理后不同的焊缝图像采用不同的处理算法提取图像上的焊接点，在获取了双目对应的图像上的焊接点坐标之后，就可以采用相关的点的三维重建方法如视差测距原理等进行焊缝点的空间坐标计算。

焊缝图像特征点获取

图4-10为三种焊缝处理后的二值图像，图中像素为图上亮度过高的干扰，点也就是待焊特征点，图中像素为0的是图像的背景。255的是激光的条纹和一些背景为了求得焊缝与线激光条纹的交本项目中分别定义需要求解的待焊特征点分别是:对接焊缝的特征点平面坐标为断裂的两个近似于共线条纹中心线在裂口处端点的中心点坐标、搭建焊缝的平面特征点为激光条纹中心线的第一个转折点的坐标、T形角接焊缝的特征点坐标为两断裂条纹中右边条纹的中心线延长线与左边条纹接触的第一个点的坐标。

线结构光条纹中心线提取

通过上述分析，三种焊缝图像的待焊特征点的计算都涉及到线结构光条纹中心线的提取，因此本小节主要介绍这个部分，目前常见的光条提取方法有极值法、细化法、阔值法、几何中心法和Steger法。

极值法是将光条的横截面上灰度最大的点作为条纹中心点，对于提取灰度分布呈高斯分布的条纹有良好效果，但是本项目中需要处理的图像为二值图，其中光条的灰度皆为255，光条上每一个像素的灰度相同，所以用极值法无法提取出条纹中心点。

阈值法应用场合与极值法像素，同样适用于光条横截面灰度呈高斯分布的图像。由于理想高斯分布沿中心点左右对称，因此可以如图5-1所示，设置阈值T，沿条纹断面方向找到阈值对应的灰度像素坐标P1,P2，求两坐标的中心点即为光条纹中心线上一点。同样，针对于本项目，阈值法同样不适合条纹中心线的提取。

Steger法一般和Hessian矩阵配合使用，先求得光条纹路的法线方向，再沿法线方向求各截面的中心点，最后拟合各中心点求截面。计算过程如下，首先求法线，也就是通过求如下的Hessian矩阵n求图像二阶导极大值。

其中:g (x. Y)为二维高斯卷积模板，这里是假定光条图像的灰度分布;

I (x, y)为图像上一个与9 (x,y)相等大小的矩阵，且中心为((x. y)。

之后求矩阵(5.1)的特征向量(nx,ny)，图像点的法线方向可以由该矩阵特征向量求出。再通过(5.5)求解点(x,y)的亚像素坐标:

再利用(5.5)和(5.6)，遍历光条上的点，若(tnx, tny)都在[-1/2,1/2]范围内，则说明该点(x,y)为光条中心点。通过上述计算分析，可以发现基于Hessian矩阵的Steger法，首先也是对应于灰度沿光条法线呈高斯分布的图像，涉及到亚像素的计算，所以计算精度高，但是计算过程中涉及到大量的卷积计算，所以运算复杂多，综合而言，该方法同样不适用于本项目。

最后细化法是利用形态学处理方法，循环剥离二值图像连通域的边界像素直至最后得到单像素的连接线，而本项目所需要处理的源图也为二值图，所以在进行线结构光条纹中心线提取时可以使用细化法。细化法又称骨架提取法，具有多种算法，比较经典和常用的TY Zhang和CY Suen提出来的一种算法，也是本项目中采用的方法。

即为针对图像上的目标像素点P，下图5-2为P的八邻域示意图。

之后用上述以P为中心的八邻域点进行图像遍历，在判断点P像素是否满足下述两个条件(5.7)(5.8)中任意一个或同时满足，满足则剔除:

其中B (P)为P的八邻域像素中非0像素的个数，A(P)为按顺序从P0到P7时，像素排列出现01的次数。在剔除了满足点后，剩下来的点的联通线则为光条的骨架。

最后利用上述骨架细化法来对经过预处理后的双目采集的焊缝图像进行中心线的提取。

首先，骨架细化法针对的是连通域，而焊缝图像中会出现干扰因素导致出现除了光条以外的额外连通域，如图5-3所示:

所以需要去除焊缝图像中除光条以外的连通域，对于处理如图5-3所示焊缝图时，先通过相关的连通域获取算法[[59]，获取图中三个连通域，再分别获取各个子域的面积，删除面积小于某个闲值的连通域，剩下来的则为光条所处的连通域，处理后的图如5-4所示，连通域用高亮表示，同样也可以通过连通域上的特殊坐标点分辨该连通域为焊缝断裂条纹的左右，进而对特定的连通域进行条纹中心线提取。

焊接机器人当焊透图像中只剩下光条时，利用上述细化法得到光条纹中心线，处理后的双目三种焊缝激光条纹中心线分别如下图5-5所示: