亚星游戏官网-www.yaxin868.com

专利名称：基于视觉的空间目标位姿测量装置和方法
技术领域：
本发明涉及基于视觉的空间目标位姿测量装置和方法，尤其指一种模式识别与智能控 制、追踪飞行器向空间目标逼近靠拢过程中的跟踪、图像处理与空间目标运动参数计算的装 置和方法，通过对向空间目标逼近靠拢过程中一系列信息处理过程(主要为图像处理过程)， 实现了对空间目标运动的参数的测量，属于信息处理技术领域。
(二)
背景技术：
卫星预警的研究工作，主要集中在远距离段对弱小空间目标的远距离及时发现、预警的 需求上，研究的重点是针对空间飞行器中段的空间目标进行检测跟踪(这时空间目标的可见 光、红外特性相对于主动段依然较弱，信噪比低)，研究空间飞行器的成像条件与成像特点 对空间目标精确跟踪的影响。对于远段、中段的空间目标识别跟踪的研究，也取得了重要进展。
对于近距离空间目标空间目标特征提取、姿态识别和测量方面的研究，业者做了大量 工作，取得了一定研究成果。
研究工作主要集中在远距离段对弱小空间目标的远距离及时发现、研究的重点是针对空 间飞行器中段的空间目标进行检测跟踪。对于远段、中段的空间目标识别跟踪，已在复杂背 景下空间目标检测识别、空间目标和背景建模、空间目标轨迹预测及跟踪等方面取得了很多 重要的成果。航天器的交会对接是关键技术之一，而此过程中近距离空间目标的特征提取跟 踪、姿态识别和动态测量是影响任务成败的关键。
(三)

发明内容
本发明的目的在于提供一种基于视觉的空间目标位姿测量装置和方法，以实现在追踪飞 行器向空间目标逼近靠拢过程中，通过双目成像的原理和图像处理的方法，对空间目标的位 置和姿态参数进行精确计算。
本发明的技术方案为
本发明一种基于视觉的空间目标位姿测量装置，由以下三部分构成电控位移台、图像采集设备、综合信息处理平台。 1)图像采集设备-
该图像采集设备主要包括两个CCD (Charge Coupled Device,即电荷藕合器件图像传感
器)摄像机。
CCD摄像机的具体参数如下 KP-F200SCL摄像机参数为
争分辨率(有效像素)1628X 1236
* CCD面积7.16X5.44腿 1/1.8-inch *帧频15fps
參 接□ Mini CamraLink
* 尺寸29(W)X 29(H) X 29(D) *重量约53g
*其它lObits输出，串口控制支持，工作温度0—40'C
2) 电控位移台
该电控位移台是由六自由度高精度数字伺服位移台、位移台控制箱组成。 该六自由度高精度数字伺服位移台是图像获取装置的支撑平台，可根据位移台控制箱 的控制指令进行六自由度的运动，实现对双目测量过程中测量结果的验证。
该位移台控制箱通过串口向六自由度高精度数字伺服位移台发送控制指令。
电控位移台的参数如下
* X,Y轴±0.35m
* Z车由土0.5m
*三轴转动范围±45° *基线长度调整0.2~0.5m *视轴夹角±45°
* X,Y,Z轴位移精度土O.lmm *三轴转动精度±0.05°
*基线长度调整精度0.01mm *视轴夹角调整精度±0.05°
3) 综合信息处理平台
该综合信息处理平台是由信息接口、伺服控制处理单元、高速计算机组成。高速计算机接收从两个CCD摄像机传入的左右图像信息，完成对左右两幅双目图像中
的一系列信息处理过程，包括空间目标特征的提取、特征匹配、特征跟踪、运动参数计算、 三维重建等算法的实现。
伺服控制处理单元能向电控位移台发出控制命令，使六自由度高精度数字伺服位移台 根据输入的指令进行运动。
基于视觉的空间目标位姿测量装置各组成部分之间的关系详述如下 基于视觉的空间目标位姿测量装置的连接关系为图像采集设备(两个CCD摄像机) 分别安装在电控位移台的六自由度高精度数字伺服位移台支架两端，相对位置可以进行调 解，同时可随高精度数字伺服位移台一起运动；图像采集设备和电控位移台都与综合信息 处理平台相连，实现图像采集设备所获取的图像向信息处理平台的传输和信息处理平台对 伺服平台的控制指令的传输。
本发明一种基于视觉的空间目标位姿测量装置，其工作流程为首先通过综合信息处理 平台的伺服控制处理单元向电控位移台的六自由度高精度数字伺服位移台发送指令，使其按 照设定好的程序向空间目标逼近靠拢；同时，在运动的过程中，安装在电控位移台的六自由 度高精度数字伺服位移台的图像采集设备不断的釆集运动过程中的空间目标双目序列图像， 这些采集到的图像传给信息处理平台的高速计算机，高速计算机通过一系列的信息处理过程 (主要为图像处理过程)，计算出向空间目标逼近靠拢过程中空间目标具体的相对位置和姿 态参数，最后再把经过图像处理计算过程得出的空间目标的参数和电控位移台的六自由度高 精度数字伺服位移台的运动参数进行比对，用以验证测量结果的正确性以及后续的测量精度 分析。
本发明一种基于视觉的空间目标位姿测量方法，如图5所示，其步骤是-1)选用双目图像基于2D平面靶标的摄像机标定的方法，该方法为双目图像基于2D平面
靶标的摄像机标定�？�
这里所采用的标记算法为张正友等人提出的基于2D平面靶标的摄像机标定方法。 该方法中，摄像机在两个以上不同的方位拍摄一个平面靶标，摄像机和于2D平面靶标 都可以自由移动，不需要知道运动参数。在标定的过程中，假设摄像机的内部参数始终不变， 无论摄像机从任何角度拍摄靶标，摄像机内部的参数都为常数，只有外部参数发生变化。
经过该标定以后，就可以根据标定的结果进行双目图像的极线校正。这是一个关键的步 骤，对接下来的图像的匹配的速度和准确度的提高都有很重要的作用，也就是后来要提到的极限约束。
2)设计双目图像的特征点的提取�？�
图像中的角点是指图像中具有高曲率的点，提取角点的方法大致分为两类 一类是提取 图像的边缘，将边缘上曲率最大的点或者边缘的交叉点作为角点； 一类是直接利用图像的灰 度计算灰度分布的曲率，以最大曲率的点作为角点。本实验采用的Harris角点提取的方法是 直接利用图像灰度信息来探测角点的方法。
Harris算子的表达式如下
<formula>formula see original document page 7</formula>
其中 .
&为X方向的梯度；gy为y方向的梯度；
GCs)为高斯模板；(S)为巻积操作；/为每点的兴趣值；Det为矩阵的行列式；Trace为矩 阵的迹；k为默任常数。
对操作的灰度图像的每个点，计算该点在横向和纵向的一阶导数，以及二者的乘积。这样 可以得到每个像素对应的属性值分别为g,, g^和^&，最后计算每个点的兴趣值/。
Harris算法认为，特征点是局部范围内的极大兴趣值对应的象素点。因此，在计算完各 点的兴趣值后，要提取出原始图像中的所有局部兴趣值最大的点。实际操作中，可以依次取 出每个像素的8邻域中的8个像素，从中心像素和这8个像素中提出最大值，如果中心点像 素的兴趣值就是最大值，则该点就是特征点。
在提取特征点时，凡满足/大于某一阈值r的象素点均可被认为是特征点。同时可通过
一些限制因素来控制特征点的选取。
特征提取的有效性在50%至65%之间，造成特征提取失效的原因主要有
*由于双目图像对存在视差，在成像中存在遮挡等现象，在一个视角所成像的空间目
标特征在另一视角中没有成像；或是由于光照的不同，同一特征在图像对中所表现
的灰度特征不同，从而所得到的角点提取结果不同。 *由于角点提取算法本身固有的特点，在邻域内根据图像灰度计算特征值并进行取舍
得到角点位置，此位置与通过人直接观察其应该处于的位置有偏差。 失效的角点需要在双目图像对中通过特征点的匹配进行剔除，来保证获取有效的特征点对。
3)设计双目图像特征点的匹配�？樘卣鞯愕钠ヅ涫窃谒�目立体视觉图像对中，给定在一幅图像上的己知点，按照某种匹配 准则，在另一幅图像上寻找与之对应的匹配点。图像匹配的方法主要有基于区域的匹配、基 于特征的匹配和基于解释的匹配或者多种方法相结合的匹配。对应的匹配点建立在视差基础 上，由于噪声、光照、遮挡、透视畸变等因素的影响，在图像对中所呈现的特征可能不同， 可能在一定区域内存在多个相似的匹配，因此需要一定的约束作为辅助判据，以得到准确的 匹配。 一般采用的约束有极线约束、唯一性约束、视差连续性约束和顺序一致性约束等。
本实验结合双目立体视觉系统的特点，采用基于极线约束、特征匹配与区域匹配相结合 的立体匹配方法。
首先利用双目立体视觉系统参数标定的结果，建立左右视图的极线约束关系，根据此关 系对图像进行校正，将极线调整到水平位置。校正后的图像，对应的匹配点基本位于同一水 平线上。然后利用前述的角点提取方法在极线校正后的图像中对特征点进行提取。将左图作 为原始图，右图作为参考图，对左图中每个特征点，在右图中的以左图特征点位置为中心， 左右100个像素，上下2个像素的范围内进行潜在匹配点的搜索，将右图在此范围内的特征 点列为潜在的匹配点。此处应用极线约束，将搜索范围的高度控制在很小的范围内，体现特 征匹配点对基本在同一水平线上的极线约束。对每个潜在的匹配点，均根据其八邻域的灰度 值按照归一化灰度差的平方的匹配准则同原始特征点进行匹配。归一化灰度差的平方方式的
匹配为<formula>formula see original document page 8</formula>
其中r(;c',力为原始图像中的像素灰度，/(x + x'，y +力为参考图像中的像素灰度，m、 n为邻域大小。取SO，力值最小的特征点作为最佳匹配点。
按照同样的方法，以右图为原始图，左图为参考图进行匹配点对的判断，即在左右图中 进行对称计算。将只满足一个方向或两个方向都不满足匹配条件的匹配点对视为虚假匹配， 即只有在对称计算中均为匹配点对的才为正确的匹配特征点对。正确的匹配点对确定后，才 可根据得到的点对计算视差，进一步计算空间中特征点的三维坐标。
在基于灰度相关建立的候选匹配中，由于受图像亮度、周围环境相似特征的影响等，必 然存在虚假匹配。
可对匹配结果再加入约束条件来进行计算来进一步消除虚假匹配。条件越苛刻，虚假匹配越少，但同时所得到的正确匹配点对也越少，越不利于对物体的建模，可根据实际情况进 行筛选。求得匹配的特征点对后，可从左右图中求得视差大�。�进一步根据双目立体视觉系 统的参数计算特征点在空间的三维坐标，作为空间目标建�：筒饬康幕�础。
4)设计姿态参数测量�？�
空间目标的相对位姿的双目测量是通过双目视觉的方法获得空间目标表面特征点的距
离信息，根据特征点在空间的位置关系构建空间目标的几何模型，并通过对特征点的跟踪和
持续测量，利用几何模型的关系计算出空问目标的六自由度位姿相对变化的信息。在此问题
中只对位姿的变化量进行测量计算，而不计算其绝对量。
要通过特征点构建空间目标的空间几何模型，需要至少三个不共线的特征点。
首先，利用图像处理的方法提取空间目标表面三个特征点
M1(x1jU1),M20;2j2,z2),M3(x3jV3)，利用双目立体视觉原理获得三个特征点在相机
坐标系下的空间坐标。
由空间三个不共线的点可以确定一个平面，当假设空间目标为刚体时，此平面就构成了 空间目标的简单模型，通过对此平面的相对位姿信息的计算来反映空间目标的相对位姿变 化。记由三个特征点M1， M2， M3确定的平面为特征平面。
当假设空间目标为刚体时，无论该空间目标的位置和方向发生怎样的变化，还是在不同 的坐标系下观察空间目标，物体特征点之间的相对位置关系保持不变，若对空间目标自身建 立坐标系，在相机坐标系下观察，则位姿变化后的空间目标坐标系可通过对原有的空间目标 坐标系进行旋转和平移得到。
则空间目标的相对位姿测量的问题就转化为空间目标坐标系在相机坐标系下变换参数
的求取。根据三个特征点确定的特征平面建立空间目标坐标系以(M2-Ml)x(M3-Ml)方 向为Z'轴正向，以特征平面为XOY平面，Z轴与X轴，Y轴构成右手坐标系。坐标原点取<formula>formula see original document page 9</formula>
由三个特征点构成的三角形的中心，记 3 '=i 3 3 '=>。假设o，z，轴为空间目标
的进行姿态变化的纵轴，即假设由定义为z'轴正向的平面法矢量作为空间目标姿态变化的纵轴。
特征平面相对于相机坐标系的姿态变化用三个角度来描述，分别是俯仰角0、偏航角y
和自旋角-，相对姿态信息为姿态变化前后此三个角度的变化值。将相机坐标系OXYZ平移
至空间目标坐标系原点，这不影响特征平面在相机坐标系中的姿态信息，三个角度的定义及相对姿态信息的定义如下-
*俯仰角^:空间目标绕OX轴旋转的角度。
*相对俯仰角^':姿态变化前后，相对OX旋转角度的差值。根据对空间目标坐标系
的假设，相对俯仰角即为平面法向量在相机坐标系中的YOZ平面投影的夹角，当 空间目标绕OX轴做顺时针方向旋转时，相对俯仰角取负值，反之为正。如图6所 示。
參偏航角^:空间目标绕OY轴旋转的角度。
相对偏航角^':姿态变化前后，相对OY旋转角度的差值。根据对空间目标坐标系
的假设，相对偏航角即为平面法向量在相机坐标系中的xoz平面投影的夹角，当
空间目标绕OY轴做顺时针方向旋转时，相对偏航角取负值，反之为正。如图7所 示。
*自旋角(空间目标绕oz轴旋转的角度。
相对自旋角0':姿态变化前后，相对OZ旋转角度的差值。根据对空间目标坐标系
的假设，平面法向量只能表征平面绕OX、 OY轴的姿态信息，而无法表征平面绕 其自身的姿态变化信息，此时取平面上一矢量^来表征自旋角度，旋转前后平 面上的对应矢量。1'廳与02'M21之间的夹角即为相对自旋角。当 01'Mllx02'M21方向为oz轴正向时，相对自旋角取负值，反之为正。如图8所 示。
特征平面相对位移参数通过在相机坐标系下的X、 Y、 Z分量上的位移值进行描述。前
面定义的由三个特征点构成的中心位置or与02'所表征的矢量oi'02'在ox、oY和oz轴
上的分量即为相对位移的X、 Y、 Z分量，如图9所示。
根据双目视觉的测量结果，已知初始三个特征点在相机坐标系下的坐标
Mll(xll，；;ll，zll) ， M12(;d2,少12,z12)， M13(xl3，；43，z13)，以及姿态变化后的对应的三个
特征点的坐标M21021，少21，z21) ， A/22(>22，_y22,z22) ， M23(x23，y23,2r23)。姿态变化后的
坐标是由变化前的坐标经过旋转和平移得到的。对空间目标姿态的相对变化的测量结果用六 个参数进行表示，分别是X、 Y、 Z方向的相对位移，绕X旋转的俯仰角e，绕Y轴旋转的偏航角^，和绕Z轴旋转的自旋角^。
(1) 计算由特征点确定三角形的中心
j '=ij '=ij /=i
J /=1 3 ''=1 J ,-=1
由两中心的位移计算相对位移的三个分量为
x _加m1 = xo2 — jcol _y _加/w = _yo2 — yol z _ from1 = zo2 - zol
(2) 计算中心点or、 02'在各平面的投影及夹角
a) 将01'、 02'投影在YOZ平面
记投影点分别为Pl， P2,分别计算向量^和^同Y轴的夹角 angle—original, angle—new,贝U相对俯仰角为 0 = angle—new-angle—original
b) 将Ol'、 02'投影在XOZ平面
记投影点分别为Pl， P2，分别计算向量^和^同Z轴的夹角 angle_original， angle—new,贝!J相对偏航角为 v = angle_new-angle_original
c) 将Ol'、 02'投影在XOY平面
记投影点分别为Pl， P2，分别计算向量^^和^同X轴的夹角 angle—original, angle—new,贝ll相对自旋角为 4) = angle—new-angle—original
本发明一种基于视觉的空间目标位姿测量方法，其主要由双目图像基于2D平面耙标的 摄像机标定�？椤⑺�目图像的特征点的提取�？�、双目图像特征点的匹配模块、姿态参数测 量�？樗母瞿？樽槌�。
双目图像基于2D平面靶标的摄像机标定�？橥瓿傻墓δ苤饕�为摄像机的畸变参数计
算、图像的极线校正;双目图像的特征点的提取�？橥瓿傻墓δ苤饕�为双目左右头像的Harris
特征角点的提�。凰�目图像特征点的匹配�？橥瓿傻墓δ苤饕�为对双目左右头像的Harris特
征角点的左右一对一的匹配；姿态参数测量�？橥瓿傻墓δ苤饕�为根据特征点的匹配对空间目标的位置姿态参数进行测量。
通过这四个�？椋�完成了软件由最初的左右双目图像的获取到空间目标位置姿态参数的 实现。
本发明一种基于视觉的空间目标位姿测量装置和方法，其优点是基于视觉和信息处理 (主要为图像处理)的方法，完成对空间目标位姿的测量，达到较高的精度。


图1所示为基于视觉的空间目标位姿测量装置的构成框图
图2所示为图像采集设备的构成框图
图3所示为电控位移台的构成框图
图4所示为综合信息处理平台的构成框图
图5所示为基于视觉的空间目标位姿测量方法流程图
图6所示为设计姿态参数测量�？榈母┭鼋怯胂喽宰颂�角；
图7所示为设计姿态参数测量�？榈钠�航角与相对偏航角；
图8所示为设计姿态参数测量�？榈淖孕�角与相对自旋角；
图9所示为设计姿态参数测量�？榈南喽晕灰萍捌鋁、 Y、 Z分量。
图中标号说明如下
1、 图像采集设备；
2、 电控位移台；
3、 综合信息处理平台；
4、 CCD摄像机；
5、 六自由度高精度数字伺服位移台；
6、 位移台控制箱；
7、 信息接口；
8、 伺服控制处理单元；
9、 高速计算机；
具体实施方式
:本发明一种基于视觉的空间目标位姿测量装置，由以下三部分构成电控位移台、图 像采集设备、综合信息处理平台。 1)图像采集设备
如图2所示，该图像采集设备1主要包括两个CCD (Charge Coupled Device,即电荷藕
合器件图像传感器)摄像机4。
CCD摄像机的具体参数如下-KP-F200SCL摄像机4参数为
*分辨率(有效像素)1628X1236
* CCD面积7.16X5.44mm 1/1.8-inch
* 帧频15fps
肇 接口 Mini CamraLink
* 尺寸29(W)X 29(H) X 29(D)
* 重量约53g
其它lObits输出，串口控制支持，工作温度0 +4(TC 2)电控位移台
如图3所示，该电控位移台2是由六自由度高精度数字伺服位移台5、位移台控制箱6 组成。
该六自由度高精度数字伺服位移台5是图像获取装置的支撑平台，可根据位移台控制
箱6的控制指令进行六自由度的运动，实现对双目测量过程中测量结果的验证。
该位移台控制箱6通过串口向六自由度高精度数字伺服位移台5发送控制指令。 电控位移台的参数如下
* X，Y轴士0.35m
* Z轴土0.5m
*三轴转动范围±45° *基线长度调整0.2~0.5m 參视轴夹角±45°
* X,Y，Z轴位移精度土0.1mm *三轴转动精度±0.05°
*基线长度调整精度0.01mm *视轴夹角调整精度土0.05°3)综合信息处理平台
如图4所示，该综合信息处理平台3是由信息接口7、伺服控制处理单元8、高速计算 机9组成。
高速计算机9接收从两个CCD摄像机4传入的左右图像信息，完成对左右两幅双目图 像中的一系列信息处理过程，包括空间目标特征的提取、特征匹配、特征跟踪、运动参数 计算、三维重建等算法的实现。
伺服控制处理单元8能向电控位移台2发出控制命令，使六自由度高精度数字伺服位 移台5根据输入的指令进行运动。
基于视觉的空间目标位姿测量装置各组成部分之间的关系详述如下
如图1所示，基于视觉的空间目标位姿测量装置的连接关系为图像采集设备1 (两
个CCD摄像机4)分别安装在电控位移台2的六自由度高精度数字伺服位移台5支架两端， 相对位置可以进行调解，同时可随高精度数字伺服转位移台5 —起运动；图像采集设备1 和电控位移台2都与综合信息处理平台3相连，实现图像采集设备1所获取的图像向信息 处理平台3的传输和信息处理平台3对伺服平台2的控制指令的传输。
本发明一种基于视觉的空间目标位姿测量装置，其工作流程为首先通过综合信息处 理平台3的伺服控制处理单元8向电控位移台2的六自由度高精度数字伺服位移台5发送 指令，使其按照设定好的程序向空间目标逼近靠拢；同时，在运动的过程中，安装在电控 位移台2的六自由度高精度数字伺服位移台5的图像采集设备1不断的釆集运动过程中的 空间目标双目序列图像，这些采集到的图像传给信息处理平台3的高速计算机9，高速计 算机9通过一系列的信息处理过程(主要为图像处理过程)，计算出向空间目标逼近靠拢过 程中空间目标具体的相对位置和姿态参数，最后再把经过图像处理计算过程得出的空间目 标的参数和电控位移台2的六自由度高精度数字伺服位移台5的运动参数进行比对，用以 验证测量结果的正确性以及后续的测量精度分析。
如图5所示， 一种空间目标
位姿参数的视觉测量的方法，该方法主要包括以下的模块1、双目图像基于2D平面 靶标的摄像机标定�？椋�2、双目图像的特征点的提�。�3、双目图像特征点的匹配，4、姿 态参数测量。各�？榈南晗杆得魅缦�
本发明一种基于视觉的空间目标位姿测量方法，其步骤是 1)选用双目图像基于2D平面靶标的摄像机标定的方法，该方法为双目图像基于2D平面靶标的摄像机标定�？�
这里所采用的标记算法为张正友等人提出的基于2D平面靶标的摄像机标定方法。 该方法中，摄像机在两个以上不同的方位拍摄一个平面耙标，摄像机和于2D平面靶标
都可以自由移动，不需要知道运动参数。在标定的过程中，假设摄像机的内部参数始终不变，
无论摄像机从任何角度拍摄靶标，摄像机内部的参数都为常数，只有外部参数发生变化。 经过该标定以后，就可以根据标定的结果进行双目图像的极线校正。这是一个关键的步
骤，对接下来的图像的匹配的速度和准确度的提高都有很重要的作用，也就是后来要提到的
极限约束。
2)设计双目图像的特征点的提取模块
图像中的角点是指图像中具有高曲率的点，提取角点的方法大致分为两类 一类是提取
图像的边缘，将边缘上曲率最大的点或者边缘的交叉点作为角点； 一类是直接利用图像的灰
度计算灰度分布的曲率，以最大曲率的点作为角点。本实验采用的Harris角点提取的方法是
直接利用图像灰度信息来探测角点的方法。 Harris算子的表达式如下
「 g义 g乂g少 D"(M) - AT證2 (M), A: = 0.04
其中 .^为X方向的梯度；^为y方向的梯度；
G())为高斯模板；0为巻积操作；/为每点的兴趣值；Det为矩阵的行列式；Trace为矩 阵的迹；k为默任常数。
对操作的灰度图像的每个点，计算该点在横向和纵向的一阶导数，以及二者的乘积。这
样可以得到每个像素对应的属性值分别为g^， gy和gj"最后计算每个点的兴趣值/。
Harris算法认为，特征点是局部范围内的极大兴趣值对应的象素点。因此，在计算完各 点的兴趣值后，要提取出原始图像中的所有局部兴趣值最大的点。实际操作中，可以依次取 出每个像素的8邻域中的8个像素，从中心像素和这8个像素中提出最大值，如果中心点像 素的兴趣值就是最大值，则该点就是特征点。
在提取特征点时，凡满足/大于某一阈值r的象素点均可被认为是特征点。同时可通过
一些限制因素来控制特征点的选取。
特征提取的有效性在50%至65%之间，造成特征提取失效的原因主要有: *由于双目图像对存在视差，在成像中存在遮挡等现象，在一个视角所成像的空间目标特征在另一视角中没有成像；或是由于光照的不同，同一特征在图像对中所表现 的灰度特征不同，从而所得到的角点提取结果不同。
由于角点提取算法本身固有的特点，在邻域内根据图像灰度计算特征值并进行取舍 得到角点位置，此位置与通过人直接观察其应该处于的位置有偏差。 失效的角点需要在双目图像对中通过特征点的匹配进行剔除，来保证获取有效的特征点对。
3)设计双目图像特征点的匹配�？�
特征点的匹配是在双目立体视觉图像对中，给定在一幅图像上的已知点，按照某种匹配 准则，在另一幅图像上寻找与之对应的匹配点。图像匹配的方法主要有基于区域的匹配、基 于特征的匹配和基于解释的匹配或者多种方法相结合的匹配。对应的匹配点建立在视差基础 上，由于噪声、光照、遮挡、透视畸变等因素的影响，在图像对中所呈现的特征可能不同， 可能在一定区域内存在多个相似的匹配，因此需要一定的约束作为辅助判据，以得到准确的 匹配。 一般采用的约束有极线约束、唯一性约束、视差连续性约束和顺序一致性约束等。
本实验结合双目立体视觉系统的特点，釆用基于极线约束、特征匹配与区域匹配相结合 的立体匹配方法。
首先利用双目立体视觉系统参数标定的结果，建立左右视图的极线约束关系，根据此关 系对图像进行校正，将极线调整到水平位置。校正后的图像，对应的匹配点基本位于同一水 平线上。然后利用前述的角点提取方法在极线校正后的图像中对特征点进行提取。将左图作 为原始图，右图作为参考图，对左图中每个特征点，在右图中的以左图特征点位置为中心， 左右100个像素，上下2个像素的范围内进行潜在匹配点的搜索，将右图在此范围内的特征 点列为潜在的匹配点。此处应用极线约束，将搜索范围的高度控制在很小的范围内，体现特 征匹配点对基本在同一水平线上的极线约束。对每个潜在的匹配点，均根据其八邻域的灰度 值按照归一化灰度差的平方的匹配准则同原始特征点进行匹配。归一化灰度差的平方方式的 匹配为
其中r(;c'，力为原始图像中的像素灰度，/Oc + ;c'，y + y)为参考图像中的像素灰度，m、 n为邻域大小。取S(Jc，力值最小的特征点作为最佳匹配点。
按照同样的方法，以右图为原始图，左图为参考图进行匹配点对的判断，即在左右图中
Z加々')-/(m'， W)]:进行对称计算。将只满足一个方向或两个方向都不满足匹配条件的匹配点对视为虚假匹配， 即只有在对称计算中均为匹配点对的才为正确的匹配特征点对。正确的匹配点对确定后，才 可根据得到的点对计算视差，进一步计算空间中特征点的三维坐标。
在基于灰度相关建立的候选匹配中，由于受图像亮度、周围环境相似特征的影响等，必 然存在虚假匹配。
可对匹配结果再加入约束条件来进行计算来进一步消除虚假匹配。条件越苛刻，虚假匹 配越少，但同时所得到的正确匹配点对也越少，越不利于对物体的建模，可根据实际情况进 行筛选。求得匹配的特征点对后，可从左右图中求得视差大�。�进一步根据双目立体视觉系 统的参数计算特征点在空间的三维坐标，作为空间目标建�：筒饬康幕�础。
4)设计姿态参数测量�？�
空间目标的相对位姿的双目测量是通过双目视觉的方法获得空间目标表面特征点的距
离信息，根据特征点在空间的位置关系构建空间目标的几何模型，并通过对特征点的跟踪和
持续测量，利用几何模型的关系计算出空间目标的六自由度位姿相对变化的信息。在此问题
中只对位姿的变化量进行测量计算，而不计算其绝对量。
要通过特征点构建空间目标的空间几何模型，需要至少三个不共线的特征点。
首先，利用图像处理的方法提取空间目标表面三个特征点
Ml(xljUl),M2(x2，少2，z2),M3(x3,少3,z3)，利用双目立体视觉原理获得三个特征点在相机
坐标系下的空间坐标。
由空间三个不共线的点可以确定一个平面，当假设空间目标为刚体时，此平面就构成了 空间目标的简单模型，通过对此平面的相对位姿信息的计算来反映空间目标的相对位姿变 化。记由三个特征点M1， M2， M3确定的平面为特征平面。
当假设空间目标为刚体时，无论该空间目标的位置和方向发生怎样的变化，还是在不同 的坐标系下观察空间目标，物体特征点之间的相对位置关系保持不变，若对空间目标自身建 立坐标系，在相机坐标系下观察，则位姿变化后的空间目标坐标系可通过对原有的空间目标 坐标系进行旋转和平移得到。
则空间目标的相对位姿测量的问题就转化为空间目标坐标系在相机坐标系下变换参数
的求取。根据三个特征点确定的特征平面建立空间目标坐标系以(腊-紹)x(M3-Ml)方 向为Z'轴正向，以特征平面为XOY平面，Z轴与X轴，Y轴构成右手坐标系。坐标原点取
<formula>formula see original document page 17</formula>
由三个特征点构成的三角形的中心，记 3 '=13 '=i3 '=1。假设o，z，轴为空间目标的进行姿态变化的纵轴，即假设由定义为Z'轴正向的平面法矢量作为空间目标姿态变化的 纵轴。
特征平面相对于相机坐标系的姿态变化用三个角度来描述，分别是俯仰角^、偏航角^
和自旋角-,相对姿态信息为姿态变化前后此三个角度的变化值。将相机坐标系OXYZ平移 至空间目标坐标系原点，这不影响特征平面在相机坐标系中的姿态信息，三个角度的定义及
相对姿态信息的定义如下
參俯仰角^空间目标绕OX轴旋转的角度。
*相对俯仰角^':姿态变化前后，相对OX旋转角度的差值。根据对空间目标坐标系
的假设，相对俯仰角即为平面法向量在相机坐标系中的YOZ平面投影的夹角，当 空间目标绕OX轴做顺时针方向旋转时，相对俯仰角取负值，反之为正。如图6所 示。
參偏航角^:空间目标绕OY轴旋转的角度。
參相对偏航角^':姿态变化前后，相对OY旋转角度的差值。根据对空间目标坐标系
的假设，相对偏航角即为平面法向量在相机坐标系中的xoz平面投影的夹角，当
空间目标绕OY轴做顺时针方向旋转时，相对偏航角取负值，反之为正。如图7所 示。
*自旋角-:空间目标绕oz轴旋转的角度。
相对自旋角-':姿态变化前后，相对OZ旋转角度的差值。根据对空间目标坐标系
的假设，平面法向量只能表征平面绕OX、 OY轴的姿态信息，而无法表征平面绕 其自身的姿态变化信息，此时取平面上一矢量目来表征自旋角度，旋转前后平 面上的对应矢量Ol'鹿与02'M21之间的夹角即为相对自旋角。当 01'紹lx02'M21方向为oz轴正向时,相对自旋角取负值，反之为正。如图8所 示。
特征平面相对位移参数通过在相机坐标系下的X、 Y、 Z分量上的位移值进行描述。前
面定义的由三个特征点构成的中心位置or与02，所表征的矢量oi'02'在ox、OY和oz轴
上的分量即为相对位移的X、 Y、 Z分量，如图9所示。根据双目视觉的测量结果，已知初始三个特征点在相机坐标系下的坐标 Mll"ll，少ll，zll), A/12(;cl2jl2，d2), M13(;cl3jl3，z13)，以及姿态变化后的对应的三个
特征点的坐;):示M210;21,少21，z21) ， M22(x22,少22，z22) ， Af23(x23,y23,z23)。姿态变《七后的
坐标是由变化前的坐标经过旋转和平移得到的。对空间目标姿态的相对变化的测量结果用六
个参数进行表示，分别是X、 Y、 Z方向的相对位移，绕X旋转的俯仰角^，绕Y轴旋转的
偏航角^，和绕Z轴旋转的自旋角-。
(3) 计算由特征点确定三角形的中心
。i'-4t我这卢,这,
02'"备t^战少2战,
由两中心的位移计算相对位移的三个分量为
;c —的w 二 xo2 — xol 少—:少o2 —少ol z — /mw = zo2 — zol
(4) 计算中心点01'、 02'在各平面的投影及夹角 d)将Ol'、 02'投影在YOZ平面
e)
记投影点分别为Pl， P2,分别计算向量GP1和GP2同Y轴的夹角 angle—original, angle_new，则相对俯仰角为 0 = angle—new-angle—original
将or、 02'投影在xoz平面
记投影点分别为Pl， P2，分别计算向量^^1和GP2同z轴的夹角 angle—original, angle—new,贝U相对偏航角为
V = angle—new-angle一original 将Ol'、 02'投影在XOY平面
记投影点分别为Pl， P2，分别计算向量G^和W2同x轴的夹角 angle—original, angle—new，贝ll相对自旋角为 <!> = angle—new-angle—original
本发明一种基于视觉的空间目标位姿测量方法，其主要由双目图像基于2D平面靶标的摄像机标定�？�、双目图像的特征点的提取�？椤⑺�目图像特征点的匹配�？�、姿态参数测 量�？樗母瞿？樽槌�。
双目图像基于2D平面靶标的摄像机标定�？橥瓿傻墓δ苤饕�为摄像机的畸变参数计 算、图像的极线校正;双目图像的特征点的提取模块完成的功能主要为双目左右头像的Harris 特征角点的提�。凰�目图像特征点的匹配模块完成的功能主要为对双目左右头像的Harris特 征角点的左右一对一的匹配；姿态参数测量�？橥瓿傻墓δ苤饕�为根据特征点的匹配对空间 目标的位置姿态参数进行测量。
通过这四个�？椋�完成了软件由最初的左右双目图像的获取到空间目标位置姿态参数的 实现。
采用本发明中的技术和装置，整个系统对基于视觉的空间目标位姿测量装置可达到如下 的技术指标
* 识别距离范围20m 0.5m *摄像机视场角(70-100) ° *正确测量概率95% *基线长度范围0.1~0.5m 位置测量精度0.1m 0.5m *数据更新率l~5Hz 。
权利要求
1、一种基于视觉的空间目标位姿测量装置，其特征在于它是由以下三部分构成电控位移台、图像采集设备、综合信息处理平台；该电控位移台和综合信息处理平台分别由六自由度高精度数字伺服位移台、位移台控制箱和信息接口、伺服控制处理单元、高速计算机组成；其中，图像采集设备主要包括两个CCD(Charge Coupled Device，即电荷藕合器件图像传感器)摄像机；六自由度高精度数字伺服位移台是图像获取装置的支撑平台，可根据位移台控制箱的控制指令进行六自由度的运动，实现对双目测量过程中测量结果的验证；高速计算机接收从两个CCD摄像机传入的左右图像信息，完成对左右两幅双目图像中的一系列信息处理过程，包括空间目标特征的提取、特征匹配、特征跟踪、运动参数计算、三维重建等算法的实现；伺服控制处理单元能向电控位移台发出控制命令，使六自由度高精度数字伺服位移台根据输入的指令进行运动；该基于视觉的空间目标位姿测量装置各组成部分之间的关系为图像采集设备(两个CCD摄像机)分别安装在电控位移台的六自由度高精度数字伺服位移台支架两端，相对位置可以进行调解，同时可随高精度数字伺服位移台一起运动；图像采集设备和电控位移台都与综合信息处理平台相连，实现图像采集设备所获取的图像向信息处理平台的传输和信息处理平台对伺服平台的控制指令的传输；该基于视觉的空间目标位姿测量装置的工作流程为首先通过综合信息处理平台的伺服控制处理单元向电控位移台的六自由度高精度数字伺服位移台发送指令，使其按照设定好的程序向空间目标逼近靠拢；同时，在运动的过程中，安装在电控位移台的六自由度高精度数字伺服位移台的图像采集设备不断的采集运动过程中的空间目标双目序列图像，这些采集到的图像通过串口传给信息处理平台的高速计算机，高速计算机通过一系列的信息处理过程(主要为图像处理过程)，计算出向空间目标逼近靠拢过程中空间目标具体的位置和姿态参数，最后再把经过图像处理计算过程得出的空间目标的参数和电控位移台的六自由度高精度数字伺服位移台的运动参数进行比对，用以验证测量结果的正确性以及后续的测量精度分析。
2、 一种基于视觉的空间目标位姿测量方法，其特征在于该方法包括双目图像基于2D 平面靶标的摄像机标定模块、双目图像的特征点的提取�？�、双目图像的特征点的匹配�？�、 姿态参数测量�？樗母瞿？椋黄渲兴�目图像基于2D平面靶标的摄像机标定所采用的标记算法为张正友等人提出的基于2D平面靶标的摄像机标定方法；双目图像的特征点的提取采 用Harris角点提取的方法；双目图像的特征点的匹配采用基于极线约束、特征匹配相结合的 立体匹配；参数测量的过程是相对位姿的计算的一个过程，相对位姿的双目测量是通过双目 视觉的方法获得空间目标表面特征点的距离信息，根据特征点在空间的位置关系构建空间目 标的几何模型，并通过对特征点的跟踪和持续测量，利用几何模型的关系计算出空间目标的 六自由度位姿相对变化的信息。
3、 根据权利要求2所述的一种基于视觉的空间目标位姿测量方法的双目图像的特征点 的匹配采用基于极线约束，其特征在于利用双目立体视觉系统参数标定的结果，建立左 右视图的极线约束关系，根据此关系对图像进行校正，将极线调整到水平位置，校正后的 图像，对应的匹配点基本位于同一水平线上。
4、 根据权利要求2所述的一种基于视觉的空间目标位姿测量方法的双目图像的特征点 的匹配采用特征匹配，其特征在于对每个潜在的匹配点，均根据其八邻域的灰度值按照 归一化灰度差的平方的匹配准则同原始特征点进行匹配，同时在左右图中进行对称计算， 将只满足一个方向或两个方向都不满足匹配条件的匹配点对视为虚假匹配，即只有在对称 计算中均为匹配点对的才为正确的匹配特征点对。
5、 根据权利要求2所述的一种基于视觉的空间目标位姿测量方法，其特征在于把经过图像处理计算过程得出的空间目标的参数和电控位移台的六自由度高精度数字伺服位移 台的运动参数进行比对，用以验证测量结果的正确性以及后续的测量精度分析。
全文摘要
一种基于视觉的空间目标位姿测量装置和方法，该装置电控位移台、图像采集设备、综合信息处理平台三个部分组成；方法由双目图像基于2D平面靶标的摄像机标定�？�、双目图像的特征点的提取�？�、双目图像特征点的匹配�？�、姿态参数测量�？樗母瞿？樽槌�。该装置和方法通过综合信息处理控制电控位移台和其上的CCD摄像机的运动，运动中的CCD摄像机向信息处理平台的高速计算机传输双目图像，高速计算机经过一系列的信息处理过程(主要为图像处理过程)，计算出向空间目标逼近靠拢过程中空间目标相对位置和姿态参数，再把经过信息处理得出的空间目标的参数和电控位移台的运动参数进行比对，验证测量结果的正确性及测量精度分析。
文档编号G01B11/00GK101419055SQ200810225329
公开日2009年4月29日 申请日期2008年10月30日 优先权日2008年10月30日
发明者弘 张, 璐 李, 磊 王, 滢 穆, 贾瑞明 申请人:北京航空航天大学