亚星游戏官网-www.yaxin868.com

专利名称：三维测量设备和三维测量方法
技术领域：
本发明涉及一种三维测量设备和三维测量方法，该三维测量设备能够对用于测量被摄体的表面形状的三维测量设备中所发生的设备误差进行校准。
背景技术：
作为用于以非接触方式测量被摄体的表面形状的设备，传统上存在一种用于使用投影单元和摄像单元基于三角测量方法的原理来测量该表面形状的设备。将对该测量方法进行说明。首先，投影单元将图案投影到被摄体上。接着，摄像单元对投影了图案的被摄体进行拍摄。根据所拍摄的图像数据对图案在摄像单元的摄像像素面上的位置进行检测。接下来，使得图案在投影单元的投影像素面上的位置与图案在摄像像素面上的位置彼此相对应。通过校准来获得投影单元和摄像单元之间的位置关系。例如，预先获得(统称为校准值的)如下信息投影单元和摄像单元之间的基线长度、摄像单元和投影单元的转动/平移信息、投影单元和摄像单元的设备特定参数、焦距、光轴主点位置、以及镜头像差值等。最后，使用三角测量方法的原理，根据校准值以及投影像素面上的图案和摄像像素面上的图案之间的位置关系来对设备到被摄体的距离进行测量。在用于使用投影单元和摄像单元来测量被摄体的表面形状的设备中，通常，所使用的装置的形状和配置由于例如与温度变化相关联的热膨胀/收缩效果而随着时间发生微小变化。由于该原因，在测量环境中容易发生温度变化或者进行了长时间测量的情况下，图案投影位置发生微小变化。这导致即使在相同的条件下测量相同的被摄体，表面形状的结果也会存在误差。为了解决该问题，日本特开平8-054234提出了一种通过配置多个精确地已知相距三维测量设备的距离的对象来校准基线长度、投影单元的投影角度和摄像单元的摄像角度这三个参数的方法。日本特开平5-248830提出了一种通过对从投影单元投影至三维测量设备内部的测量光束进行分光并获得预先存储的光束投影位置与分离出的光束的投影位置之间的差来执行校准的方法。然而，在日本特开平8-054234中，需要精确地获知各对象与设备之间的距离，并且实际操作中的设置也较为麻烦。另外，由于各对象和设备本身之间的距离可能随着时间而变化，因此校准值的可靠度低。在日本特开平5-248830中，向该设备添加新的设备。这在设备的小型化和成本方面造成问题。

发明内容
本发明是考虑到上述问题而做出的，并且提供一种能够校准测量误差的三维测量设备。根据本发明的一个方面，提供一种三维测量设备，包括投影单元和摄像单元，其中所述投影单元用于对预定图案进行投影，并且所述摄像单元用于对投影了所述图案的被摄体进行拍摄，所述三维测量设备还包括检测单元，用于在所述摄像单元所拍摄的图像中，检测被投影到测量空间内的同一平面上预先设置的多个图案检测区域的所述图案在摄像像素面上的位置信息；以及对应关系计算单元，用于使用所述位置信息，来计算测量之前预先检测到的所述投影单元的投影像素面上的所述图案与测量时所述投影单元的投影像素面上的所述图案之间的对应关系。根据本发明的另一方面，提供一种三维测量设备的三维测量方法，所述三维测量设备包括投影单元和摄像单元，其中所述投影单元用于对预定图案进行投影，并且所述摄像单元用于对投影了所述图案的被摄体进行拍摄，所述三维测量方法包括以下步骤检测步骤，用于在所述摄像单元所拍摄的图像中，检测被投影到测量空间内的同一平面上预先设置的多个图案检测区域的所述图案在摄像像素面上的位置信息；以及计算步骤，用于使用所述位置信息，来计算测量之前预先检测到的所述投影单元的投影像素面上的所述图案与测量时所述投影单元的投影像素面上的所述图案之间的对应关系。根据本发明，可以提供一种能够校准测量误差的三维测量设备。通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。·


图I是示出根据实施例的三维测量设备的基本结构的框图；图2A 2F是示出投影图案的例子的图；图3A 3D是用于说明三维测量设备所进行的校准和三维测量处理的示意过程的图；图4是用于说明根据第一实施例的三维测量设备所进行的校准和三维测量处理的过程的流程图；图5是示出根据第二实施例的投影图案的图；图6是用于说明根据第二实施例的线性插值的图；以及图7是用于说明根据第三实施例的极线约束(epipolar constraint)的图。
具体实施例方式第一实施例图I是示出根据本实施例的三维测量设备的基本结构的框图。测量设备的基本结构包括投影仪3，用于将图案投影到被摄体2上；照相机4，用于对投影了图案的被摄体2进行拍摄；以及测量计算单元1，用于指示进行图案的投影和拍摄并且对所拍摄的图像数据执行计算处理，由此进行三维测量。测量计算单元I包括中央控制单元5、图案存储器6、图像存储器7、参数存储单元8、测量处理单元9、区域检测单元10、第一计算单元11、第二计算单元12以及基准信息处理单元13。这些单元通过总线彼此连接以发送/接收命令和数据。图案存储器6由诸如ROM等的存储单元构成。图案存储器6存储用于对投影仪3要投影的图案进行设置的图案形状程序和用于对投影时间进行设置的时间帐户程序等。中央控制单元5具有用于指示属于测量计算单元I的各单元的功能。在接收到来自中央控制单元5的投影指令时，图案存储器6将图案发送至投影仪3。在图案存储器6中准备了诸如用于三维测量的测量图案、用于校准测量误差的校准图案以及用于同时执行三维测量和校准的校准测量图案等的多个图案。校准测量图案是校准图案和测量图案的组合。稍后将参考图2A 2F说明测量图案和校准图案。图案存储器6根据来自中央控制单元5的指令发送图案中的一个。中央控制单元5具有用于使投影仪3用作投影单元的中央控制单元的功能。时间帐户信号被发送至投影仪3和照相机4以对图案投影和拍摄定时进行管理。照相机4用作用于获取所拍摄图像的摄像单元。将照相机4所拍摄的图像数据(所拍摄图像)临时存储在图像存储器7中。图像存储器7根据来自中央控制单元5的指令将图像数据发送到测量处理单元9或区域检测单元10。发送到测量处理单元9的过程是不对测量误差进行校准的过程。发送到区域检测单元10的过程是用于校准测量误差的过程。在实际处理中，对于三维测量处理，图像数据经过了二值化处理和锐化处理等。这些处理与本实施例不相关，并且将省略对其的说明。在本实施例中，假定从图像存储器7发 送来的图像数据已经过了所需处理。区域检测单元10针对图像数据在同一预定平面上设置多个区域，检测投影在各个区域上的校准图案，并且根据校准图案的几何特征来检测用作图案的位置信息的位置坐标。通过绘出照相机4的摄像像素面的像素的坐标系上的坐标来表示作为检测结果的位置坐标。为了如本发明的目的那样进行误差校正，需要在测量之前预先检测图案的位置信息并且设置基准位置。在本实施例中，在进行用于获得投影仪3和照相机4的转动/平移信息以及作为投影单元和摄像单元的设备特定参数的校准值的校准时还检测图案位置坐标的基准位置。将所检测到的摄像像素面上的图案位置坐标发送到基准信息处理单元13。将在测量时检测到的摄像像素面上的图案位置坐标发送到第一计算单元11。基准信息处理单元13使用图案位置坐标的基准位置，来对校准时的照相机4的摄像像素面和投影仪3的投影像素面之间的对应关系进行计算。稍后将参考图3A 3D说明图案存储器6中所存储的图案的对应关系。参数存储单元8由诸如ROM或RAM等的存储单元构成。参数存储单元8存储上述校准值。参数存储单元8还存储图案位置坐标的基准位置以及基准信息处理单元13所获得的校准时的照相机4的摄像像素面和投影仪3的投影像素面之间的对应关系。根据需要将这些参数发送到各个单元。将对应关系计算单元分成第一计算单元11和第二计算单元12以执行以下处理。第一计算单元11从参数存储单元8获取校准时的摄像像素面上的图案位置坐标，并且从区域检测单元10获取测量时的摄像像素面上的图案位置坐标。然后，第一计算单元11根据所获取到的校准时的摄像像素面上的图案位置坐标以及测量时的摄像像素面上的图案位置坐标，来获得校准时的摄像像素面上的图案与测量时的摄像像素面上的图案之间的对应关系。第一计算单元11将所获得的对应关系发送到第二计算单元12。第二计算单元12获得校准时的投影像素面上的图案与测量时的投影像素面上的图案之间的对应关系。第二计算单元12从参数存储单元8获取校准时的照相机4的摄像像素面与投影仪3的投影像素面之间的对应关系。第二计算单元12还从第一计算单元11获取校准时的摄像像素面上的图案与测量时的摄像像素面上的图案之间的对应关系。使用这两个对应关系，第二计算单元12获得校准时的投影像素面上的图案与测量时的投影像素面上的图案之间的对应关系。将所计算出的对应关系发送到测量处理单元9。
测量处理单元9从参数存储单元8获取校准值，并且使用图像数据通过三角测量方法的原理来进行三维测量。在根据本实施例的测量误差校准的情况下，使用从第二计算单元12所获取到的投影变换矩阵C来改变摄像像素面上的图案与投影像素面上的图案之间的对应关系。产生用作三维测量数据的测量结果。对三维测量数据进行可视化以使该三维测量数据能够作为深度映射而在诸如监视器等的显示单元14上进行观察。注意，可以用包括中央控制单元和用于存储计算机程序的存储单元的外部装置来代替测量计算单元I的部分功能。例如，基准信息处理单元13和参数存储单元的一部分可以被该外部装置所代替，并且可以通过该外部装置来获得校准时的值。在这种情况下，将基准信息处理单元13和参数存储单元的一部分从本实施例的三维测量设备中去除。图2A 2F是示出要投影的图案的例子的图。图2A是示出三维测量中所使用的测量图案24的图。在本实施例中，将以空间编码方法作为三维测量方法的例子来进行说明。然而，要投影的图案可以是空间编码方法中所使用的格雷码图案、相位移位方法中所使用的具有亮度变化的图案、以及光切断方法中所使用的线图案中的任一个。测量图案24具有以预定宽度交替布置的亮部和暗部。存在具有不同宽度的亮部和暗部的多个图案。对这些 图案分别进行投影。图2A示出具有代表性的一个图案。将被摄体2放置在具有均匀平面性的测量台20上并进行测量。将测量图案24投影到要测量的整个区域。图2B是示出将被摄体2放置在测量台20上并且对测量图案24进行投影以执行测量的状态的概念图。图2C是示出用于对测量误差进行校准的校准图案22的图。将多个校准图案22投影到要测量的整个区域的外周部分。将校准图案22布置在测量空间的同一平面上。至少需要三个校准图案。在本实施例中，将四个校准图案22投影到测量台20上以保持相同的平面性。以下将针对稍后要说明的算法来说明使用四个校准图案来保持相同的平面性的原因。校准图案22采用便于进行几何特征检测并且能够检测二维坐标的偏移的形状。图2C示出十字形图案作为例子。测量者预先在四个预定的角设置检测区域21 (图案检测区域)的位置。一旦设置了这些位置，则不再改变。总是从投影仪3的投影像素面的预定像素来投影校准图案22。三维测量设备自动对检测区域21中的校准图案22进行检测。由于该原因，将检测区域21设置在比假定的偏移的对应关系大的范围内，因此校准图案22不会跑出检测区域21以外。例如，在市售的投影仪中，十字形图案可以随着时间而在数百微米到数毫米的范围内移动。因此，可以将检测区域21的大小设置得较大。图2D是示出对用于组合三维测量所使用的测量图案24与校准测量误差用的校准图案22的校准测量图案25进行投影的状态的图。在该算法中，即使通过对测量图案24和校准图案22进行顺次投影，也能够执行测量误差校准。然而，可以通过对校准测量图案25进行投影来同时进行三维测量和校准。在本实施例中，将在假定投影校准测量图案25的情况下进行说明。接下来将说明对校准图案22的几何特征进行检测。其目的在于检测校准图案22的几何特征并且根据该几何特征来确定该校准图案的位置坐标。由于该目的，需要根据校准图案22的几何特征来唯一地确定坐标。在图2D中，将各十字形图案的交点检测为校准图案22的位置坐标。下文中将以(Xc，yc)来表示照相机4的摄像像素面上所确定出的位置坐标。下文中将以(xp，yp)来表示投影仪3的投影像素面上所确定出的位置坐标。图2E示出圆形图案23作为校准图案22的另一例子。根据圆形图案23的几何特征所获得的位置坐标是圆心的坐标。从图像数据中，通过将圆与圆形图案23相拟合来检测圆心，从而获得圆形图案23 (校准图案)的位置坐标。图2F示出多个十字形图案26作为校准图案22的又一例子。在这种情况下，各十字形图案的几何特征是交点。将各交点的坐标的平均值代表性地确定为位置坐标。可选地，将各交点的坐标直接用作位置坐标。如在该例子中那样，可以在一个检测区域21中针对一个或多个点获得位置坐标。重要的是，可以根据校准图案唯一地确定二维方向上的位置坐标并随着时间的经过而跟踪位置坐标。只要满足上述条件，上述校准图案以外的任意校准图案都可以在本实施例中采用。
在本实施例中，已将测量图案24作为一维方向上的图案进行了说明。然而，在进行三维测量时，可以对其余的一维方向(在图2A中为垂直方向)上的图案进行投影。在这种情况下，在检测区域中确定二维方向上的位置坐标而不对与测量图案24不同的校准图案进行投影。即，可以使用测量图案本身来获得检测区域中的图案的位置坐标。图3A 3D是用于说明根据本实施例的三维测量设备所进行的校准和三维测量处理的示意过程的图。图3A的右下方视图301仅示出校准时所投影的校准测量图案中的测量图案、即投影仪的投影像素面31上的测量图案35 (投影仪侧的基准图案)。图3A的左下方视图302示出通过在校准时对测量图案35进行投影并拍摄被摄体表面反射的光所获得的照相机的摄像像素面30上的测量图案33 (照相机侧的基准图案)。图3A的左上方视图303示出通过在测量时对测量图案35进行投影并拍摄测量图案35所获得的摄像像素面30上的测量图案32。在测量时，投影仪的内部装置由于投影仪内部的热等原因而发生微小变形，并且图案位置与测量之前的校准时的图案位置存在微小不同。由于该原因，即使投影图案相同，也如左上方视图303所示那样，拍摄到与校准时的图案成角度的图案。图3A的右上方视图304示出在该算法中最终获得的虚拟投影像素面31上的测量图案34。投影像素面31上的实际投影图案是右下方视图301中所示的图案。然而，投影面上的图案根据左上方视图303中所示的所拍摄图案而虚拟地改变。这即是由该算法所执行的处理。右上方视图304中所示的投影像素面上的测量图案34与校准时的测量图案35 (右下方视图301)之间的偏移的对应关系可以根据照相机侧的测量图案32和测量图案33之间的偏移的对应关系来获得。通过将测量时的投影像素面31上的测量图案34相对于校准时的测量图案35偏移了测量时的摄像像素面30上的测量图案32相对于校准时的测量图案33的偏移量，来执行校准。由于该目的，以图2C、2D和2F所示的检测区域21中所检测到的校准图案的位置坐标的偏移的对应关系来表示整个测量区域中的偏移的对应关系。以下将说明用于计算校准图案的位置坐标的偏移的对应关系的方法。基于测量时的摄像像素面上的测量图案32与校准时的测量图案33之间的偏移的对应关系，测量处理单元9改变用于对投影像素面上的图案的亮部和暗部的边缘进行编号的表。以下将参考图3B 3D说明用于对投影像素面上的图案的亮部和暗部的边缘编号的表。图3A中的箭头表示根据本实施例的算法的计算关系。首先，在校准时，获得投影仪3的投影像素面31上的测量图案35与照相机4的摄像像素面30上的测量图案33之间的投影关系，作为照相机4的摄像像素面和投影仪3的投影像素面在校准时的对应关系。由基准信息处理单元13来执行该处理。使用校准时的投影像素面31上的检测区域21中的校准图案的位置坐标(xpl，ypl)和摄像像素面30上的检测区域21中的校准图案的位置坐标(xcl，ycl)来计算投影变换矩阵A。
(
权利要求
1.一种三维测量设备，包括投影单元和摄像单元，其中所述投影单元用于对预定图案进行投影，并且所述摄像单元用于对投影了所述图案的被摄体进行拍摄，所述三维测量设备还包括 检测单元，用于在所述摄像单元所拍摄的图像中，检测被投影到测量空间内的同一平面上预先设置的多个图案检测区域的所述图案在摄像像素面上的位置信息；以及 对应关系计算单元，用于使用所述位置信息，来计算测量之前预先检测到的所述投影单元的投影像素面上的所述图案与测量时所述投影单元的投影像素面上的所述图案之间的对应关系。
2.根据权利要求I所述的三维测量设备，其中，还包括测量处理单元，所述测量处理单元用于使用所述对应关系计算单元所计算出的所述对应关系，来改变测量时所述摄像单元的摄像像素面上的所述图案和所述投影单元的投影像素面上的所述图案之间的对应关系。
3.根据权利要求I所述的三维测量设备，其中，所述对应关系计算单元所计算出的所述对应关系是投影变换。
4.根据权利要求I所述的三维测量设备，其中，投影到所述图案检测区域的所述图案是所述测量空间内的一维方向的图案。
5.根据权利要求I所述的三维测量设备，其中，所述对应关系计算单元使用极线约束来计算所述对应关系。
6.根据权利要求I所述的三维测量设备，其中，所述对应关系计算单元通过利用测量前所述图案在所述摄像像素面上的位置信息与测量时所述图案在所述摄像像素面上的位置信息所进行的线性插值，来计算所述对应关系。
7.—种三维测量设备的三维测量方法，所述三维测量设备包括投影单元和摄像单元，其中所述投影单元用于对预定图案进行投影，并且所述摄像单元用于对投影了所述图案的被摄体进行拍摄，所述三维测量方法包括以下步骤 检测步骤，用于在所述摄像单元所拍摄的图像中，检测被投影到测量空间内的同一平面上预先设置的多个图案检测区域的所述图案在摄像像素面上的位置信息；以及 计算步骤，用于使用所述位置信息，来计算测量之前预先检测到的所述投影单元的投影像素面上的所述图案与测量时所述投影单元的投影像素面上的所述图案之间的对应关系O
全文摘要
本发明涉及一种三维测量设备和三维测量方法。三维测量设备包括检测单元，用于在摄像单元所拍摄的图像中，检测被投影到测量空间内的同一平面上预先设置的多个图案检测区域的图案在摄像像素面上的位置信息；以及对应关系计算单元，用于使用所述位置信息，来计算测量之前预先检测到的投影单元的投影像素面上的所述图案与测量时所述投影单元的投影像素面上的所述图案之间的对应关系。
文档编号G01B11/25GK102954770SQ20121029145
公开日2013年3月6日 申请日期2012年8月15日 优先权日2011年8月15日
发明者高林志几 申请人:佳能株式会社