专利名称：信息处理设备和信息处理方法
技术领域：
本发明涉及一种信息处理设备和信息处理方法。本发明尤其涉及一种适用于测量三维形状已知的物体的位置姿势的技术。
背景技术：
近年来，通过机器人代替进行诸如工业产品的组装等的过去用手工进行的复杂任务。在机器人组装工业产品时，机器人通过诸如手等的端部执行器把持组件，因此变得需要精确测量组件和机器人(即，机器手)之间的相对位置姿势。非专利文献I (Y. Hel-Or and M. Werman, “Pose estimation by fusing noisydata of different dimensions，，，IEEE Transactions on Pattern Analysis and MachineIntelligence, vol. 17, No. 2, pp. 195 - 201,1995)说明了一种用于同时使用利用照相机所获取的二维图像(例如，灰度图像或彩色图像)和利用距离传感器所获取到的距离图像来精确测量物体的位置姿势的技术的例子。根据非专利文献1，通过将二维图像上的特征视为深度不确定的三维点、并且与距离图像中的三维点组一起使用这类二维图像，来估计物体的位置姿势。此外，非专利文献2 (Tateno, Kotake, Uchiyama, “A Model fitting methodusing intensity and range images for bin-picking applications，，，13th Meeting onImageand Recognition Understanding(MIRU2010),0S-1, 2010)说明了一种用于如下精确测量物体的位置姿势的方法。通过基于最大似然估计的公式，同时优化在二维灰度图像中所测量到的误差和在距离图像空间中所测量到的误差。传统技术，即用于使用二维图像和距离图像两者来估计位置姿势的方法假定如下。传统技术假定在拍摄二维图像时和在拍摄距离图像时之间，摄像设备和测量对象物体之间的相对位置关系不会改变。另一方面，如果使用图案投影方法拍摄距离图像，则对于二维图像和距离图像必须采用不同的照明模式。因此实际上不可能在拍摄距离图像的同时拍摄灰度图像。结果，在下面的情况下，在拍摄二维图像时和在拍摄距离图像时，摄像设备和测量对象物体之间的位置关系变得不同。对于安装在机器臂上的运动摄像设备测量物体的位置姿势的情况和测量在输送带上移动的物体的位置姿势的情况，该位置关系变得不同。如果使用如上所述的传统技术来估计物体位置姿势，则精度降低，并且不能进行估计处理。另一方面，如果使用机器臂移动摄像设备或者测量对象物体，则可以通过参考机器人运动信息获取在摄像设备拍摄各个图像时之间的摄像设备或测量对象物体的移位量。例如，日本特开2005-201824说明了一种被称为运动立体摄影(motion stereo)的技术。这一技术使用由在拍摄图像时之间的移动所生成的位置姿势变化量的移位量。从而根据摄像时间、以及在该摄像时间时的位置姿势不同的多个图像，估计测量对象物体的位置姿势。然而，采用机器人运动信息的传统运动立体摄影技术假定仅使用二维图像。结果，该技术不能应用于下面的情况使用距离图像、或者使用二维图像和距离图像两者来估计位置姿势。
发明内容
考虑到上述情况做出本发明。本发明旨在一种即使在摄像设备和测量对象物体的位置姿势之间的关系中的至少一个高速变化时也能够使用二维图像和距离图像来精确测量物体的位置姿势的信息处理设备。根据本发明的一个方面，一种信息处理设备，用于使用能够拍摄二维图像和距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理设备包括数据存储单元，用于存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势；二维图像输入单元，用于输入所述摄像设备在第一位置姿势所拍摄的二维图像；距离图像输入单元，用于输入所述摄像设备在第二位置姿势所拍摄的距离图像；获取单元，用于获取作为所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息的位置姿势差信息；以及计算单元，用于基于所述位置姿势差信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与所述二维图像和所述距离图像中的相应形状相匹配。根据本发明的一个方面，一种信息处理设备，用于使用能够拍摄二维图像和距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理设备包括数据存储单元，用于存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势；二维图像输入单元，用于输入在所述物体处于第一位置姿势时所拍摄的二维图像；距离图像输入单元，用于输入在所述物体处于第二位置姿势时所拍摄的距离图像；获取单元，用于获取作为所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息的位置姿势差信息；以及计算单元，用于基于所述位置姿势差信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与所述二维图像和所述距离图像中的相应形状相匹配。根据本发明的一个方面，一种信息处理设备，用于使用能够拍摄距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理设备包括数据存储单元，用于存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势；距离图像输入单元，用于输入所述摄像设备在第一位置姿势所拍摄的第一距离图像、以及所述摄像设备在第二位置姿势所拍摄的第二距离图像；获取单元，用于获取所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息；以及计算单元，用于基于所述相对位置姿势信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与在所述第一位置姿势和所述第二位置姿势所拍摄的距离图像中的相应形状相匹配。根据本发明的一个方面，一种信息处理设备，用于使用能够拍摄距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理设备包括数据存储单元，用于存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势；距离图像输入单元，用于输入在所述物体处于第一位置姿势时所拍摄的第一距离图像、以及在所述物体处于第二位置姿势时所拍摄的第二距离图像；获取单元，用于获取所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息；以及计算单元，用于基于所述相对位置姿势信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与在所述第一位置姿势和所述第二位置姿势所拍摄的距离图像中的相应形状相匹配。根据本发明的另一方面，一种信息处理方法，用于使用能够拍摄二维图像和距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理方法包括以下步骤存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势；输入所述摄像设备在第一位置姿势所拍摄的二维图像；输入所述摄像设备在第二位置姿势所拍摄的距离图像；获取作为所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息的位置姿势差信息；以及基于所述位置姿势差信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与所述二维图像和所述距离图像中的相应形状相匹配。根据本发明的另一方面，一种信息处理方法，用于使用能够拍摄二维图像和距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理方法包括以下步骤存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势；输入在所述物体处于第一位置姿势时所拍摄的二维图像；输入在所述物体处于第二位置姿势时所拍摄的距离图像；获取作为所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息的位置姿势差信息；以及基于所述位置姿势差信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与所述二维图像和所述距离图像中的相应形状相匹配。根据本发明的另一方面，一种信息处理方法，用于使用能够拍摄距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理方法包括以下步骤存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势；输入作为所述摄像设备在第一位置姿势所拍摄的距离图像的第一距离图像、以及作为所述摄像设备在第二位置姿势所拍摄的距离图像的第二距离图像；获取所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息；以及基于所述相对位置姿势信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与在所述第一位置姿势和所述第二位置姿势所拍摄的距离图像中的相应形状相匹配。根据本发明的另一方面，一种信息处理方法，用于使用能够拍摄距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理方法包括以下步骤存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势；输入在所述物体处于第一位置姿势时所拍摄的第一距离图像、以及在所述物体处于第二位置姿势时所拍摄的第二距离图像；获取所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息；以及基于所述相对位置姿势信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与在所述第一位置姿势和所述第二位置姿势所拍摄的距离图像中的相应形状相匹配。通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将显而易见。
包含在说明书中并构成说明书的一部分的附图，示出本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。图1示出根据本发明典型实施例的信息处理设备的结构例子。图2A和2B示出机器臂、摄像设备和要测量的组件之间的关系。图3示出在摄像时间之间移动的摄像设备。图4是示出用于进行位置姿势估计方法的处理的流程图。
图5是示出用于计算位置姿势的详细处理的流程图。
具体实施例方式下面将参考附图详细说明本发明的各种典型实施例、特征和方面。使用手眼机器人的典型实施例根据本典型实施例，在下面的场景中，对于物体位置姿势估计方法使用信息设备。如图2A所示移动在末端安装有摄像设备的机器臂来拍摄固定的测量物体50的图像。根据本典型实施例，摄像设备对于进行一次图像获�。紫扰纳慊叶韧枷袢缓笈纳憔嗬胪枷�。大体上，摄像设备在与测量距离图像时不同的时间拍摄灰度图像。结果，如果摄像设备在时间之间移动，则在摄像设备拍摄~■维图像时和在拍摄距尚图像时，物体和摄像设备之间的相对位置姿势变得不同。图3示出这一不同的相对位置姿势310和相对位置姿势320。信息处理设备这样从机器臂的运动信息获取在拍摄这两个图像之间移动的摄像设备的位置姿势移位量。信息处理设备然后将所获取的信息与二维图像和距离图像一起使用，从而使得信息处理设备精确估计摄像设备和测量物体50之间的相对位置姿势。图1示出根据本发明典型实施例的信息处理设备I的结构例子。信息处理设备I使用能够拍摄二维图像和距离图像的摄像设备来估计测量物体的三维位置姿势。参考图1，信息处理设备包括位置姿势估计校验数据存储单元110、二维图像输入单元120、距离图像输入单元130、粗略位置姿势输入单元140、相对位置姿势信息输入单元150以及位置姿势计算单元160。位置姿势估计校验数据存储单元110存储位置姿势估计校验数据10，并且与位置姿势计算单元160连接。二维图像拍摄设备20与二维图像输入单元120连接。距离图像拍摄设备30与距离图像输入单元130连接。机器人40与相对位置姿势信息输入单元150连接。根据本典型实施例，如果存储在位置姿势估计校验数据存储单元110中的位置姿势估计校验数据10适于要实际拍摄其图像的观察物体的形状，则可应用信息处理设备I。接着说明构成信息处理设备I的各单元。位置姿势估计校验数据10是表示要测量的物体(以下称为测量物体或者简称为物体)的形状的三维几何信息。下面，将位置姿势估计校验数据10称为三维形状模型。通过与由点集合所构成的或者通过连接点所构成的平面有关的信息、以及与构成该平面的线段有关的信息来定义三维形状模型。将三维形状模型存储在位置姿势估计校验数据存储单元110中，并且将其输入给位置姿势计算单元160。
二维图像拍摄设备20是用于拍摄可以是灰度图像或彩色图像的正常二维图像的照相机。根据本典型实施例，二维图像拍摄设备20输出灰度图像。将处于第一位置姿势的二维图像拍摄设备20所拍摄的二维图像经由二维图像输入单元120输入给信息处理设备
Io通过参考要使用的装置的说明书，获取照相机的焦距和主点以及诸如镜头变形参数等的内部参数。此外，使用[R.Y.Tsai,“A versatile camera calibration techniquefor high-accuracy 3D machine vision metrology using off-the-shelf TV camerasand lenses”, IEEE Journal of Robotics and Automation, vol. RA-3,No. 4,1987]中所述的方法预先校准照相机的焦距、主点和内部参数。距离图像拍摄设备30以第二位置姿势拍摄距离图像，以测量测量物体表面上的点的三维信息。距离图像拍摄设备30然后经由距离图像输入单元130将所拍摄的距离图像输入给信息处理设备I。使用输出距离图像的距离传感器作为距离图像拍摄设备30。距离图像是各像素具有深度信息的图像。根据本典型实施例，使用单触主动式距离传感器。这类距离传感器利用配有不同波长的颜色识别(ID)的多狭缝线照射物体。距离传感器然后使用照相机拍摄反射光，并且采用三角测量来测量距离。然而，距离传感器不局限于以上所述，并且可以是使用光的飞行时间的飞行时间型距离传感器。此外，传感器可以是使用三角测量、根据通过立体照相机所拍摄的图像来计算各像素的深度的被动式传感器。此外，在不会改变本发明的本质的情况下，可以使用能够测量距离图像的任何类型的传感器。距离图像拍摄设备30因此经由距离图像输入单元130将测量的距离图像输入给信息处理设备I。根据本典型实施例，距离图像拍摄设备30的光轴与二维图像拍摄设备20的光轴相一致。此外，从二维图像拍摄设备20输出的灰度图像中各像素和从距离图像拍摄设备30输出的距离图像中的各像素之间的对应关系是已知的。机器人40包括由转动轴或平移轴构成的多个可移动轴。机器人40是用于改变包括二维图像拍摄设备20和距离图像拍摄设备30的摄像设备的位置姿势的可移动装置。下面，将包括二维图像拍摄设备20和距离图像拍摄设备30的装置称为摄像设备230。根据本典型实施例，使用具有由六个可转动轴构成的六自由度的机器臂，并且将摄像设备230安装在机器臂的末端。将与这六个可转动轴有关的信息经由相对位置姿势信息输入单兀150输入给信息处理设备I。预先计算装配在臂的末端的摄像设备230的从臂的末端到摄像设备230的位置姿势，作为摄像设备230的偏移位置姿势，并且将其存储为不变值。可以通过使用偏移位置姿势而偏移臂的末端的位置姿势，来计算摄像设备230的位置姿势。作为机器人40所使用的装置不局限于以上所述的装置，并且可以是具有7自由度的垂直多关节机器人、标量型机器人或并联机器人。机器人可以是任何类型的，只要机器人包括具有转动运动轴或平移运动轴的多个可移动轴，并且能够获取运动信息。粗略位置姿势输入单元140输入物体相对于包括二维图像拍摄设备20和距离图像拍摄设备30的摄像设备230的位置姿势的粗略值。根据本典型实施例，信息处理设备I在时间轴的方向上连续进行测量。因此使用前一测量值(即前一次所测量出的值)作为粗略位置姿势。然而，用于输入位置姿势的粗略值的方法不局限于以上所述的方法。例如，可以使用时序滤波器以基于过去所测量出的位置姿势来估计物体的速度或角速度。然后可以根据过去的位置姿势、以及估计的速度和加速度来预测当前位置姿势。此外，可以将以各种姿势所拍摄的对象物体的图像存储为模板，并且在针对输入的图像进行模板匹配时使用该图像来粗略估计对象物体的位置姿势。此外，如果可以使用其它传感器测量物体的位置姿势，则可以使用其它传感器的输出值作为位置姿势的粗略值。传感器可以是通过使用装配至物体的接收器而检测由发送器所生成的磁场来测量位置姿势的磁性传感器。此外，传感器可以是通过使用在场景中固定的照相机拍摄设置在物体上的标记来测量位置姿势的光学传感器。可以使用任何传感器，只要传感器能够测量6自由度的位置姿势。此外，如果预先已知物体所处的近似位置姿势，则可以使用这一值作为粗略值。相对位置姿势输入单元150输入在摄像设备230拍摄二维图像时和在摄像设备230拍摄距离图像时之间移动的机器人40的位置姿势移位量。根据本典型实施例，根据在上述摄像时间之间的臂的末端的位置姿势之间的差，计算位置姿势移位。在可以从机器人40中的控制模块直接获取臂的末端的位置姿势的情况下，计算位置姿势移位。然而，用于计算摄像时间之间的摄像设备230的移位的方法不局限于以上所述的方法。例如，从对于机器人40的各可移动轴所设置的旋转编码器获取各轴的转动量。然后使用正向运动计算，根据各轴的转动量和机器人40的连杆长度来计算臂的末端的位置姿势。因此可以计算被置于臂的末端处的摄像设备230的位置姿势移位。可以采用任何方法，只要可以计算在摄像时间之间移动的臂的末端的位置姿势移位量。位置姿势计算单元160进行三维形状模型与通过二维图像拍摄设备20所拍摄的灰度图像和通过距离图像拍摄设备30所拍摄的距离图像的匹配。在进行匹配时使用存储在位置姿势估计校验数据存储单元110中的三维形状模型。位置姿势计算单元160这样测量测量物体50的位置姿势。下面将详细说明位置姿势计算处理。信息处理设备I包括计算机。该计算机包括诸如中央处理单元(CPU)等的主控制单元、以及诸如只读存储器(ROM)、随机存取存储器(RAM)和硬盘驱动器(HDD)等的存储单
J Li o此外，该计算机可以包括诸如按钮等的输入/输出单元、显示器和触摸面板，并且还可以包括诸如网络卡等的通信单元。通过总线连接上述组件，并且通过主控制单元执行存储在存储单元中的程序对上述组件进行控制。下面说明根据本典型实施例用于估计位置姿势的处理。图4是示出根据本典型实施例的用于估计位置姿势的处理的流程图。在步骤S401，信息处理设备I拍摄灰度图像，并且获取粗略位置姿势。根据本典型实施例，二维图像摄像设备20拍摄灰度图像。粗略位置姿势输入单元140然后向位置姿势计算单元160输入在二维图像拍摄设备20拍摄灰度图像时的摄像设备230和物体的相对位置姿势的粗略值(图3所示的位置姿势310)。如上所述，根据本典型实施例，使用前一次所测量出的位置姿势作为物体的粗略位置姿势。在步骤S402，距离图像拍摄设备30获取距离图像。根据本典型实施例，距离图像包含从摄像设备230到测量物体50的表面的距离。如上所述，二维图像拍摄设备20的光轴与距离图像拍摄设备30的光轴相一致，因此已知灰度图像中的各像素和距离图像中的各像素之间的对应关系。在步骤S403，信息处理设备I通过使用相对位置姿势信息输入单元150，计算在摄像时间之间移动的摄像设备230的位置姿势的移位量。更具体地，信息处理设备I经由相对位置姿势信息输入单元150从机器人40中的控制�？椋袢』鞅鄣哪┒说奈恢米耸�。信息处理设备I然后根据从机器臂的末端到摄像设备230的偏移位置姿势，偏移所获取的位置姿势。结果，计算在摄像设备230拍摄灰度图像时和在摄像设备230拍摄距离图像时的摄像设备230的位置姿势。信息处理设备I然后通过获取在这两个摄像时间时的摄像设备230的位置姿势之间的差，计算这两个摄像时间之间的摄像设备230的位置姿势移位量(图3所示的位置姿势移位量330)。信息处理设备I将所计算出的位置姿势移位量应用于在拍摄灰度图像时的粗略位置姿势(图3所示的位置姿势310)。这样计算在摄像设备230拍摄距离图像时的粗略位置姿势(图3所示的位置姿势320)。在步骤S404，信息处理设备I计算在步骤S401输入的灰度图像和在步骤S402输入的距离图像与三维形状模型之间的对应关系。信息处理设备I然后基于该对应关系结果，计算测量物体50的位置姿势。根据本典型实施例，信息处理设备I基于在步骤S403所计算出的、在拍摄距离图像时的摄像设备230和测量物体的相对位置姿势的粗略值(图3所示的位置姿势320)，计算测量物体50的位置姿势。下面将参考图5所示的流程图详细说明在图4的流程图所示的步骤S404所进行的用于计算位置姿势的处理。在步骤S501，信息处理设备I基于在拍摄距离图像时的粗略位置姿势，将在步骤S402中所测量出的距离图像中的三维点组与三维形状模型相关联。更具体地，信息处理设备I使用在拍摄距离图像时的粗略位置姿势、以及距离图像拍摄设备30的校正后的内部参数，将构成三维形状模型的各平面投影至该距离图像。信息处理设备I将与各投影平面相对应的距离图像中的距离点组存储为与各平面相对应的三维点。信息处理设备I然后将灰度图像的边缘与三维形状模型相关联。更具体地，信息处理设备I从在拍摄距离图像时的粗略位置姿势(图3所示的位置姿势320)减去在步骤S403所计算出的摄像设备230在摄像时间之间的位置姿势移位量(图3所示的位置姿势移位量330)。信息处理设备I这样计算在拍摄灰度图像时的粗略位置姿势(图3所示的位置姿势310)。信息处理设备I然后使用所计算出的粗略位置姿势、以及二维图像拍摄设备20的校正后的内部参数，将三维形状模型中的各线段投影至该图像。在步骤S501，信息处理设备I这样将在该图像中所检测到的边缘与三维形状模型相关联。如果信息处理设备I检测到多个边缘与各控制点相关联，则信息处理设备I然后将这多个所检测到的边缘中最接近投影的线段的图像中的边缘与三维形状模型相关联。
在步骤S502，信息处理设备I计算测量物体50的位置姿势。信息处理设备I基于在步骤S501所检测到的与三维形状模型中的各线段相关联的灰度图像中的边缘、以及与三维形状模型中的各平面相关联的距离图像中的三维点的关联数据进行计算。换句话说，信息处理设备I基于所计算出的关联数据，通过求解线性联立方程来更新位置姿势，从而使得测量数据和三维形状模型之间的差最小化。由于图像中距离和三维空间中的距离的尺度不同，所以如果单纯求解联立方程，则贡献率变得偏于测量数据中的一个。为解决这一问题，根据本典型实施例，信息处理设备I基于如非专利文献2所述的最大似然估计来进行优化。信息处理设备I这样估计尺度相一致的位置姿势。用于基于最大似然估计进行位置姿势估计的方法与本发明的本质无关，因此省略详细说明(详细参考非专利文献2)。用于计算测量物体50的位置姿势的方法不局限于非专利文献2所述的方法。例如，可以进行根据Levenberg-Marquardt方法的迭代运算，或者可以进行作为更简化方法的最陡下降法。此外，可以采用诸如共轭梯度方法或不完全Cholesky共轭梯度算法等的其它非线性优化计算方法。在步骤S503，信息处理设备I判断步骤S502中更新后的位置姿势是否收敛(即，是否需要进行迭代运算)。如果位置姿势没有收敛(步骤S503为“否”)，则使用更新后的位置姿势进行步骤S501的关联处理。如果校正值约为0，或者如果校正前后的误差矢量的平方和之间的差约为0，则信息处理设备I判断为位置姿势收敛。如果位置姿势收敛(步骤S503为“是”)，则结束该处理。信息处理设备I这样确定摄像设备230和测量物体50之间的相对位置姿势的估计值。回到图4的流程图，在步骤S405，信息处理设备I基于在步骤S404所估计的位置姿势，向机器人40输出控制命令值。根据本典型实施例，信息处理设备I将在步骤S404进行估计之前和进行估计之后的测量物体50的位置姿势之间的差转换成机器人坐标系统中的值。信息处理设备I这样计算输出给机器人40的控制命令值。信息处理设备I将控制命令值输出给机器人40中的控制�？椋圆僮魑恢米耸拼佣虿饬课锾�50移动机器人40的臂的末端。在向机器人40输出控制命令值时,处理进入步骤S406。在步骤S406，信息处理设备I判断是否接收到用于结束位置姿势估计处理的输入。如果接收到了这一输入(步骤S406为“是”)，则结束该处理。如果没有接收到这一输A (步骤S406为“否”)，则处理返回到步骤S401。信息处理设备I然后获取新的图像，并且再次计算位置姿势。如上所述，根据本典型实施例，即使在摄像设备230在拍摄二维图像时和在拍摄距离图像时的时间之间移动时，从与机器人的可移动轴有关的信息获取摄像设备230的位置姿势移位信息。结果，可以使用二维图像和距离图像进行高精度的位置姿势估计。接着下面将说明上述典型实施例的变形例。
_0] 可以按照任何顺序来拍摄距离图像和灰度图像的例子根据上述典型实施例，信息处理设备I在拍摄灰度图像之后拍摄距离图像。然而，用于进行摄像的顺序没有特别限制，只要可以正常拍摄灰度图像和距离图像即可。例如，信息处理设备I可以首先拍摄距离图像，然后拍摄灰度图像。在这种情况下，按照与上述典型实施例相反的顺序，信息处理设备I在图4所示的步骤S401拍摄距离图像，并且在步骤S402拍摄灰度图像。类似地，在步骤S404，信息处理设备I将从相对位置姿势输入单元150所获取的摄像设备230的位置姿势移位量应用于在拍摄距离图像时所获取的粗略位置姿势。结果，信息处理设备I获取在拍摄灰度图像时的粗略位置姿势。与上述典型实施例相比，这也是相反的顺序。如上所述，用于拍摄灰度图像和距离图像的顺序没有特别限制，并且可以按照任何顺序拍摄图像。
_4] 仅拍摄距离图像的例子根据上述典型实施例，信息处理设备I拍摄灰度图像和距离图像。然而，信息处理设备I不局限于摄像设备I拍摄灰度图像和距离图像两者的情况。例如，摄像设备I可以应用于信息处理设备I通过改变摄像的时间来仅拍摄距离图像的情况。在这种情况下，信息处理设备I如下估计测量物体50的位置姿势。信息处理设备I同与位置姿势根据摄像时间而不同的多个距离图像(即第一距离图像和第二距离图像)有关的信息一起使用机器人40的运动信息。除二维图像拍摄设备20和二维图像输入单元120以外，本变形例中的信息处理设备I的结构与图1所示的结构相同。此外，根据该变形例所进行的位置姿势估计处理与根据上述典型实施例的位置姿势估计处理不同在于，信息处理设备I在图4所示的步骤S401拍摄距离图像而不是灰度图像。此外，利用用于通过将距离图像中的点与三维形状模型相关联的处理，代替步骤S404中的用于从灰度图像进行边缘检测的处理。其它处理与根据上述典型实施例的相同。仅拍摄距离图像的处理还使用在摄像设备230移动时所拍摄的多个距离图像、以及从与机器人40的可移动轴有关的信息所获取的摄像设备230的位置姿势移位量信息。因此可以使用从多个视点所拍摄的距离图像来进行高精度的位置姿势估计。固定摄像设备、并且移动由机器臂所保持的对象物体的例子根据上述典型实施例，将摄像设备230安装在如图2A所示的机器臂的末端。根据本发明的信息处理设备因此应用于下面的情况作为机器臂的移动的结果，摄像设备230的位置姿势改变。然而，根据本发明的信息处理设备不局限于上述情况。例如，该信息处理设备可以类似地应用于下面的情况固定摄像设备230，并且随着臂的移动来移动通过机器臂所保持的对象物体50，如图2B所示。根据上述典型实施例，在图4所示的步骤S403从相对位置姿势信息输入单元150所获取的位置姿势移位量信息是在拍摄该图像时移动的摄像设备的位置姿势移位量信息。相反，根据本例子，所获取的位置姿势移位量信息是在拍摄测量物体50的图像时移动的测量物体50的位置姿势移位量信息。然而，由于在步骤S404所计算出的位置姿势是摄像设备230和测量物体50之间的相对位置姿势，所以该处理没有不同于根据上述典型实施例的处理。如上所述，根据本发明的信息处理设备可应用于下面的两种情况移动摄像设备230和固定测量物体50的情况、以及固定摄像设备230和移动测量物体的情况。在几何校IH距离图像之后讲行位置姿势估计处理的例子根据上述典型实施例，当信息处理设备I在图4所示的步骤S404计算位置姿势时，信息处理设备I基于摄像时间之间的位置姿势移位量来进行校正。更具体地，信息处理设备I基于在摄像时间之间移动的摄像设备230的位置姿势移位量，校正位置姿势。信息处理设备I这样校正在拍摄灰度图像时和在拍摄距离图像时之间摄像设备230和测量物体50的相对位置姿势的差。然而，用于基于摄像时间之间的位置姿势移位进行校正的方法不局限于这一方法。例如，在信息处理设备I拍摄距离图像、然后拍摄灰度图像的情况下，进行以下处理。信息处理设备I将从距离图像所获取的测量物体50的表面上的三维点组的坐标转换成以在拍摄灰度图像时的摄像设备230的位置姿势为基准的坐标。信息处理设备I使用摄像时间之间的位置姿势移位量进行这一转换。信息处理设备I然后通过应用非专利文献2所述的方法进行关联处理，从而计算测量物体50的位置姿势。如上所述，可以通过校正位置姿势信息来校正在拍摄灰度图像时和在拍摄距离图像时的摄像设备230和测量物体50的相对位置姿势之间的差。还可以通过校正测量数据的坐标来校正该差。对方法的选择没有特别限制，只要该方法用于基于位置姿势移位量来进行校正。不必基于误差最小化进行位置姿势估计的例子根据上述典型实施例，信息处理设备I通过最小化灰度图像中的边缘和距离图像中的三维点与三维形状模型之间的误差来估计位置姿势。然而，用于估计位置姿势的方法不局限于以上所述的。例如，信息处理设备I可以从各种方向预先拍摄对象物体图像，并且提取对于各观察姿势的灰度图像模板和距离图像模板。信息处理设备I然后在运行时间期间使用所提取的模板对实际所拍摄的灰度图像和距离图像进行模板匹配。信息处理设备I这样估计测量物体的位置姿势。在这种情况下，信息处理设备I添加针对灰度图像的相似度和针对距离图像的相似度来计算模板匹配处理中的相似度。信息处理设备I这样使用灰度图像和距离图像两者进行模板匹配。如果信息处理设备I针对灰度图像进行匹配，则信息处理设备I在进行模板匹配之前，校正粗略位置姿势来获取在拍摄灰度图像时的位置姿势(图3所示的位置姿势310)。信息处理设备I然后进行模板匹配。获得摄像设备的移动动作不局限于使用机器人运动信息的例子在上述实施例中，在二维图像的拍摄时间和距离图像的拍摄时间之间，作为用于计算摄像设备230的移动的位置姿势相减量的方法，说明了用于根据摄像时间间隔的机器人40的臂末端位置姿势的相减来计算位置姿势相减量的方法。然而，用于计算摄像设备230的移动量的方法不局限于使用机器人运动信息的方法。例如，在向摄像设备230安装磁性传感器和超声传感器等的用于测量六自由度位置姿势的物理传感器的情况下，通过使用该测量结果，可以计算摄像时间间隔的位置姿势相减量。如果摄像间隔内的摄像设备230的移动局限于转动运动，则在向摄像设备230安装陀螺仪传感器的情况下，可以仅测量转动相减量。只要可以计算摄像时间间隔内的摄像设备230的位置姿势相减量，可以使用任一类型的方法。机器人操作工作物体的例子
在上述实施例中，说明了用于通过安装至机器人40的臂末端的摄像设备来计算固定测量物体50的三维位置姿势的方法。然而，信息处理设备I的功能不局限于计算工作物体的三维位置姿势，通过使用所计算出的位置姿势，机器人40可以操作工作物体。例如，在将能够把持工作物体的端部执行器安装至机器人40的臂末端的情况下，机器人40可以把持工作物体。在这种情况下，作为端部执行器，可以使用通过电动机驱动所操作的手或者用于吸附工作物体的吸附垫。只要选择了与对工作物体的操作有关的适当装置，端部执行器的选择没有限制。在执行本实施例之前，通过常用技术进行机器臂和端部执行器的相对位置姿势的校准。这样，可以将通过位置姿势计算单元160所计算出的位置姿势转换成被固定成具有选用区(palette)的空间的工作空间坐标系统。此外，可以控制机器人40以使得将手设置至在工作空间坐标系统中所指定的位置姿势。作为用于工作物体的端部执行器的操作，可以操作测量物体50的拼版工作、表面检查和其它工作。对于测量物体50的机器人40的工作没有限制。此外，如果信息处理设备I要进行与距离图像的匹配，则信息处理设备I使用通过在摄像时间之间的移动所生成的位置姿势移位量(图3所示的位置姿势移位量330)，校正粗略位置姿势。信息处理设备I这样获取在拍摄距离图像时的位置姿势(图3所示的位置姿势320)，并且进行模板匹配。用于估计位置姿势的方法不局限于上述方法。可以采用任何方法，只要可以基于灰度图像和距离图像估计对象物体或摄像设备的位置姿势。还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)以及通过以下的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行该方法的各步骤。为了该目的，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供该程序。在这种情况下，该系统或设备以及存储该程序的记录介质包括在本发明的范围内。尽管参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。
权利要求
1.一种信息处理设备，用于使用能够拍摄二维图像和距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理设备包括 数据存储单元，用于存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势； 二维图像输入单元，用于输入所述摄像设备在第一位置姿势所拍摄的二维图像； 距离图像输入单元，用于输入所述摄像设备在第二位置姿势所拍摄的距离图像； 获取单元，用于获取作为所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息的位置姿势差信息；以及 计算单元，用于基于所述位置姿势差信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与所述二维图像和所述距离图像中的相应形状相匹配。
2.一种信息处理设备，用于使用能够拍摄二维图像和距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理设备包括 数据存储单元，用于存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势； 二维图像输入单元，用于输入在所述物体处于第一位置姿势时所拍摄的二维图像； 距离图像输入单元，用于输入在所述物体处于第二位置姿势时所拍摄的距离图像； 获取单元，用于获取作为所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息的位置姿势差信息；以及 计算单元，用于基于所述位置姿势差信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与所述二维图像和所述距离图像中的相应形状相匹配。
3.一种信息处理设备，用于使用能够拍摄距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理设备包括 数据存储单元，用于存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势； 距离图像输入单元，用于输入所述摄像设备在第一位置姿势所拍摄的第一距离图像、以及所述摄像设备在第二位置姿势所拍摄的第二距离图像； 获取单元，用于获取所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息；以及 计算单元，用于基于所述相对位置姿势信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与在所述第一位置姿势和所述第二位置姿势所拍摄的距离图像中的相应形状相匹配。
4.一种信息处理设备，用于使用能够拍摄距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理设备包括 数据存储单元，用于存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势； 距离图像输入单元，用于输入在所述物体处于第一位置姿势时所拍摄的第一距离图像、以及在所述物体处于第二位置姿势时所拍摄的第二距离图像；获取单元，用于获取所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息；以及 计算单元，用于基于所述相对位置姿势信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与在所述第一位置姿势和所述第二位置姿势所拍摄的距离图像中的相应形状相匹配。
5.根据权利要求1或3所述的信息处理设备，其特征在于，所述计算单元包括粗略位置姿势输入单元，所述粗略位置姿势输入单元用于输入在所述第一位置姿势时所述物体的粗略位置姿势， 其中，所述信息处理设备基于从所述粗略位置姿势输入单元所输入的在所述第一位置姿势时所述物体的粗略位置姿势、以及所述相对位置姿势信息，获取在所述第二位置姿势时所述物体的粗略位置姿势，并且使用二维图像和距离图像中的至少一个来进行位置姿势估计。
6.根据权利要求1至4中任一项所述的信息处理设备，其特征在于，所述计算单元基于所述相对位置姿势信息，将在所述第一位置姿势或所述第二位置姿势时的距离图像转换成在与在所述第二位置姿势或所述第一位置姿势分别进行拍摄时的位置相同的位置处所拍摄的距离图像，并且使用二维图像和距离图像中的至少一个来进行位置姿势估计。
7.根据权利要求1至4中任一项所述的信息处理设备，其特征在于，所述获取单元包括用于获取位置和姿势中的至少一个的传感器，并且从具有可移动轴的机器人的可移动轴信息获取所述相对位置姿势信息，其中，所述可移动轴包括转动轴和平移轴中的至少一个。
8.根据权利要求1至4中任一项所述的信息处理设备，其特征在于，还包括位置姿势操作单元，所述位置姿势操作单元用于基于所述计算单元所计算出的物体的位置姿势，使用具有多个可移动轴的机器人来改变所述物体或所述摄像设备的位置姿势，其中，各所述可移动轴包括转动轴和平移轴中的至少一个。
9.一种信息处理方法，用于使用能够拍摄二维图像和距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理方法包括以下步骤 存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势； 输入所述摄像设备在第一位置姿势所拍摄的二维图像； 输入所述摄像设备在第二位置姿势所拍摄的距离图像； 获取作为所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息的位置姿势差信息；以及 基于所述位置姿势差信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与所述二维图像和所述距离图像中的相应形状相匹配。
10.一种信息处理方法，用于使用能够拍摄二维图像和距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理方法包括以下步骤 存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势； 输入在所述物体处于第一位置姿势时所拍摄的二维图像； 输入在所述物体处于第二位置姿势时所拍摄的距离图像；获取作为所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息的位置姿势差信息；以及 基于所述位置姿势差信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与所述二维图像和所述距离图像中的相应形状相匹配。
11.一种信息处理方法，用于使用能够拍摄距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理方法包括以下步骤 存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势； 输入作为所述摄像设备在第一位置姿势所拍摄的距离图像的第一距离图像、以及作为所述摄像设备在第二位置姿势所拍摄的距离图像的第二距离图像； 获取所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息；以及 基于所述相对位置姿势信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与在所述第一位置姿势和所述第二位置姿势所拍摄的距离图像中的相应形状相匹配。
12.一种信息处理方法，用于使用能够拍摄距离图像的摄像设备来估计物体的三维位置姿势，所述信息处理方法包括以下步骤 存储表示要测量的物体的形状的校验数据，其中，所述校验数据用于估计所述物体的位置姿势； 输入在所述物体处于第一位置姿势时所拍摄的第一距离图像、以及在所述物体处于第二位置姿势时所拍摄的第二距离图像； 获取所述第一位置姿势与所述第二位置姿势之间的相对位置姿势信息；以及 基于所述相对位置姿势信息，计算所述物体的位置姿势，使得由用于估计位置姿势的所述校验数据所表示的物体的形状与在所述第一位置姿势和所述第二位置姿势所拍摄的距离图像中的相应形状相匹配。
全文摘要
本发明提供一种信息处理设备和信息处理方法。信息处理设备使用能够拍摄二维图像和距离图像的摄像设备来估计物体的三维位置姿势，信息处理设备包括数据存储单元，用于存储用于估计测量物体的位置姿势的校验数据；二维图像输入单元，用于输入摄像设备在第一位置姿势所拍摄的二维图像；距离图像输入单元，用于输入摄像设备在第二位置姿势所拍摄的距离图像；位置姿势信息输入单元，用于获取作为第一位置姿势与第二位置姿势的相对位置姿势信息的位置姿势差信息；以及计算单元，用于基于位置姿势差信息，计算测量物体的位置姿势，使得用于估计位置姿势的校验数据与二维图像和距离图像相匹配。
文档编号G01B11/24GK103020952SQ20121023722
公开日2013年4月3日 申请日期2012年7月9日 优先权日2011年7月8日
发明者立野圭祐, 内山晋二 申请人:佳能株式会社
专业数控铣床产品供应商
20年生产经验，实力工厂，精工品质，质量有保障
