亚星游戏官网-www.yaxin868.com

专利名称：操作输入设备的制作方法
技术领域：
本发明涉及在由用户的手握持的同时供用户使用的操作输入设备、连接到该操作输入设备的信息处理设备、用于操作输入设备的姿势确定方法、以及信息存储介质。
背景技术：
由用户使用以输入操作的ー些操作输入设备(诸如，消费游戏设备的控制器)具有用于确定操作输入设备的姿势的姿势确定传感器，诸如加速度传感器、陀螺仪传感器等(參见专利文献I)。使用这样的操作输入设备，用户可以不仅通过按压操作按钮而且通过倾斜或移动操作输入设备本身，来输入各种操作。一些应用程序(诸如游戏应用程序)通过倾斜操作输入设备，可用于进行根据这样的操作输入的处理。
引用列表专利文献专利文献I :US专利申请公开2007/026072
发明内容
技术问题然而，ー些操作输入设备不具有这样的姿势传感器。以通过姿势确定的操作输入为前提的应用程序不能用于这样的操作输入设备。鉴于以上描述的情况已经构思了本发明，并且其ー个目的是提供ー种操作输入设备、信息处理设备、用于该操作输入设备的姿势确定方法、程序和信息存储介质，其尽管缺少姿势确定传感器，也能够通过改变操作输入设备的姿势进行操作输入。问题的解决方案根据本发明的ー种操作输入设备包括捕获图像获得单元，用于获得提供给操作输入设备的图像捕获单元捕获的捕获图像；以及姿势确定単元，用于基于对获得的捕获图像的分析的结果，确定操作输入设备的姿势。根据本发明的一种信息处理设备连接到在由用户的手握持的同时供用户使用的操作输入设备，并且包括捕获图像获得单元，用于获得提供给操作输入设备的图像捕获单元捕获的捕获图像；以及姿势确定単元，用于基于对获得的捕获图像的分析的结果，确定操作输入设备的姿势。根据本发明的一种用于操作输入设备的姿势确定方法包括获得提供给操作输入设备的图像捕获单元捕获的捕获图像的步骤；以及基于对获得的捕获图像的分析的結果，确定操作输入设备的姿势的步骤。根据本发明的一种信息存储介质是存储用于使得计算机用作以下的程序的计算机可读信息存储介质捕获图像获得单元，用于获得提供给操作输入设备的图像捕获单元捕获的捕获图像；以及姿势确定単元，用于基于对获得的捕获图像的分析的结果，确定操作输入设备的姿势。


图I是示出根据本发明第一实施例的操作输入设备的外观的立体视图；图2是示出根据该实施例的操作输入设备的内部结构的框图；图3是示出根据该实施例的操作输入设备的功能示例的功能框图；图4是示出包含用户的面部的捕获图像的ー个示例的图；图5A是示出已经相对于參考姿势绕Z轴旋转的操作输入设备的图；图5B是示出在图5A所示的条件下的捕获图像的图；图6A是示出已经相对于參考姿势绕X轴旋转的操作输入设备的图；
图6B是示出在图6A所示的条件下的捕获图像的图；图7A是示出已经相对于參考姿势绕Y轴旋转的操作输入设备的图；图7B是示出在图7A所示的条件下的捕获图像的图；图8A是示出已经平行移动的操作输入设备的图；图8B是示出在图8A所示的条件下的捕获图像的图；以及图9是根据本发明第二实施例的包括信息处理设备的信息处理系统的结构框图。
具体实施例方式在以下，将參考附图详细描述本发明的实施例。[第一实施例]图I是示出根据本发明第一实施例的操作输入设备I的外观的立体视图。在该实施例中，假设操作输入设备I是在由用户的手握持的同时供用户U使用的便携式游戏设备。如图中所示，操作输入设备I的外壳10作为整体具有基本上矩形面板状形状，并且具有在其表面上形成的显示单元11。图像捕获单元12附接在外壳10的顶部。注意，这里假设操作输入设备I的横向方向(经度方向)对应于X轴方向，竖向方向对应于Z轴方向，并且深度方向对应于Y轴方向。显示单元11可以是各种图像显示设备的任一，诸如液晶显示面板、有机电致发光显示面板等。图像捕获单元12是CCD相机等，并且捕获操作输入设备I周围的对象的图像。具体地，在图I中，图像捕获单元12的镜头指向操作输入设备I的前向方向(Y轴的正方向)，并且以前向方向作为图像捕获方向Dc捕获图像。注意，图像捕获单元12的镜头以X轴方向作为旋转轴可旋转180度。相应地，图像捕获单元12的图像捕获方向Dc将从Y轴正方向经由Z轴负方向到Y轴负方向(向操作输入设备I的后表面侧的方向)改变。操作输入设备I具有形成在其外壳10的表面上的各种操作部件13，诸如操作按钮、模拟杆等。用户U可以操作这些操作部件13，从而输入操作到操作输入设备I。如图2所示，控制单元14和存储单元15提供在操作输入设备I中。控制单元14是CPU等，并且根据存储単元15中存储的程序进行各种信息处理。在该实施例中，控制单元14基于图像捕获单元12捕获的图像确定操作输入设备I的姿势，并且使用作为用户U的操作输入的确定结果，进行更新在显示单元11上示出的屏幕图像的处理。控制单元14进行的处理的内容将稍后描述。存储单元15包括存储器设备(诸如RAM、ROM等)、或硬盘驱动器等，并且存储要由控制单元14执行的程序和各种数据。存储单元15也操作为控制单元14的工作存储器。如图3所示，操作输入设备I功能地包括捕获图像获得单元21、姿势确定単元22和显示图像更新単元23。在该实施例中，姿势确定単元22包括图像分析単元22a和姿势參数计算单元22b。这些功能通过执行存储单元15中存储的程序由控制单元14实现。该程序可以经由通信网络(诸如因特网等)提供给操作输入设备1，或者存储在各种计算机可读信息存储介质(诸如光盘、存储卡等)的任一中。
捕获图像获得单元21获得由图像捕获单元12捕获的捕获图像I。具体地，捕获图像获得单元21在操作输入设备I继续姿势确定处理的同时，对于每个预定时间段获得每个时间点的捕获图像I。注意，捕获图像I既可以是静止图像也可以是在一个时间点的运动图像中的帧图像。也即是说，图像捕获单元12可以捕获在由捕获图像获取单元21指定的时间的静止图像。可替代地，图像捕获单元12可以保持捕获运动图像，并且捕获图像获得单元21可以从运动图像提取帧图像作为捕获图像I。姿势确定単元22基于对捕获图像获得单元21获得的捕获图像I的分析的結果，确定操作输入设备I的姿势。具体地，图像分析単元22a对于每个预定时间段分析捕获图像获得单元21捕获的捕获图像I，并且指定捕获图像I中包含的对象(目标对象)。目标对象可以是在操作输入设备I的姿势确定中可以用于用作标记的任何事物，可以指定在捕获图像I中操作输入设备I的位置和方位(orientation)。这里假设，要由图像分析単元22a指定的目标对象是握持操作输入设备I的用户U的面部。操作输入设备I的用户U当使用时用他/她的手握持操作输入设备I，使得操作输入设备I位于他/她自己的面部的前面，以便观看显示单元11上示出的图像。在以上中，因为用户U的面部位于图像捕获单元12的图像捕获方向Dc，所以假设在捕获图像I中看到用户U的面部。图像分析单元22a指定捕获图像I中用户U的面部的中心位置(下文中称为面部位置Pf )。此外，图像分析単元22a额外指定捕获图像I中用户U的面部的倾斜(下文中称为面部方向Df )。这里假设，面部方向Df定义为用户U的头顶在捕获图像I中指向的方向。面部位置Pf和面部方向Df可以使用已知的面部识别技术指定。具体地，图像分析単元22a可以检测面部中包含的诸如眼睛、鼻子等的部分，或者在捕获图像I中分析亮度分布、顔色分布、热分布、距离分布等，以指定面部位置Pf和面部方向Df。注意，当在捕获图像I中检测到两个或更多面部吋，图像分析単元22a可以指定例如捕获图像I中尺寸上最大的面部作为用户U的面部。图4示出在这样的图像分析中指定的面部位置Pf的位置坐标(xf，yf)和面部方向Df的角度值0f。注意，面部位置Pf的位置坐标(xf，yf)以原点与捕获图像I的中心位置重合的坐标系表示。面部方向Df的角度值Θ f表示为通过用户U的头顶的方向相对于捕获图像I的向上方向(垂直方向)形成的角。基于通过图像分析単元22a的分析结果，姿势參数计算单元22b计算指示操作输入设备I的姿势的姿势參数的值。具体地，基于通过图像分析単元22a指定的面部位置Pf和面部方向Df中的至少ー个，姿势參数计算单元22b确定操作输入设备I的姿势。这里假设，姿势单元计算单元22b基于面部位置Pf和面部方向Df,计算滚转角(roll angle) Θ r、节锥角(pitch angle) Θ p和偏航角(yaw angle) Θ y作为姿势參数。如稍后要详细描述的，这些位置參数指示以在操作输入设备I上设置的各个參考轴作为旋转轴，相对于參考姿势的操作输入设备I的旋转角。注意，这里假设操作输入设备I的參考姿势使得用户U的面部的中心存在于在图像捕获方向Dc上延伸的直线上，并且操作输入设备I的向上方向(Z轴负方向)与从用户U的面部朝向用户的头顶的方向重合。也即是说，当操作输入设备I处于參考姿势时，面部位置Pf存在于捕获图像I的中心，并行面部方向Df在捕获图像I的向上方向上延伸。处于參考姿势的操作输入设备I的面部位置Pf和面部方向Df下文中将分别指示为參考面部位置Po和參考面部方向Do。滚转角Θ r指示以Z轴作为旋转轴，操作输入设备I相对于參考姿势的旋转角。图5A示出已经从參考姿势绕Z轴旋转的操作输入设备1，示出用户U和从其上方(Z轴负方向侧)观察到的操作输入设备I。图5B示出在图5A所示条件下捕获的捕获图像I。如这些图中所示，当操作输入设备I绕Z轴旋转吋，从图像捕获单元12看时用户U在左右方向移动， 并且相应地，面部位置Pf相对于捕获图像I中的參考面部位置Po在左右方向移动。然后，姿势參数计算单元22b基于面部位置Pf的X坐标值xf，使用预定函数计算滚转角ΘΓ。例如，姿势參数计算单元22b可以按照表达式Θ r=al *f (xf/xmax)计算滚转角Θ r,其中al是预定系数，Xmax是X坐标值的最大值，并且f(x)是预定函数。作为ー个示例，姿势參数计算单元22b可以基于假设滚转角Θ r与X坐标值xf成比例,按照表达式Θ r=al *xf/xmax计算滚转角Θ r。函数f (X)可以是根据图像捕获单元12的结构、镜头特性等确定的校正函数。节锥角Θ P指示以X轴作为旋转轴，操作输入设备I相对于參考姿势的旋转角。图6A示出已经从參考姿势绕X轴旋转的操作输入设备1，示出用户U和从其横向侧(X轴正方向侧)观察到的操作输入设备I。图6B示出在图6A所示条件下捕获的捕获图像I。如这些图中所示，当操作输入设备I绕X轴旋转时，从图像捕获单元12看时用户U在上下方向移动，并且相应地，面部位置Pf相对于捕获图像I中的參考面部位置Po在上下方向移动。然后，姿势參数计算单元22b基于面部位置Pf的y坐标值yf，使用预定函数计算节锥角θ p。例如，姿势參数计算单元22b可以按照表达式Θ p=a2 · g(yf/ymax)计算节锥角θρ,其中类似于滚转角Θ r的情況，a2是预定系数，yfflax是y坐标值的最大值，并且g(y)是预定函数。注意，函数g(y)可以与函数f(x)是相同的函数。作为ー个示例，姿势參数计算单元22b可以基于假设节锥角Θ P与y坐标值yf成比例，按照表达式Θ P=a2 ^yfVymax计算节锥角θ p。如上所述，姿势參数计算单元22b基于捕获图像I中的面部位置Pf，计算滚转角Θ�：徒谧督铅é�。这些姿势參数指示操作输入设备I相对于从图像捕获单元12到用户U的方向的傾斜。注意，使用通过将坐标值xf和yf分别除以最大坐标值Xmax和ymax获得的值，计算滚转角0r和节锥角ΘΡ。在以上的情况下，可以基于通过正规化捕获图像I中的位置坐标获得的值，计算滚转角Θ�：徒谧督铅é薄Ｔ谝陨希琣l和a2可以是相同的值。此夕卜，可以分别按照Θ r=al · f (xf)和Θ p=a2 · f (yf)计算滚转角Θ r和节锥角θ p，而不使用 Xmax 和 ymax。注意，尽管在以上确定位置坐标的原点与參考面部位置Po重合，但是位置坐标的原点可以不同于參考面部位置Po设置。例如，捕获图像I的四角的任一可以在表达面部位置Pf的坐标值中确定为原点。在该情况下，虽然參考面部位置Po的位置坐标表示为(XO,yo),但是使用(xf-xo)和(yf-yo)代替上述各个表达式中的xf和yf计算滚转角Θ r和节锥角θP可以提供相对于參考姿势的旋转角。同时，偏航角Θ y指示以Y轴作为旋转轴，操作输入设备I相对于參考姿势的旋转角。也即是说，偏航角Θ y指示在垂直于图像捕获方向Dc的平面上操作输入设备I的傾斜。图7A示出已经从參考姿势绕Y轴旋转的操作输入设备1，示出用户U和从操作输入设备I的后表面侧(Y轴负方向侧)观察到的操作输入设备I。图7B示出在图7A所示条件下捕获的捕获图像I。如这些图中所示，当操作输入设备I绕Y轴旋转时，捕获图像I中的面部方向Df在相反方向旋转。因此，姿势參数计算单元22b基于面部方向Df的角度值0f，使用预定函数计算偏航角Θ I。例如，姿势參数计算单元22b可以按照表达式Θ y=a3 · h( Θ f)计算偏航角9y，其中a3是预定系数，h(0)是预定函数。作为ー个示例，姿势參数计算单元22b可以基于假设偏航角Qy与角度值0f成比例，按照表达式0y=a3· 0f计算偏航角Θ y。注意，在以上描述中，系数al、a2和a3可以是预先根据应用程序等确定的固定值，
或者根据用户U的指定可改变的值。特别地，系数al和a2可以是基于目标对象的大小(这里用户U的面部的大小)改变的值，该大小在通过图像分析単元22a的图像分析中获得。例如，当用户U面部的实际位置和处于參考姿势的假定位置之间存在细微的差别(也即是说，当用户U的面部位置的中心稍微偏离在图像捕获方向Dc延伸的直线)时，该差别取决于用户U和图像捕获单元12之间的距离而有不同的影响。也即是说，例如，对于用户U和图像捕获单元12之间较短的距离，即使操作输入设备I的倾斜稍微改变也可以导致捕获图像I中面部位置Pf的显著移动。然而，对于用户U和图像捕获单元12之间较长的距离，与用户U和图像捕获单元12之间的距离比较短的情况相比，响应于操作输入设备I的相同量的倾斜，面部位置Pf可以以较小的量移动。这里应当注意，在通过图像分析単元22a的面部位置Pf和面部方向Df的指定中，也指定在捕获图像I中用户U的面部占据的区域的大小，并且可以基于面部区域的大小估计从图像捕获单元12到用户U的距离。因此，当基于面部区域的大小确定系数al和a2时，姿势參数计算单元22b可以反映操作输入设备I的姿势的变化的滚转角Θ r和节锥角θ p，同时减小由于上述差别导致的影响。具体地，姿势參数计算单元22b可以关于图像分析単元22a指定的较大面部区域，确定用于系数al和a2的较小值。注意，姿势參数计算单元22b在到用户U的面部的距离的估计值不仅可以使用面部区域的大�。�而且可以使用任何其他输入信息，诸如视差信息等。在以上描述中，以用户U改变操作输入设备I的方位而不是相对于用户U操作输入设备I的自身位置(也即是说，图像捕获位置不改变，同时图像捕获单元12的图像捕获方向Dc改变)为前提，计算姿势參数。然而，当用户U也平行于操作输入设备I的位置移动时，在捕获图像I中的面部位置Pf将移动。因此，关于捕获图像I中面部位置Pf的信息的単独使用可能不能在用户U旋转操作输入设备I的情况和用户U平行于操作输入设备I移动的情况之间进行辨别。鉴于以上，姿势确定単元22可以确定目标对象相对于从图像捕获单元12到目标对象(这里用户U的面部)延伸的方向的方位的变化，并且基于在目标对象的方位中确定的变化，确定操作输入设备I的倾斜是否已经改变。具体地，在捕获图像I中包含的用户U的面部的指定中，图像分析単元22a确定用户U的面部的前面指向的方向。通过在面部区域指定特征点(诸如眼睛、鼻子等)的位置，并且比较面部区域中指定的特征点分布(偏离的范围)与參考值，可以进行该确定。图8A示出用户U和从其上方观察到的操作输出设备I,类似于图5A，其中仅操作输入设备I的位置而不是方位已经改变。如图5A和6A所示，当用户U只改变操作输入设备I的方位时，捕获图像I中的面部位置Pf从捕获图像I的中间向外边缘移动。然而，相对于图像捕获单元12的镜头的用户U的面部的自身位置在实际空间中仍然未改变。也即是说，用户U的面部的前面保持指向图像捕获单元12的镜头，并且如图5B和6B所示，在捕获图像I中用户U的面部的前面指向的方向很少改变。然而，当用户U平行于操作输入设备I的位置移动时，如图8A所示，户U的面部的前面指向的方向偏离图像捕获单元12的镜头移动。也即是说，如图SB所示，随着操作输入设备I的移动，户U的面部的前面变得指向捕获图像I的更向外側。鉴于以上，姿势參数计算单元22b分析捕获图像I中包含的面部图像，以计算用户U的面部的前向方向相对于从用户U到图像捕获单元12的方向的角。具体地，姿势參数计 算单元22b可以基于面部区域中面部包含的各部分(例如眼睛、鼻子等)的位置分布、亮度分布、颜色分布、热分布、距离分布等，计算面部的前向方向的角。然后，姿势參数计算单元22b确定操作输入设备I已经以对应于计算的角的量平行移动，并且从面部位置Pf的位置坐标值xf、yf减去归因于平行移动的量用于校正。此后，姿势參数计算单元22b使用校正后的值xf和yf计算滚转角Qr和节锥角θρ。在该方式下，当捕获图像I中面部位置Pf改变时，可能分离归因于操作输入设备I的平行移动的变化量以及归因于操作输入设备I的倾斜的变化量，并且计算操作输入设备I的倾斜的变化量。注意，姿势參数计算单元22b可以指定面部包含的眼睛、鼻子等而不是整个面部的前向方向的角，并且基于指定的角计算操作输入设备I的平行移动的量。可替代地，位置參数计算单元22b可以基于捕获图像I中包含的背景图像的移动，确定操作输入装置I的平行移动。也即是说，当用户U平行于操作输入设备I移动时，不仅捕获图像I中的用户U的位置而且用户U的整个背景图像将平行地改变。然而，当用户U仅倾斜操作输入设备I时，不导致整个背景的平行移动，而是可能仅使背景图像变形。鉴于以上，可能通过比较捕获图像I中的背景图像与过去的捕获图像I中的背景图像，指定操作输入设备I已经平行移动的量，从而分析背景图像中的变化。使用KLT方法(Kanade-Lucas-Tomasi特征跟踪器)等，可以实现这样的分析。注意，如上所述，姿势确定単元22可以基于面部区域的大小，计算从图像捕获单元12到用户U的面部的距离。使用随时间过去的距离的变化，姿势确定単元22可以检测例如在前后方向摇摆操作输入设备I的用户U的操作。如上所述，姿势确定单元22不仅可以检测绕各自的X、Y和Z轴操作输入设备I的旋转(倾斜的变化)，而且可以检测沿各自的X、Y和Z轴操作输入设备I的移动，然后计算每个移动的速度和加速度，并且输出到显示图像更新単元23。显示图像更新単元23基于通过姿势确定単元22的姿势确定的结果，进行更新显示単元11上示出的图像的处理。具体地，显示图像更新単元23使用姿势參数计算单元22b计算的姿势參数的值作为操作输入，更新显示的图像。例如，显示图像更新単元23可以基于根据滚转角θι·和节锥角Θ P的值指定的操作输入设备I的倾斜方向和量，进行移动虚拟3D空间中放置的用户对象、或者虚拟3D空间中定义的视点的位置的处理，然后产生反应该处理的结果的图像，并且在显示单元11上示出。在以上的情况下，操作输入设备I根据用于改变操作输入设备I的姿势的用户U输入的操作，可以执行应用程序，诸如游戏应用程序，并且呈现该结果给用户U。显示图像更新単元23可以与基于姿势參数的值进行的处理的结果一起，在显示単元11上示出在部分区域中图像捕获单元12捕获的捕获图像I本身。可替代地，显示图像更新単元23可以在显示単元11上示出指示通过图像分析単元22a的分析的结果(也就是说，在捕获图像I中指定的用户U的面部位置Pf、面部方向Df等)的图像。在以上的情况下，用户U可以改变操作输入设备I的姿势，同时响应于用于改变操作输入设备I的姿势的用户U输入的操作，检查捕获图像I发生的改变。这便于操作输入。在以上，示出水平相反图像作为捕获图像I能够通过根据操作输入设备I的姿势的变化已经出现的面部位置Pf的变化的用户U，实现简单和直观的识别。尽管以上描述预先确定操作输入设备I的參考姿势，以便參考面部位置Po与捕获图像I的中心重合，但是參考姿势可以在应用程序等的执行开始时确定。例如，用户U以任·何期望的姿势握持操作输入设备I的同时，可以根据屏幕上示出的指令操作操作部件13，并且操作输入设备I可以在操作操作部件13时，确定面部位置Pf和面部方向Df作为參考面部位置Po和操控面部方向Do。此后,基于相对于參考面部位置Po的面部位置Pf的变化和相对于參考面部方向Do的面部方向Df的变化，可以确定相对于參考姿势的操作输入设备I的变化。在以上描述的姿势确定中，操作输入设备I的过度倾斜可以可能导致用户U的面部在图像捕获单元12的视角之外，因此，姿势确定単元22可能无法指定在捕获图像I中用户U的面部，由此无法计算姿势參数。在这样的情况下，姿势确定単元22可以假设操作输入设备I保持在紧接失败的用户面部的指定之前，基于捕获图像I确定的姿势。也就是说，姿势确定単元22保持输出最后计算的姿势參数的值到显示图像更新単元23，直到接着在捕获图像I中指定用户U的面部成功。可替代地，当指定用户U的面部失败时，姿势确定单元22可以复位姿势的变化，并且输出与当操作输入设备I的姿势返回到參考姿势时要输出的姿势參数相同的姿势參数。根据依据上述实施例的操作输入设备1，即使当姿势确定传感器(诸如加速度传感器等)不可用时，基于图像捕获单元12捕获的捕获图像I也可以实现姿势确定，类似于使用这样的传感器的情況。注意，本发明的实施例不限于上述实施例。例如，图像捕获单元12不限于CXD相机，并且可以是用于确定光(诸如除了可见光的红外辐射等)的相机、3D相机等。使用这样的相机，操作输入设备I可以获得视差信息、关于捕获图像I中热和距离分布的信息等。在以上描述中，图像分析单元22a在面部识别处理中指定捕获图像I中包含的用户U的面部。然而，面部识别处理不是強制的。例如，图像分析単元22a可以指定个人的轮廓，从而指定捕获图像I中的个人的头部的位置和傾斜。在该情况下，使用肩部线条的方位等可以实现捕获图像I中的头部的倾斜的精确确定。此外，图像分析単元22a可以指定用户U的面部的部分(例如，眼睛、鼻子等)而不是整个面部的位置和方位，并且姿势參数计算単元22b可以基于指定的面部的部分的位置和方位，计算姿势參数的值。
此外，图像分析単元22a可以指定个人而不是握持操作输入设备I的用户U。也就是说，如上所述，图像捕获单元12的镜头可以旋转以指向操作输入设备I的后表面侧。在图像捕获单元12的图像捕获方向Dc指向操作输入设备I的后表面侧的情况下，姿势确定単元22可以获得包含个人而不是用户U的捕获图像I，并且基于捕获图像I包含的个人的位置和方位，确定操作输入设备I的姿势。注意，在该情况下，因为相对于操作输入设备I的图像捕获单元12的图像捕获方向Dc与以上已经描述的相反，所以捕获图像I中的面部位置Pf的左右方向的位置和滚转角之间的关系与以上已经描述的相反。此外，面部方向Df的旋转方向和偏航角Θ y之间的关系也相反。因此，当图像捕获单元12的镜头指向后表面侧时，姿势确定单元22在分析图像之前在左右方向反转捕获图像I，从而校正由于相反的图像捕获方向Dc的影响。此外，姿势确定単元22可以指定不同于个人的对象目标，并且基于目标对象的位置和方位确定操作输入设备I的姿势。可替代地，可以基于捕获图像I中指定的特征点的移动和旋转，确定操作输入设备I的姿势的变化。尽管以上描述了姿势确定単元22计算旋转角ΘΓ、ΘΡ和0y的值，并且输出到显示图像更新単元23作为姿势參数，但是这不是限制的。也就是说，姿势确定単元22可以计算另ー姿势參数。具体地，当使用根据该实施例的操作输入设备I代替具有姿势确定传感器(诸如，加速度传感器)的操作输入设备I时，旋转角ΘΓ、ΘΡ和0y的计算值在输出到显示图像更新単元23之前，可以首先转换为假设为来自加速度传感器的输出值的值。在上述的情况下，在根据应用程序(诸如，游戏应用程序)实现显示图像更新単元23的情况下，用户U可以通过当使用具有姿势确定传感器的操作输入设备时和当使用根据该实施例的操作输入设备I时二者相同的操作，实现相同的处理，而不从传统的处理改变显示图像更新単元23的处理的内容。注意，例如，加速度传感器的输出将取决于引起重力加速度的垂直方向和操作输入设备I的方位之间的关系改变。因此，在效法来自加速度传感器的输出中，使用根据该实施例的操作输入设备1，如果不能指定垂直方向，则不可能完全再现加速度传感器的输出。然而，用于进行使用加速度传感器的输出的处理的某些程序可以使用基干与重力加速度的关系指定的关于操作输入设备I的姿势信息，作为仅关于相对于參考姿势的相对倾斜或关于随时间过去倾斜的变化的信息。根据这样的程序，真正的垂直方向对应于相对于操作输入设备I的哪个方向无关紧要。鉴于以上，在预定方向设置虚拟重力方向之后，姿势确定单元22使用各自旋转角θΓ、θρ和的值，计算在该方向引起重力时将引起的相对于各自參考轴的加速度，并且输出计算的加速度值到显示图像更新単元23。在以上的情况下，可能通过与当使用具有加速度传感器的操作输入设备时进行的操作相同的操作，实现更新显示图像的处理，而不改变用于实现显示图像更新単元23的程序的内容。注意，在效法具有这样的姿势确定传感器的操作输入设备中，用户U可以自由地确定相对于哪个方向根据该实施例的操作输入设备I的姿势的变化对应于相对于哪个方向具有姿势确定传感器的操作输入设备的姿势的变化。例如，根据通过用户U的指定，操作输入设备I将与在操作输入设备I上设置为旋转轴的各自X、Y和Z轴形成的旋转角Θ r、Θ P和Θ y的每个，分配到与在具有姿势确定传感器的操作输入设备上设置为旋转轴的X、Y和Z轴的任一形成的旋转角。在上述的情况下，用户U可以以便于通过用户U的操作的方、式通过倾斜操作输入设备I来输入操作，而不管操作输入设备I的形状。可替代地，取决于由图像分析単元22a确定的用户U的面部的方位、通过应用程序预先设置的条件等，操作输入设备I可以将旋转角Θ r、Θ P和Θ y分配到与要效法为旋转轴的操作输入设备的任ー參考轴形成的旋转角。例如，在期望用户在纵向方位(沿垂直方向延伸的操作输入设备I的经度方向)或者在横向方位(在用户的左右方向延伸的操作输入设备I的经度方向)握持操作输入设备I的情况下，操作输入设备I基于确定的面部的方位或者应用程序的指定，确定用户在纵向方位还是横向方位握持操作输入设备I。然后，基于确定的結果，确定旋转角的分配。在上述的情况下，用户可以在纵向或横向方位握持操作输入设备I的同时，通过倾斜操作输入设备I输入操作，而不用告知操作输入设备I的方位。[第二实施例]在以下中，将參考图9描述根据本发明第二实施例的包括信息处理设备31的信息 处理系统。在第一实施例中，操作输入设备I本身基于捕获图像I确定其姿势。然而，在第ニ实施例中，连接到操作输入设备32的另一信息处理设备31确定操作输入设备32的姿势，并且基于姿势确定的结果进行信息处理。注意，操作输入设备32可以是消费游戏设备的控制器，并且用于输入用户U的操作到信息处理设备31。信息处理设备31可以是例如消费游戏设备，并且基于经由操作输入设备32通过用户U输入的操作进行各种处理，以及在显示单元33 (诸如，电视接收机等)的屏幕上示出处理的結果。在图9所示示例中，图像捕获单元34提供在操作输入设备32的外表面上。操作输入设备32具有通信単元35，以便图像捕获单元34捕获的捕获图像I经由通信単元35发送到信息处理设备31。信息处理设备31包括控制单元36、存储单元37和通信単元38，并且控制単元36根据存储単元37中存储的程序进行信息处理。通信単元38进行与操作输入设备32的通信単元35的数据通信。同样在该示例中，信息处理设备31的控制单元36可以通过进行与上述操作输入设备I进行的处理相同的处理，确定操作输入设备32的姿势。也就是说，控制単元36经由通信単元35和通信単元38获得图像捕获单元34捕获的捕获图像I，然后基于获得的对捕获图像I的分析结果，确定操作输入设备32的姿势，并且进行基于确定的姿势的处理。
权利要求
1.一种在由用户的手握持的同时供用户使用的操作输入设备，包括 捕获图像获得部件，用于获得提供给操作输入设备的图像捕获单元捕获的捕获图像；以及 姿势确定部件，用于基于对获得的捕获图像的分析的结果，确定操作输入设备的姿势。
2.根据权利要求I所述的操作输入设备，其中姿势确定部件指定获得的捕获图像中包含的目标对象，并且基于指定的目标对象的位置和方位的至少ー个，确定操作输入设备的姿势。
3.根据权利要求2所述的操作输入设备，其中 目标对象是握持操作输入设备的用户的面部的整体或部分，以及姿势确定部件基于用户的面部的整体或部分的位置和方位的至少ー个，确定操作输入设备的姿势。
4.根据权利要求2所述的操作输入设备，其中姿势确定部件基于捕获图像中的目标对象的位置，确定操作输入设备相对于从图像捕获单元到目标对象的方向的傾斜。
5.根据权利要求4所述的操作输入设备，其中当捕获图像中的目标对象的位置改变时，姿势确定部件确定目标对象相对于从图像捕获单元到目标对象的方向的方位的变化，并且基于图像捕获单元的方位中确定的变化，计算操作输入设备相对于从图像捕获单元到目标对象的方向的倾斜的变化量。
6.根据权利要求I所述的操作输入设备，其中姿势确定部件基于捕获图像中的目标对象的方位，确定在垂直于图像捕获方向的平面上操作输入设备的傾斜。
7.ー种信息处理设备，连接到在由用户的手握持的同时供用户使用的操作输入设备，包括 捕获图像获得部件，用于获得提供给操作输入设备的图像捕获单元捕获的捕获图像；以及 姿势确定部件，用于基于对获得的捕获图像的分析的结果，确定操作输入设备的姿势。
8.一种用于操作输入设备的姿势确定方法，包括 获得提供给操作输入设备的图像捕获单元捕获的捕获图像的步骤；以及 基于对获得的捕获图像的分析的结果，确定操作输入设备的姿势的步骤。
9.一种存储用于使得计算机用作以下的程序的计算机可读信息存储介质 捕获图像获得部件，用于获得提供给操作输入设备的图像捕获单元捕获的捕获图像；以及 姿势确定部件，用于基于对获得的捕获图像的分析的结果，确定操作输入设备的姿势。
全文摘要
提供一种操作输入设备，其能够通过改变操作输入设备的姿势实现操作输入，而不需姿势检测传感器。在由用户用手握持的同时使用的操作输入设备获得提供给操作输入设备的成像单元捕获的图像，并且基于分析获得的捕获图像的结果检测操作输入设备的姿势。
文档编号G01B11/00GK102725713SQ20108006032
公开日2012年10月10日 申请日期2010年7月13日 优先权日2009年11月2日
发明者池上涉一, 铃木健太郎 申请人:索尼计算机娱乐公司