亚星游戏官网-www.yaxin868.com

专利名称：用于显示被观察物体的表面的三维视图的方法及装置的制作方法
技术领域：
本公开的主g涉及用于显示被观察物体的表面的三维视图的方法和装置。
背景技术：
例如视频内窥镜等视频检查装置可以用于检查被观察物体的表面来识别并且分析可由物体的损坏或磨损引起的该表面上的不规则。在许多情况下，该表面是不能接近的并且在不使用视频检查装置的情况下无法被观察。例如，视频内窥镜可以用于检查飞行器或功率产生单元上的涡轮机引擎的叶片的表面来识别可能已经在该表面上形成的任何不 规则以确定是否需要任何修理或进ー步维护。为了做出该评估，通常必须获得表面和不规则的高度准确的尺寸測量来证实不规则没有超出或落在该物体的操作极限或要求的规格以外。为了确定表面上的不规则的尺寸，视频检查装置可以用于获得并且显示被观察物体的表面(其表现出不规则)的ニ维图像。表面的该ニ维图像可以用于生成表面的三维数据(例如，采用地图的形式)，其提供该表面(其包括该表面上的感兴趣区域，例如靠近不规则)上的多个点的三维坐标(例如，(X，y, Z))。在ー些视频检查装置中，操作者可以采用测量模式操作视频检查装置来进入测量屏幕，其中操作者将光标放置在感兴趣区域中的ニ维图像上来确定不规则的几何尺寸。在许多情况下，难以从ニ维图像评估被观察特征的轮廓，从而使得难以将光标高度准确地放置在感兴趣区域中。例如，当尝试测量凹痕或坑的深 度时，可能难以从ニ维图像确定该凹痕或坑中最深点的定位。为了提供给操作者关于感兴趣区域的额外信息，ー些视频检查装置提供点云视图，该点云视图是被观察物体在可以围绕视频检查装置的视场的原点(其典型地靠近探头的尖部)被操纵(例如，旋转、变焦、摇摄)的图像中的渲染三维表面模型，。当感兴趣区域与表面的全图像相比相对小时，或当感兴趣区域远离视场的原点时，全图像的点云视图在提供感兴趣区域要求的细节层次方面不总是有效的。在那些情况下，全图像的点云视图可在它围绕视场的原点被操纵时因为大部分的三维数据与感兴趣区域(其可能相对远离探头的尖部)不相关而缺乏足够的细节并且可能变得不实用。由ー些视频检查装置采用的另ー个技术是使用点云视图，其中使三维表面模型彩色化来形成深度图色标。在彩色化的点云视图中，每个颜色与离探头的尖部的距离关联，而不使用例如与表面上的每个点关联的ニ维图像信息。全图像的点云视图的该彩色化渲染使得由于由整个视图覆盖的大面积和范围而难以检查感兴趣区域中的小的细节。因此，存在需要提供感兴趣区域中的增强的细节以能够更准确地检查和测量。上文的论述只对于一般背景信息提供并且不意在用作确定被要求保护的主旨的范围的辅助手段。

发明内容
公开用于显示被观察物体的表面的三维视图的方法和装置，其中确定并且显示来自感兴趣区域中被观察物体的整个图像的三维数据子集来提供该感兴趣区域中增强的细节。可在该方法和装置的一些公开实施例的实践中实现的优势是更准确的检查和測量。在一个示范性实施例中，公开用于显示被观察物体的表面的三维视图的方法。该方法包括以下步骤获得并且显示被观察物体的表面的图像；确定被观察物体的表面上的多个表面点的在第一坐标系中的三维坐标；在被观察物体的表面上选择多个测量点；基于靠近这些多个測量点中的ー个或多个的多个表面点中的三个或以上的在第一坐标系中的三维坐标确定參考表面；基于该參考表面以及这些多个測量点建立不同于该第一坐标系的第二坐标系；将这些多个表面点在第一坐标系中的三维坐标转换为第二坐标系中的三维坐标；确定在被观察物体的表面上的感兴趣区域内的多个表面点的子集，其中该感兴趣区域基于这些多个测量点；以及在第二坐标系的三维坐标中显示多个表面点的该子集的渲染三维视图。在另ー个示范性实施例中，用于显示被观察物体的表面的三维视图的方法包括以下步骤获得并且显示被观察物体的表面的图像；确定被观察物体的表面上的多个表面点的在第一坐标系中的三维坐标；在被观察物体的表面上选择多个测量点；基于这些多个测量点的定位确定多个表面点的子集；显示这些多个表面点的该子集的渲染三维视图；以及 在该渲染三维视图中显示这些多个測量点。在再另ー个示范性实施例中，公开用于显示被观察物体的表面的三维视图的装置。该装置包括成像器，用于获得被观察物体的表面的图像；监视器，用于显示被观察物体的表面的图像；定点装置，用于在被观察物体的表面上选择多个测量点；中央处理器单元，用于确定被观察物体的表面上的多个表面点的在第一坐标系中的三维坐标、基于第一坐标系中靠近这些多个测量点中的ー个或多个的多个表面点中的三个或以上的三维坐标确定參考表面、基于该參考表面以及这些多个測量点建立不同于该第一坐标系的第二坐标系、将这些多个表面点在第一坐标系中的三维坐标转换为第二坐标系中的三维坐标，以及确定在被观察物体的表面上的感兴趣区域内多个表面点的子集(其中该感兴趣区域基于这些多个测量点)，以及在第二坐标系的三维坐标中显示多个表面点的该子集的渲染三维视图。本发明的简要说明只意在根据ー个或多个说明性实施例提供对本文公开的主旨的简要概述，并且不起到解释权利要求或起到限定或限制本发明的范围的指导的作用，本发明的范围仅由附上的权利要求限定。提供该简要描述以采用简化的形式引入概念的说明性选择，其在下文在详细说明中进ー步描述。该简要说明不意在识别被要求保护的主旨的关键特征或基本特征，也不意在用作确定被要求保护的主g的范围的辅助手段。被要求保护的主g不限于解决在背景中指出的任何或全部劣势的实现。


因此，可以理解本发明的特征所采用的方式，可通过參考某些实施例(其的ー些在附图中说明)来提供本发明的详细说明。然而，要注意，图只图示本发明的某些实施例并且因此不视为它的范围的限制，因为本发明的范围包含其他同等有效的实施例。图不必按比例绘制，重点一般放在图示本发明的某些实施例的特征上。在图中，类似的符号用于指示贯穿各种图的类似的部件。从而，为了进ー步理解本发明，可以參考连同图阅读的下列详细说明，其中图I是本发明的示范性实施例中视频检查装置的框图；图2是在本发明的示范性实施例中由视频检查装置获得的具有不规则的被观察物体的表面的图像；图3是在本发明的示范性实施例中用于显示用于检查在图2的图像中示出的被观察物体的表面的三维数据的方法的流程图；以及图4是多个表面点的子集在点云视图中的显示。
具体实施例方式公开用于显示被观察物体的表面的三维视图的方法和装置，其中确定并且显示来自感兴趣区域中被观察物体的整个图像的三维数据的子集来提供该感兴趣区域中的增强 的细节。可在该方法和装置的一些公开实施例的实践中实现的优势是更准确的检查和测量。图I是在本发明的示范性实施例中的视频检查装置100的框图。将理解在图I中示出的该视频检查装置100是示范性的并且本发明的范围不限于任何特定视频检查装置100或视频检查装置100内的部件的任何特定配置。视频检查装置100可以包括拉长的探头102，其包括插入管110和设置在该插入管110的远端的头组件120。插入管110可以是柔韧的管形截面，头组件120和探头电子设备140之间的所有互连穿过该该管形截面。头组件120可以包括探头光学器件122，用于将来自被观察物体202的光引导并且聚焦到成像器124上。该探头光学器件122可以包括例如单透镜或具有多个部件的透镜。成像器124可以是固态CXD或CMOS图像传感器，用于获得被观察物体202的图像。能拆分的端部或适配器130可以放置在头组件120的远端上。该能拆分的端部130可以包括端部观察光学器件132(例如,透镜、窗ロ或光圈)，其结合探头光学器件122工作以将来自被观察物体202的光引导并且聚焦到成像器124上。该能拆分的端部130还可以包括照明LED(未示出)(如果用于视频检查装置100的光源从端部130发光)或包括用于将来自探头102的光传递到被观察物体202的光传递元件(未示出)。端部130还可以通过包括波导(例如，棱镜)用于将摄像机视野和光输出转向侧面而提供侧面观察的能力。端部130还可提供立体景深光学器件或结构化光投影元件用于在确定被观察表面的三维数据中使用。可以包括在端部130中的元件还可以包括在探头102自身中。成像器124可以包括在多个行和列中形成的多个像素并且可以采用代表入射在成像器124的每个像素上的光的模拟电压的形式生成图像信号。这些图像信号可以传播通过成像器混合设备126到成像器线束112，该成像器混合设备126提供用于信号缓冲和调节的电子设备，该成像器线束112在成像器混合设备126和成像器接ロ电子设备142之间提供用于控制和视频信号的导线。该成像器接ロ电子设备142可以包括电源、用于生成成像器时钟信号的定时发生器、用于数字化成像器视频输出信号的模拟前端和用于将数字化的成像器视频数据处理成更有用的视频格式的数字信号处理器。成像器接ロ电子设备142是探头电子设备140的部分，该探头电子设备140提供用于操作视频检查装置100的功能集。该探头电子设备140还可以包括校准存储器144，其存储探头102和/或端部130的校准数据。微控制器146也可以包括在该探头电子设备140中用干与成像器接ロ电子设备142通信来确定并且设置増益与曝光设定值、用于存储以及读取来自校准存储器144的校准数据、用于控制输送到被观察物体202的光以及用于与视频检查装置100的CPU150通信。除与微控制器146通信外，成像器接ロ电子设备142还可以与ー个或多个视频处理器160通信。该视频处理器160可以接收来自成像器接ロ电子设备142的视频信号并且将信号输出到各种监视器170、172,其包括一体式显不器170或外部监视器172。该一体式显示器170可以是嵌入视频检查装置100内用于向检查员显示各种图像或数据(例如，被观察物体202的图像、菜单、光标、測量結果)的IXD屏幕。该外部监视器172可以是连接到视频检查装置100用于显示各种图像或数据的视频监视器或计算机型的监视器。视频处理器160可以向CPU150提供命令、状态信息、视频流、静态视频图像和图形叠加和/或从CPU150接收命令、状态信息、视频流、静态视频图像和图形叠加，并且可由FPGA、DSP或提供例如图像捕获、图像增强、图形叠加合并、失真校正、帧平均、缩放、数字变焦、叠加、合并、翻转、运动探测以及视频格式转换和压缩等功能的其他处理元件组成。
CPU150除提供包括图像、视频和音频存储和再调用功能、系统控制和測量处理等许多其他功能的宿主外还可以用于通过经由操纵杆180、按钮182、小键盘184和/或麦克风186接收输入来管理用户界面。操纵杆180可以由操作者操纵来进行例如菜单选择、光标移动、滑动块调整和探头102的清晰度控制等操作，并且可包括按压按钮功能。按钮182和/或小键盘184还可以用于菜单选择以及用于向CPU150提供用户命令(例如，冻结或保存静态图像)。麦克风186可以由检查员使用来提供语音指令以冻结或保存静态图像。视频处理器160还可以与视频存储器162通信，该视频存储器162由视频处理器160使用用于在处理期间进行帧缓冲以及暂时保存数据。CPU150还可以与CPU程序存储器152通信用于存储由CPU150执行的程序。另外，CPU150可以与易失性存储器154(例如，RAM)和非易失性存储器156 (例如，闪速存储器装置、硬驱动器、DVD或EPROM存储器装置)通信。该非易失性存储器156是对于视频流和静态图像的主要存储。CPU150还可以与计算机I/O接ロ 158通信，该计算机I/O接ロ 158向例如USB、火线(Fifewire)、以太网、音频I/O和无线收发器等外围装置和网络提供各种接ロ。该计算机I/O接ロ 158可以用于保存、再调用、传送和/或接收静态图像、视频流或音频。例如，USB “拇指驱动器”或紧凑型闪速存储器卡可以插入计算机I/O接ロ 158。另外，视频检查装置100可以配置成发送视频流数据或图像数据的帧到外部计算机或服务器。视频检查装置100可以包含TCP/IP通信协议栈并且可以包含在广域网(其包括多个本地和远程计算机)中，这些计算机的每个还包含TCP/IP通信协议套件。随着包含TCP/IP协议套件，视频检查装置100包含若干传输层协议(其包括TCP和UDP)以及若干不同的层协议(其包括HTTP 和 FTP)。图2是在本发明的示范性实施例中由视频检查装置100获得的具有不规则204的被观察物体202的表面210的图像200。在该示例中，该不规则204示出为凹痕，其中材料已经通过损坏或磨损在不规则204中从被观察物体202的表面210去除。将理解在该示范性实施例中示出的不规则204只是示例并且该发明性的方法适用于其他类型的不规则(例如，裂纹、点蚀坑、涂层损耗、表面沉积等)。一旦获得图像200，并且识别不规则204，图像200可以用于确定不规则204的尺寸(例如，高度或深度、长度、宽度、面积、体积、点到线、剖面切片等)。在一个实施例中，使用的图像200可以是被观察物体202的表面210 (其包括不规则204)的ニ维图像200。图3是在本发明的示范性实施例中用于显示用于检查在图2的图像200中示出的被观察物体202的表面210的三维数据的方法的流程图。将理解在图3的流程图中描述的步骤可以采用与在流程图中示出的不同的顺序进行并且对于某些实施例不是所有的步骤
都需要。在步骤300，并且如在图2中示出的，操作者可以使用视频检查装置100来获得具有不规则204的被观察物体202的表面210的图像200，并且将它显示在视频监视器(例如，一体式显示器170或外部监视器172)上。在步骤310，视频检查装置100的CPU150可以确定被观察物体202的表面210 (其包括不规则204)上的多个表面点的在第一坐标系中的三维坐标(xiS1，yiS1，ziS1)。若干不同 的现有技术可以用于提供表面210的图像200上的点的三维坐标(例如，立体景深扫描系统、例如相移、相移莫阿条纹、激光点投影等结构化光方法)。大部分这样的技术包括使用校准数据，其除了其他事物外还包括用于降低三维坐标中的误差(其将以别的方式由光学失真引起)的光学特性数据。利用一些技术，可使用在紧密接近的时间中捕获的ー个或多个图像(其可包括投影模式等)确定三维坐标。要理解对使用图像200而确定的三维坐标的參考还可包括使用在紧密接近的时间中捕获的表面210的一个或多个图像200而确定的三维坐标，并且要理解在描述的操作期间向操作者显示的图像200实际上可以或可以不在确定三维坐标中使用。在步骤320，并且如在图2中示出的，操作者可以使用视频检查装置100的操纵杆180 (或其他定点装置(例如，鼠标、触摸屏))以靠近不规则204在被观察物体202的表面210上选择多个测量点来实行特定类型的測量。选择的測量点的数量取决于要实行的类型測量。某些测量可以要求选择两个测量点(例如，长度、剖面)，而其他測量可以要求选择三个或以上的測量点(例如，点到线、面积、多段)。在一个实施例中并且如在图2中示出的，靠近不规则204在被观察物体202的表面210上选择总共四个测量点221、222、223、224来实行不规则204的深度測量，其中靠近不规则204在表面210上选择测量点中的三个221、222,223并且第四測量点224选择为在不规则204的最深点处。在一个实施例中，可以通过将光标231、232、233、234 (或其他定点装置)放置在图像200对应于表面210上的多个测量点221、222、223、224的像素241、242、243、244上来选择被观察物体202的表面210上的多个测量点221、222、223、224。在示范性深度测量中，视频检查装置100可以确定多个测量点221、222、223、224的每个的在第一坐标系中的三维坐标。将理解该发明性方法不限于深度測量或牵涉四个选择的測量点的測量，但反而适用于牵涉不同数量的点的各种类型的测量，其包括上文论述的那些。在步骤330，并且如在图2中示出的，视频检查装置100的CPU150可以确定參考表面250。在一些实施例中，该參考表面250可以是平坦的，而在其他实施例中该參考表面250可以是弯曲的。相似地，在一个实施例中，该參考表面250可以采用平面的形式，而在其他实施例中，该參考表面250可以采用不同的形状(例如，圆柱，球)的形式。在图2中示出的不规则204的示范性深度測量中，靠近在表面210(靠近不规则204)上选择的三个测量点221、222、223中的ー个或多个的三个或以上的表面点的三维坐标可以用于确定參考表面250(例如，平面)。在一个实施例中，视频检查装置100可以进行三个测量点221、222、223在第一坐标系中的三维坐标(xm，yiM1, z皿)的曲线拟合来确定參考表面250(例如,对于平面)的方程，其具有下列形式k0ES1+k1ES1 · xiEsi+k2Esi · YiESl — ZiESl其中(xiKS1，yiKS1，ziKS1)是限定的參考表面250上的任意三维点在第一坐标系中的坐标，并且k·、k1KS1和k2KS1是通过在第一坐标系中三维坐标的曲线拟合获得的系数。应该注意多个测量点(即，至少和k系数的数量一祥多)用于进行曲线拟合。该曲线拟合发现对使用的点给出最佳拟合(例如，最小二乗法)的k系数。k系数然后限定接近使用的三维点的平面或其他參考表面250。然而，如果在曲线拟合中使用比k系数的数量更多的点，当你将使用的点的X和y坐标插入平面方程⑴中时，由于来自可实际存在的平面的任何偏离以及噪声，z结果将一般与点的z坐标不精确匹配。从而，XiKS1和yiKS1可以是 任何任意值，并且所得的ziKS1告诉你在xiKS1、yiES1处的限定平面的z。因此，在这些方程中示出的坐标可以用于精确地在限定平面上的任意点，不必定是在用于确定k系数的拟合中使用的点。在另ー个实施例中，对于特定測量(例如，长度、剖面)只存在选择的两个测量点，从而禁止使用只基于那两个测量点的三维坐标的曲线拟合(因为需要三个点来确定kQKS1、k1ES1和k2KS1)。在该情况下，视频检查装置100可以识别靠近图像的每个像素的多个像素(对应于表面210上的靠近每个测量点的多个点)，并且确定那些点的三维坐标，从而使曲线拟合能够确定參考表面250。在一个实施例中并且如在图2中示出的，视频检查装置100可以确定多个框架点260的在第一坐标系中的三维坐标(xiF1，yiF1，ziF1)，这些多个框架点260在围绕不规则204以及测量点221、222、223、224的參考表面250上形成框架262 (例如，矩形)，其可以稍后用于显不參考表面250的定位。在图2中示出的示范性实施例中，一旦确定參考表面250，通过确定选择为处于不规则204的最深点处的第四測量点224与參考表面250之间的距离，视频检查装置100可以实行不规则204的测量(例如，深度)。该深度测量的准确性由在被观察物体202的表面210上选择多个测量点221、222、223、224的准确性決定。在如先前论述的许多情况中，图像200中不规则204的轮廓难以从ニ维图像评估并且可太小或相反不足以可靠地定位多个测量点221、222、223、224。因此，在许多情况下，操作者将需要不规则204的区域中另外的细节来评价这些测量点221、222、223、224的定位的准确性。因此尽管ー些视频检查装置100可以提供全图像200的点云视图时，该视图可不提供如先前论述的不规则204要求的细节层次。为了在围绕测量点221、222、223、224的区域中提供比由整个图像200的三维数据的点云视图提供的更有意义的表面210的视图，该发明性方法创建了感兴趣区域中的三维数据的子集。在步骤340，视频检查装置100的CPU150可以建立不同于第一坐标系的第二坐标系。在一个实施例中，该第二坐标系可以基于參考表面250以及多个测量点221、222、223和224。视频检查装置100可以将第二坐标系的原点(Xo2，yo2，Zffi) = (0,0,0)指定为靠近參考表面250上的点(其对应于表面210上的多个测量点221、222、223、224中的两个或以上)的三维坐标的平均位置225而定位(例如，通过将测量点221、222、223和224投影到參考表面250上并且在參考表面250上确定平均位置225)。在一些情况下，參考表面250上对应于測量点221、222、223的点的三维坐标可以是相同的。然而，在一些情况下，由于表面210中的噪声和/或小的变动，測量点221、222、223没有精确地落在參考表面250上，并且因此具有不同的坐标。当确定參考表面250上对应于表面210上的测量点221、222、223、224的点时，应用线方向的概念是便利的，其表达线在X、y和z平面中的相对斜率并且可以用于建立垂直或平行线。对于经过两个三维坐标(xl，yl，zl)和(x2, y2, z2)的给定线,该线方向(dx,dy, dz)可定义为dx = x2-xl(2)dy = y2-yl(3)dz = z2_zl(4)给出线上的点(xl，yl，zl)以及线的方向(dx，dy，dz)，该线可以由以下定义
权利要求
1.ー种用于显示被观察物体(202)的表面(210)的三维视图的方法，包括以下步骤 获得并且显示(300)所述被观察物体(202)的所述表面(210)的图像(200)； 确定(310)所述被观察物体(202)的所述表面(210)上的多个表面点的在第一坐标系中的三维坐标； 选择(320)所述被观察物体(202)的所述表面(210)上的多个测量点(221，222，223，224)； 基于靠近所述多个測量点(221，222，223，224)中的一个或多个的所述多个表面点中的三个或以上的在所述第一坐标系中的三维坐标来确定(330)參考表面(250)； 基于所述參考表面(250)以及所述多个測量点(221，222，223，224)建立不同于所述第一坐标系的第二坐标系； 将所述多个表面点在所述第一坐标系中的三维坐标转换(350)为所述第二坐标系中的三维坐标； 确定(360)在所述被观察物体(202)的所述表面(210)上感兴趣区域内的所述多个表面点的子集，其中所述感兴趣区域基于所述多个测量点(221，222，223，224);以及 在所述第二坐标系的三维坐标中显示(370)所述多个表面点的所述子集的渲染三维视图(400)。
2.如权利要求I所述的方法，其中所述图像(200)是ニ维图像。
3.如权利要求I所述的方法，其中选择多个测量点(221，222，223，224)的步骤(320)包括将多个光标(231，232，233，234)放置在所述图像(200)上。
4.如权利要求I所述的方法，其中选择所述多个测量点(221，222，223，224)以在所述被观察物体(202)的所述表面(210)上进行测量。
5.如权利要求I所述的方法，其中所述參考表面(250)是平面。
6.如权利要求I所述的方法，其中基于所述參考表面(250)和所述多个測量点(221，222，223，224)建立所述第二坐标系的步骤包括将所述第二坐标系的原点指定为靠近所述參考表面(250)上对应于所述多个测量点(221，222，223，224)中的两个或以上的点的三维坐标的平均位置(225)而定位。
7.如权利要求6所述的方法，其中所述感兴趣区域包括离所述第二坐标系的原点一定距离内的表面点。
8.如权利要求6所述的方法，其中所述感兴趣区域包括离所述平均位置(225)—定距离内的表面点。
9.如权利要求I所述的方法，其中所述感兴趣区域包括具有离所述參考表面(250)基于从所述测量点(221，222，223，224)中的一个或多个与所述參考表面(250)的距离在一定范围内的距离的表面点。
10.如权利要求I所述的方法，其中显示所述多个表面点的所述子集的所述渲染三维视图(400)的步骤包括显示所述多个表面点的所述子集的点云视图。
11.如权利要求I所述的方法，其中所述渲染三维视图(400)的旋转是围绕所述第二坐标系的原点。
12.如权利要求I所述的方法，其中在所述第二坐标系的三维坐标中显示所述多个表面点的所述子集的所述渲染三维视图(400)的步骤包括使用彩色图来指示所述多个表面点的所述子集与所述參考表面(250)之间的距离。
13.如权利要求I所述的方法，其中所述渲染三维视图(400)进ー步包括指示离所述參考表面(250)的垂直距离的标度。
14.如权利要求I所述的方法，其进ー步包括在所述渲染三维视图(400)中显示所述多个测量点(221，222，223，224)的步骤。
15.如权利要求I所述的方法，其中将所述多个表面点在所述第一坐标系中的三维坐标转换为第二坐标系中的三维坐标的步骤(350)在确定所述被观察物体(202)的所述表面(210)上的感兴趣区域内的所述多个表面点的子集的步骤(360)之后发生，其中只转换所述多个表面点的所述子集。
全文摘要
本发明涉及用于显示被观察物体的表面的三维视图的方法及装置。公开用于显示被观察物体(202)的表面(210)的三维视图的方法和装置，其中确定并且显示来自感兴趣区域中该被观察物体(202)的整个图像(200)的三维数据的子集来提供该感兴趣区域中增强的细节。
文档编号G01B11/30GK102735192SQ20121006376
公开日2012年10月17日 申请日期2012年3月2日 优先权日2011年3月4日
发明者C·A·本达尔 申请人:通用电气公司