专利名称：航空摄影图像拾取方法和航空摄影图像拾取装置的制作方法
技术领域：
本发明涉及通过小型无人航空运输工具(UAV)的航空摄影(aerial photograph)图像拾取方法和航空摄影图像拾取装置。
背景技术：
在来自上空的摄影或来自上空的勘测(surveying)中，能够获得通过来自地面的摄影或地面上的勘测不能够获得的信息，并且摄影在禁止入内(off-limit)的区域中是可能的，或者能够获得在其中勘测是困难的区域中的信息。另外，近年来，由于作为远程受控的例如小型飞机或小规模直升机等的小型飞行物体的性能中的改进、远程控制技术中的改进、以及另外在图像拾取设备的性能中的改进、微型化的促进以及其他方面，图像拾取设备能够被安装在小型飞行物体中。通过远程地控制飞行物体，能够以无人的方式执行来自上空的摄影。另外，飞行物体能够根据预设的飞行时刻表(flight schedule)进行自律的飞 行。在通过小型飞行物体执行摄影的情况下，尽管期望主体是水平的，但是实际上主体是轻重量的，以及主体通常被风冲走，或主体通常被倾斜。因此，在固定安装的图像拾取设备中，光轴取决于主体的状态被倾斜，并且倾斜方向不固定。在宽范围中制备(pr印are)图像的情况下或在制备立体图像的情况下，彼此相邻的两个图像被重叠，在重叠部分中为所述两个图像共用的连接点(接合点(tie point))被提�。⑶一诟媒雍系悖鐾枷癖蛔楹稀Ｈ欢缟纤枋龅模痹诠庵岜磺阈被蚯阈苯腔蚯阈狈较虿还潭ǖ淖刺腥〉玫耐枷癖凰承虻乇舜俗楹鲜保诠惴悍段е薪峁玫降耐枷癖皇д婊蛲淝⑶掖嬖诓荒芑袢≌返淖楹贤枷竦奈侍狻�
发明内容
本发明的目的是提供航空摄影图像拾取方法和航空摄影图像拾取装置，其能够利用简单的配置执行精确的三维地形测量。为了获得上述目的，根据本发明的航空摄影图像拾取方法包括使得包括GPS设备和用于向下取得图像的图像拾取设备的飞行物体蜿蜒曲折地飞行的步骤，在其中方向在蜿蜒曲折的飞行中被改变的每个顶点上取得图像的步骤，从彼此相邻的至少三个顶点取得的图像的共同重叠部分中提取特征点的步骤，将所述图像中的两个顶点的两个图像确定作为一组并且由所述GPS设备为关于至少两组的每组获得所述两个顶点的位置信息的步骤，基于位置信息和基于所述两个图像的所述特征点执行对应于所述特征点的测量点的摄影测量(photogrammetry)的步骤，以及当所述测量点的勘测结果在至少所述两组中彼此一致时将所述特征点确定作为用于图像组合的接合点的步骤。另外，在根据本发明的航空摄影图像拾取方法中，从在一个顶点上取得的图像中提取所述特征点，并且在所述特征点中执行图像跟踪并且在下一顶点上取得的图像中指定所述特征点。
另外，在根据本发明的航空摄影图像拾取方法中，基于所述接合点和由所述GPS设备测量的所述三个顶点的三维坐标，实施在所述三个顶点上取得的所述图像的摄影位置计算和倾斜的定向计算的本地处理。另外，根据本发明的航空摄影图像拾取装置包括飞行物体以及GPS设备、导航装置、用于在所述飞行物体之下取得图像的图像拾取设备、图像处理单元和在所述飞行物体中提供的主算术控制单元，并且在航空摄影图像拾取装置中所述主算术控制单元具有飞行计划数据，用于使所述飞行物体蜿蜒曲折地飞行，基于来自所述GPS设备的位置信息和所述飞行计划数据来制备飞行引导数据，基于所述飞行引导数据控制所述导航装置以及使得所述飞行物体蜿蜒曲折地飞行并且所述图像拾取设备在其中方向在蜿蜒曲折的飞行中被改变的每个顶点上取得图像，以及所述图像处理单元从彼此相邻的至少三个顶点取得的图像的共同重叠部分中提取特征点；以及所述主算术控制单元确定彼此相邻的两个图像作为一组，基于所述特征点为关于至少两组的每组执行摄影测量，当至少两个勘测结果彼此一致时将所述特征点确定作为接合点，以及基于所述接合点和所述三个顶点的位置信息实施所述图像的定向计算。根据本发明，在航空摄影图像拾取方法中，包括使得包括GPS设备和用于向下取得图像的图像拾取设备的飞行物体蜿蜒曲折地飞行的步骤，在其中方向在蜿蜒曲折的飞行中被改变的每个顶点上取得图像的步骤，从彼此相邻的至少三个顶点取得的图像的共同重叠部分中提取特征点的步骤，将所述图像中的两个顶点的两个图像确定作为一组并且由所述GPS设备为关于至少两组的每组获得所述两个顶点的位置信息的步骤，基于位置信息和基于所述两个图像的所述特征点执行对应于所述特征点的测量点的摄影测量的步骤，以及 当所述测量点的勘测结果在至少所述两组中彼此一致时将所述特征点确定作为用于图像组合的接合点的步骤。结果，可能校正由于飞行物体的摇摆(rolling)或纵摇(pitching)而导致的图像的倾斜，其在线性飞行中取得的图像中不能被校正。另外，根据本发明，在航空摄影图像拾取方法中，基于所述接合点和由所述GPS设备测量的所述三个顶点的三维坐标，实施在所述三个顶点上取得的所述图像的摄影位置计算和倾斜的定向计算的本地处理。结果，能够快速地执行处理，并且本地地基本上实时地能够计算飞行物体的精确高度。另外，根据本发明，航空摄影图像拾取装置包括飞行物体以及GPS设备、导航装置、用于在所述飞行物体之下取得图像的图像拾取设备、图像处理单元和在所述飞行物体中提供的主算术控制单元，并且在航空摄影图像拾取装置中所述主算术控制单元具有飞行计划数据，用于使所述飞行物体蜿蜒曲折地飞行，基于来自所述GPS设备的位置信息和所述飞行计划数据来制备飞行引导数据，基于所述飞行引导数据控制所述导航装置以及使得所述飞行物体蜿蜒曲折地飞行并且所述图像拾取设备在其中方向在蜿蜒曲折的飞行中被改变的每个顶点上取得图像，以及所述图像处理单元从彼此相邻的至少三个顶点取得的图像的共同重叠部分中提取特征点；以及所述主算术控制单元确定彼此相邻的两个图像作为一组，基于所述特征点为关于至少两组的每组执行摄影测量，当至少两个勘测结果彼此一致时将所述特征点确定作为接合点，以及基于所述接合点和所述三个顶点的位置信息实施所述图像的定向计算。结果，可能校正由于飞行物体的摇摆或纵摇而导致的图像的倾斜，其在线性飞行中取得的图像中不能被校正。
图I是根据本发明的实施例的航空摄影图像拾取方法的示意 图2是根据本发明的实施例的安装在飞行物体中的控制设备的框 图3是在其中根据由飞行物体在两个点上取得的图像摄影测量(photogrammetry)飞行物体的高度和测量点的坐标的情况下的说明性 图4是示出在蜿蜒曲折飞行中的飞行物体产生的轨�：驮谄渖鲜凳┩枷袷叭〉牡阒涞墓叵档乃得餍� 图5是示出在其中基于其中两个图像作为一组被提取的情况下的所提取的特征点和基于图像拾取点的位置信息实施在对应于特征点的地表面上的测量情况下，在相应组中的测量结果的匹配和不匹配的说明性图；
图6是示出本实施例的操作的流程图。
具体实施例方式通过参考附图，下面将对本发明的实施例给出描述。首先，在图I中，将对其中本发明所应用到的飞行物体的飞行控制系统给出描述。在图I中，参考标号I代表能够进行自律飞行的飞行物体，参考标号2代表安装在地面上的基地控制设备(base control device)。基地控制设备2能够执行与飞行物体I的数据通信并且控制飞行物体I的飞行，设置或改变飞行计划并且存储或管理由飞行物体I收集的信息。飞行物体I例如是直升机，作为小型飞行物体用于进行自律飞行。直升机I由来自基地控制设备2的远程控制来驾驶，或者由基地控制设备2将飞行计划设置在直升机I的控制设备16 (如之后所描述的)中，并且根据飞行计划进行自律飞行。直升机I具有直升机主体3和提供给直升机主体3的必要数目的推进器(piOpeller)，例如四个推进器，即前、后、左和右推进器4，5，6，7。推进器4，5，6，7分别单独地与第一马达8，第二马达9，第三马达10和第四马达11 (如之后描述的)耦合，并且能够独立地控制第一马达8，第二马达9，第三马达10和第四马达11中的每个的驱动，如之后描述的。要注意的是，推进器4，5，6，7和第一马达8，第二马达9，第三马达10和第四马达11以及其他构成用于飞行物体的航行装置。图像拾取设备13和控制设备16 (如之后所描述的)被提供在直升机I的直升机主体3中。图像拾取设备13获得数字图像。图像拾取设备13可以是用于以预定时间间隔取得静止图像的照相机或用于连续地取得图像的摄像机。图像拾取设备13被提供在直升机主体3的下表面上。另外，作为图像拾取元件，图像拾取设备13具有CXD和CMOS传感器，其是像素的聚集，并且图像拾取元件的中心(光电检测表面的坐标中心)与图像拾取设备13的光轴 15—致(coincide)。图像拾取元件中的每个像素的图像拾取元件上的位置(坐标)能够被指定以便每个像素的视场角(相对于光轴15的角)能够变得明显。光轴15运行穿过直升机主体3的参考位置(例如，机器中心)，并且当直升机I采取水平姿势时，以光轴15与垂直线一致的这样方式设置光轴15。图像拾取设备13具有角度为Θ的视角并且能够获得用于航空摄影的图像。另外，由图像拾取设备13取得的图像还用作用于位置测量的图像数据，如之后所描述的。由图像拾取设备13取得的图像与取得图像的时间、由GPS设备23(如之后所描述的)测量的地心坐标(三维坐标)相关联，并且被存储在第一存储单元25 (如之后所描述的)中。图2示出了在直升机主体3中提供的控制设备6。控制设备16主要由勘测单元17、飞行控制单元18、主算术控制单元1 9、通信单元20和电源单元21构成。勘测单元17由GPS设备23、勘测单元CPU24、第一存储单元25、图像拾取设备13以及其他构成。要注意的是，勘测单元CPU24和第一存储单元25构成图像处理单元，并且图像处理单元执行特征点的提取(如之后所描述的)、图像跟踪处理以及其他。GPS设备23被配置测量直升机I的参考位置，例如机器中心，GPS设备23测量参考位置的绝对三维坐标，并且测量值代表地面坐标系统以及从地心坐标(绝对坐标)系统获取的高度。另外，当直升机I在水平姿势中时，光轴15运行穿过参考位置并且是垂直的。因此，图像拾取设备13能够在紧邻在直升机I之下获得必要视角Θ的范围中的图像，并且以图像的中心与参考位置一致的这样方式设置图像的中心。在第一存储单元25中，以这样方式存储由图像拾取设备13获得的图像和在其上获得图像的时间，该方式即所述时间与所述图像相关联。另外，以与在其上获得图像的时间同步地由GPS设备23测量直升机I的三维坐标，并且如所测量的三维坐标还与在其上获得图像的时间相关联并且被存储在第一存储单元25中。另外，在第一存储单元25中，存储诸如图像拾取控制程序、三维位置测量程序、图像处理程序和跟踪处理程序以及其他之类的程序。而且，在第一存储单元25中，由图像拾取设备13取得的图像、图像拾取的时间以及当获得图像时的三维坐标与图像相关联并且被存储。基于直升机I的飞行速度以及图像拾取设备13的视角Θ以及其他，图像拾取控制程序以这样的方式控制图像拾取设备13取得的图像数据的获得定时，该方式即在时间方面彼此相邻的图像在预定速率上重叠并且在彼此相邻的顶点(如之后所描述的)所取得的图像在预定速率上重叠。当执行图像跟踪时，图像拾取控制程序控制图像拾取设备13以便图像拾取设备13在预定时间间隔或连续地取得图像，同时获得图像数据和下一图像数据。图像处理程序执行图像处理，例如从由图像拾取设备13获得的图像中提取特征点(接合点)或利用作为参考的接合点组合多个图像。另外，跟踪处理程序在时间方面彼此相邻的图像之间执行特征点的图像跟踪并且将图像的特征点接连地指定到下一图像中。要注意的是，在日本专利申请公开号2006 -10376或日本专利申请公开号2007 — 171048中公开了图像跟踪。基于由GPS设备23的测量获取的地面坐标以及从图像拾取设备13的图像中提取的接合点，三维位置测量程序根据诸如摄影测量等的测量方法计算直升机I的高度距离(参考位置)。因此，作为直升机I的高度，能够获取两种类型的高度，即由GPS设备23的测量获取的第一高度距离以及基于通过摄影测量的图像获取的第二高度距离。
当如之后所描述的那样确定接合点时使用第一高度距离，基于如所确定的特征点关于第二高度距离执行摄影测量，并且相比于第一高度距离的精度，第二高度距离具有较高的精度。三维位置测量程序、获得的图像、在其上获得图像的位置和时间以及其他可以被存储在第三存储单元33 (如之后所描述的)中。在这种情况下，主CPU32执行测量所需要的算术处理。勘测单元CPU24根据图像拾取控制程序控制通过图像拾取设备13的图像拾取，根据跟踪处理程序实施图像跟踪、提取接合点以及根据图像处理程序组合多个图像以及根据三维位置测量程序计算第二高度距离。飞行控制单元18包括第一马达8、第二马达9、第三马达10、第四马达11、用于单独地驱动和控制这些马达的马达控制器26、用于控制马达控制器26的飞行控制CPU27、第二存储单元28以及姿势检测器，例如用于检测直升机I相对于水平状态的姿势状态(倾斜)以及产生姿势状态信号的陀螺仪单元29。 在第二存储单元28中，存储飞行控制程序，用于基于来自主算术控制单元19的飞行引导数据计算飞行状态，例如飞行速度、上升速度、下降速度、飞行方向、飞行高度以及其他，并且存储用于基于来自陀螺仪单元29的姿势状态信号来计算用于姿势控制的信息的姿势控制程序和其他程序。飞行控制CPU27根据飞行控制程序和飞行引导数据将飞行控制命令传送到马达控制器26，经由马达控制器26控制第一马达8、第二马达9、第三马达10和第四马达11，并且执行预定飞行。飞行控制CPU27还根据姿势控制程序将姿势控制命令传送到马达控制器26，并且经由马达控制器26分别地控制第一马达8、第二马达9、第三马达10和第四马达11。结果，以飞行物体能够飞行的这样方式飞行控制CPU27维持姿势。主算术控制单元19包括主CPU32、第三存储单元33、以及输入/输出控制单元34，并且第三存储单元33存储诸如整合程序(integration program)、飞行引导程序、通信控制程序和其他之类的程序，以及还存储飞行计划数据。作为飞行计划数据存储的数据包括例如航线(flight course)、飞行高度、图像拾取的位置和范围以及其他。整合程序整合和控制勘测单元17和飞行控制单元18。飞行引导程序由飞行计划数据和由GPS设备23获取的位置信息制备飞行引导数据。另外，主CPU32根据飞行引导程序制备飞行引导数据并且在必要定时时基于整合程序经由输入/输出控制单元34将飞行引导数据输出到飞行控制单元18。另外，基于来自勘测单元17的高度测量结果，主CPU32还传送飞行引导数据到飞行控制单元18以便维持与地表面的预定高度。要注意的是，作为用于控制飞行的高度测量结果，可以使用第一高度距离或第二高度距离。通信单元20由无线通信单元35、信息通信单元36以及其他构成，并且无线通信单元35从地上基地(ground base)接收远程飞行控制命令并且将直升机I的飞行状态传达到地上基地。而且，在直升机I登陆在基地上的状态中信息通信单元36被配置通过诸如例如无线LAN或蓝牙(注册商标)之类的通信装置在地上基地和直升机I之间传送/接收信息，飞行计划数据被从基地传送到直升机1，或在飞行期间获得的图像、位置和时间的信息被从直升机I传送到基地。
电源单元21例如是可置换的可充电电池并且当直升机I登陆在基地上时用充电电池替换，并且用完的电池被充电直到下一次替换。在飞行期间，电源单元21将必要的电力(electric power)供应给勘测单元17、飞行控制单元18、主算术控制单元9和通信单元20。由图像拾取设备13获得的图像、由勘测单元17测量的位置信息和接合点的信息经由通信单元20被传达到基地控制设备2。基地控制设备2基于图像制备较宽范围的组合图像，并且还制备立体图像或者基于立体图像执行摄影测量。勘测单元CPU24、飞行控制CPU27和主CPU32构成直升机I的算术单元。如上所描述的，勘测单元CPU24、飞行控制CPU27和主CPU32可以被提供给勘测单元17、飞行控制单元18和主算术单元19的每个，或者可以提供一个算术单元，以及勘测单元CPU24的功能、飞行控制CPU27的功能和主CPU32的功能可以被分配给这个算术单元。可替换地，主CPU32 可以被利用作为算术单元，可以使得主CPU32执行勘测单元CPU24和飞行控制CPU27的一个或二者的处理，并且勘测单元CPU24和飞行控制CPU27的一个或二者可以被省略。另外，第一存储单元25、第二存储单元28、和第三存储单元33构成直升机I的存储单元。如上所描述的，第一存储单元25、第二存储单元28、和第三存储单元33可以被单独地提供，或存储单元可以被配置作为一个存储设备，并且相应于第一存储单元25、第二存储单元28和图像拾取设备13的存储器区域可以被设置在存储设备中。接下来，通过参考图3，将对基于摄影测量的距离测量给出描述。在图3中，假设直升机I从点01飞行到点02并且在点01和点02上取得图像。另夕卜，从点01到点02的距离BI是摄影基线长度，并且参考标号41-1和41-2的每个代表在点01和点02的每个上的图像拾取设备13的图像拾取元件41并且等同于图像数据。要注意的是，图3示出图像拾取设备13的光轴15是垂直，即直升机I在水平姿势中的情况。在点01上取得的测量点P的图像上(即，在图像拾取元件上)的位置是pl(xl，yl)并且在点02上取得的测量点P的图像上(即，在图像拾取元件上)的位置是P2(x2，y2)。假设从图像拾取设备41-1的中心0-1 (原点)到pi的距离是11以及从图像拾取元件41-2的中心0-2 (原点)到p2的距离是12，图像拾取设备13的焦距f以及从摄影基线长度B到P的距离Z (直升机I的高度距离)基于三角形01，02，P，三角形01，0-1，Pl和三角形02，0-2，P2的类似关系被表示为Z=Bf/(II + 12)。在这里，点01和点02的地面坐标能够由GPS设备23测量，摄影基线长度B是在两个点，即点01和点02之间的距离，以及基于GPS设备23的测量结果能够获取摄影基线距离B。另外，同样地能够从pi (xl，yl)，p2 (x2，y2)以及GPS设备23测量的点01和点02的地心位置获取测量点P的地心位置(平面坐标)。因此，可能根据在直升机I移动的过程中顺序地取得的两个图像实时对直升机I的高度(距离地表面的高度)进行测量(高度距离测量)。GPS设备23能够测量三维坐标，能够与地面坐标同时获取高度位置，但是要获取的高度位置是绝对位置并且不同于距离地表面的高度。另外，作为GPS设备23的特性，与地面坐标相比，高度位置的测量结果易于受到来自卫星的GPS设备23的接收状态影响，并且这个测量结果的精度比地面坐标的精度差。在摄影测量中，由于使用高度精确的地面坐标根据图像进行测量，所以能够获取具有高精度的测量结果并且能够获取距离地面的高度距离。在上面描述的摄影测量中，pi (xl，yl)和p2 (x2，y2)对应于在点01上取得的图像和在点02上取得的图像共用的点以及pi，p2对应于接合点。关于上面的摄影测量，已经描述了其中直升机I在水平姿势中的情况，但是直升机I是小型且轻重量并且易于受到风和其他方面影响，并且实际上通常的情况是，每次实施摄影时改变直升机I的姿势。因此，在直升机主体3线性地飞行并且关于前进方向摇摆的状态中能够获得图像。在其中组合多个所获得的图像的情况下，或在其中基于图像测量距离的情况下，或在其中将图像组合为宽范围的图像或制备立体图像的情况下，图像可能被变形，图像被失真或使距离测量的精度恶化。在这个实施例中，甚至在其中改变直升机I (直升机主体3)的姿势的情况下，能够根据图像执行精确的测量，或者能够合适地组合图像。 在这个实施例中，使得直升机I在蜿蜒曲折模式中飞行，如在图4中所示的，在其中改变飞行方向的相应顶点(01，02，03，04，…，On)上实施摄影，在彼此相邻的三个顶点(在附图中的01，02，03，)上取得的三个图像41-1，41-2和41_3被确定作为一组，执行三重匹配(triplet matching)。通过实施三重匹配,精确地执行接合点的对应性(correspondence)(确定)。另外，关于其执行三重匹配的图像被重新布置以便每次图像拾取时包括最新图像并且当在顶点04上取得图像时，在02，03，和04上取得的图像是三重匹配的对象。因此，在每次改变飞行的方向时执行三重匹配。而且，在其上改变方向的顶点之间的距离或图像拾取的时间间隔以其中三重匹配是可能的重叠部分40 (在图4中的阴影部分)能够被获取的这样方式由飞行时刻表设置。通过参考图5，将对三重匹配给出描述。实施根据在三个图像中的每两个图像的高度测量(摄影测量)并且类似上面的描述，实施根据两个图像的高度距离测量。图5示意性地示出根据由飞行中的直升机I取得的图像顺序地实施高度测量的状态。另外，在图3中，尽管关于由图像拾取设备13取得的全部图像已经描述了直升机I的高度测量，但是可能执行图像中的任意区域的高度距离测量，即对应于图像中的区域的地表面42中的区域的高度测量。关于由图像拾取设备13取得的地表面42的图像执行图像处理，并且从图像中提取特征点a到η。通过诸如边缘处理或对比度处理等之类的合适图像处理来执行特征点的提取。而且，从在一个顶点上取得的图像中提取的特征点必须顺序地被指定到在随后相邻顶点上取得的图像中。作为指定方法，存在图像跟踪。在图像跟踪中，从一个顶点到下一个顶点连续地或以预定时间间隔获得图像，特征点被一个接一个地指定在图像中(图像跟踪)，其在时间方面是相邻的，并且在一个顶点上的图像中的特征点对应于下一顶点上的图像。由于实施三重匹配，所以在其中三个图像重叠的重叠部分40 (见图4)选择特征点。在三个图像内的两个图像中，例如，在点01上在图像41-1中提取特征点al和bl，特征点al和bl通过跟踪被指定作为在点02上图像41-2中的特征点a2和b2，并且根据图像41-1和41-2实施特征点a和b的高度测量。另外，基于GPS设备23的测量结果，计算特征点a和b的地面坐标。然后，计算特征点a和b的三维坐标。另外，在其他两个图像中，即在点02上的图像41-2和在点03上的图像41-3，从点02上的图像41-2到点03上的图像41-3跟踪特征点，用于基于图像41_2中的特征点(a2，b2)和在点03上图像41-3中的特征点(a3，b3)确定特征点a和b的高度。另外，基于GPS设备23的测量结果，计算特征点a和b的地面坐标。另外，还能够通过GPS设备23测量图像拾取时在点01、点02和点03上的绝对高度。由GPS设备23测量的每个绝对高度代表在直升机I的参考位置上的绝对高度，并且不代表距离地表面的高度，但是能够获取在点01、点02和点03之间的高度上的相对位置关系。另外，在图像拾取时在点01、点02和点03上取得的测量在时间和距离方面彼此靠近，并且能够判断由GPS设备23测量的高度的相对精度是高的。在上面的描述中，已经描述了两个点，即特征点a和b，从整个图像提取特征点。因 此，当能够获取特征点的三维坐标时，还能够测量地表面42的状况，例如强度、倾斜以及其他。如上面所描述的，关于在地面上对应于所提取的特征点的测量点A和B，执行根据两组图像的高度测量，并且能够关于每个测量点A和B获取两组三维坐标。通过比较两组三维坐标，可能确定由从图像41-1到图像41-2以及另外从图像41-2到图像41-3的顺序跟踪指定的特征点是否是精确的。如在图5中所示出的，关于特征点计算的两组三维坐标彼此一致，并且从图像41-1到图像41-3精确地执行跟踪，并且可能判断测量结果是合适(正确)。然而，关于特征点b，当基于图像41-1和图像41-2计算的三维坐标与基于图像41-2和图像41-3计算的三维坐标不一致时，或在其中设置的精度范围被超过的情况下，可能判断跟踪是不合适的或所测量的测量点被偏离(不正确)。在这种情况下，删除特征点b的测量结果。因此，关于所有提取的特征点的每个，获取两组三维坐标，基于两组三维坐标，执行正确/不正确的确定，并且仅仅被确定为正确的特征点的测量结果被存储在第一存储单元25中。基于另一组的两个图像，即在点01上的图像41-1和在点03上的图像41_3以及特征点(al，bI)和(a3，b3 )，能够关于测量点A和B获取另一组三维坐标。在其中所获取的三组三维坐标彼此一致或在预定精度内的情况下，或在其中所述三组三维坐标中的两个彼此一致或在预定精度内的情况下(在以下的描述中，其中三维坐标彼此一致，或在预定精度内的情况被认为一致)，测量结果可能被确定为正确。确定为正确的特征点被判定为接合点，组合图像41-1、图像41-2和图像41_3，制备宽范围中的图像，或制备立体图像。另外，通过参考图6，将对三重匹配和组合图像的流程进行描述。步骤01当直升机I飞行并且到达预定的测量范围时，蜿蜒曲折的飞行根据飞行计划开始。尽管进行了蜿蜒曲折的飞行，但是在预定间隔通过图像拾取设备13取得图像(或取得连续图像)，以及所取得的图像被存储在第一存储单元25中。另外，获取在每个顶点上的图像并且每次当获取顶点上的图像时获得由GPS设备23测量的三维坐标。
步骤02读取彼此相邻的三个顶点的图像数据，并且其中三个图像重叠的重叠部分40被计算和设置。步骤03在重叠部分40中，特征点被提取，并且在相应的顶点上获得的图像之间执行特征点的图像跟踪，并且为相应顶点的图像共用的特征点被指定。步骤04基于指定的特征点和基于在三个顶点上的图像拾取位置的三维坐标，执行三重匹配。另外，彼此相邻的两个图像被确定作为一组，基于特征点(接合点)和图像关于每组实施摄影测量，并且获取对应于特征点的测量点的三维坐标。步骤05将从每个组中的图像中获取的三维坐标彼此比较，关于这些三维坐标是否彼此一致执行正确/不正确的确定。仅仅被确定为正确的勘测结果被获得作为测量数据。
·
步骤06基于GPS设备23关于顶点的测量值(三维坐标)，即图像拾取设备13的位置信息以及基于作为接合点的特征点执行在三个顶点上摄影的静态图像的倾斜的定向计算。当执行定向计算时，确定在两个顶点之间的距离(基线长度)和在每个顶点上的图像拾取设备13的旋转角度(图像拾取设备13的方向)，以及具有三维数据的立体图像被制备。步骤07另外，判断要读取的图像是否仍然存在，并且如果要读取的图像存在，则重复步骤02到步骤06的处理。如果没有要读取的图像，则处理前进到步骤08。另外，执行在三个顶点上获得的图像的摄影位置的计算的本地处理和倾斜的定向计算的本地处理，并且重复本地处理。结果，快速地实施处理，并且能够实时或基本上实时地计算飞行物体I的精确高度。步骤08顺序地且连续地实施用于作为一组的三个顶点的图像的图像定向(本地定向)，获取关于在相应顶点上取得的静态图像的图像拾取设备的位置和倾斜的初始值。最后共同地通过成束调整(bundle adjustment)(块)执行分析并且以高精度计算其中取得图像的相应顶点上的照相机位置和倾斜。基于所获取的照相机位置和倾斜，优化所有图像，或组合所有图像并且制备立体图像。
权利要求
1.一种航空摄影图像拾取方法，包括使得包括GPS设备和用于向下取得图像的图像拾取设备的飞行物体蜿蜒曲折地飞行的步骤，在其中方向在蜿蜒曲折的飞行中被改变的每个顶点上取得图像的步骤，从彼此相邻的至少三个顶点取得的图像的共同重叠部分中提取特征点的步骤，将所述图像中的两个顶点的两个图像确定作为一组并且由所述GPS设备为关于至少两组的每组获得所述两个顶点的位置信息的步骤，基于位置信息和基于所述两个图像的所述特征点执行对应于所述特征点的测量点的摄影测量的步骤，以及当所述测量点的勘测结果在至少所述两组中彼此一致时将所述特征点确定作为用于图像组合的接合点的步骤。
2.根据权利要求I所述的航空摄影图像拾取方法，其中从在一个顶点上取得的图像中提取所述特征点，并且在所述特征点中执行图像跟踪并且在下一顶点上取得的图像中指定所述特征点。
3.根据权利要求I或2所述的航空摄影图像拾取方法，其中基于所述接合点和由所述GPS设备测量的所述三个顶点的三维坐标，实施在所述三个顶点上取得的所述图像的摄影位置计算和倾斜的定向计算的本地处理。
4.一种航空摄影图像拾取装置，包括飞行物体以及GPS设备、导航装置、用于在所述飞行物体之下取得图像的图像拾取设备、图像处理单元和在所述飞行物体中提供的主算术控制单元，其中所述主算术控制单元具有飞行计划数据，用于使所述飞行物体蜿蜒曲折地飞行，基于来自所述GPS设备的位置信息和所述飞行计划数据来制备飞行引导数据，基于所述飞行引导数据控制所述导航装置以及使得所述飞行物体蜿蜒曲折地飞行并且所述图像拾取设备在其中方向在蜿蜒曲折的飞行中被改变的每个顶点上取得图像，以及所述图像处理单元从彼此相邻的至少三个顶点取得的图像的共同重叠部分中提取特征点；以及所述主算术控制单元确定彼此相邻的两个图像作为一组，基于所述特征点为关于至少两组的每组执行摄影测量，当至少两个勘测结果彼此一致时将所述特征点确定作为接合点，以及基于所述接合点和所述三个顶点的位置信息实施所述图像的定向计算。
全文摘要
涉及一种航空摄影图像拾取方法和航空摄影图像拾取装置。该方法包括使得包括GPS设备(23)和用于向下取得图像的图像拾取设备(13)的飞行物体蜿蜒曲折地飞行的步骤，在其中方向在蜿蜒曲折的飞行中被改变的每个顶点上取得图像的步骤，从彼此相邻的至少三个顶点取得的图像的共同重叠部分中提取特征点的步骤，将所述图像中的两个顶点的两个图像确定作为一组并且由所述GPS设备为关于至少两组的每组获得所述两个顶点的位置信息的步骤，基于位置信息和基于所述两个图像的所述特征点执行对应于所述特征点的测量点的摄影测量的步骤，以及当所述测量点的勘测结果在至少所述两组中彼此一致时将所述特征点确定作为用于图像组合的接合点的步骤。
文档编号G01C11/00GK102840852SQ20121016159
公开日2012年12月26日 申请日期2012年5月23日 优先权日2011年5月23日
发明者大友文夫, 大佛一毅, 穴井哲治, 大谷仁志 申请人:株式会社拓普康
专业数控铣床产品供应商
20年生产经验，实力工厂，精工品质，质量有保障
