专利名称:光学三维结构测量装置及其结构信息处理方法
技术领域:
本发明涉及一种光学三维结构测量装置及其结构信息处理方法,并且具体地涉及一种其特征在于测量目标的结构信息的处理部分的光学三维结构测量装置及其结构信息处理方法。
背景技术:
传统地,在一些情况下使用OCT (光学相干断层扫描)测量的光学断层图像获取装置用于获取活体组织的光学断层图像。光学断层图像获取装置将从光源发射的低相干光分成测量光和参考光,然后多路复用(multiplex)反射光、或背散射光和参考光以根据反射光和参考光的干涉光的强度获得光学断层图像,其中当测量光被引导到测量目标时,所述反射光来自于测量目标(专利文献1)。以下,背散射光和来自测量目标的反射光将一起作为反射光被描述。具有大致两种类型的OCT测量,TD-OCT (时域OCT)测量和FD-OCT (傅里叶域OCT) 测量。TD-OCT测量是一种测量干涉光强度同时改变参考光的光程长度以获得与测量目标的深度方向的位置(以下,称作“深度位置”)相对应的反射光强度分布的方法。而FD-OCT测量是一种在不需要改变参考光和信号光的光程长度的情况下测量光的每一个光谱成分的干涉光强度的方法,并且计算机将由傅里叶变换表示的频率分析应用到这里获得的频谱干涉强度信号以获得与深度位置相对应的反射光强度分布。FD-OCT测量作为允许进行高速测量的方法而受到关注,这是因为存在于TD-OCT中的机械扫描是不需要的。用于执行FD-OCT测量的装置结构的典型示例包括两种类型=SD-OCT(谱域OCT) 装置和SS-OCT (扫频源OCT)。SD-OCT装置使用诸如SLD (高亮度发光二极管)、ASE (放大自发辐射)光源、和白光的宽带低相干光作为光源,使用迈克尔逊干涉仪或类似装置将宽带低相干光分成测量光和参考光,将测量光引导到测量目标,使此时反射的反射光与参考光进行干涉,使用分光仪将干涉光分解成(dissolve)频率分量,使用包括诸如以阵列方式布置的诸如光电二极管的元件的检测器阵列测量每一个频率分量的干涉光强度,以及通过计算机将傅里叶变换应用到获得的频谱干涉强度信号,从而形式光学断层图像。而SS-OCT装置使用瞬时扫掠光频的激光作为光源,在每一个波长处使反射光和参考光干涉,测量与光频的时间变化相对应的信号的时间波形,以及通过计算机将傅里叶变换应用到获得的频谱干涉强度信号,从而形式光学断层图像。虽然OCT测量是用于获得如上所述的特定区域的光学断层图像的方法,但是内窥镜可以例如通过正常照明光内窥镜或特殊光内窥镜进行观察检测肿瘤病变并将OCT测量应用到该区域来确定肿瘤病变侵入的程度。测量光的光轴可以被二维扫描以与基于OCT测
量的深度信息一起获得三维信息。OCT测量和三维计算机制图技术的集成允许以微米级分辨率显示三维结构模型。 因此,基于OCT测量的三维结构模型将被称作光学三维结构图像。
例如,通过OCT观察食道的肿瘤侵入深度。食道的OCT图像从近侧示出了薄上皮层和强散射基底膜、上皮层和基底膜下面相对较强散射的粘膜固有层、以及相对较弱散射的黏膜肌层、强散射黏膜下层以及粘膜固有层下面的弱散射肌层。以下说明肿瘤的发展所引起的组织结构变化的示例。当肿瘤在上皮层形成并增长时,上皮细胞肥大形成。众所周知此时新生血管从黏膜下层中的血管朝向肿瘤延伸到粘膜层,并且新生血管在基底膜之外形成在癌细胞周围。当肿瘤发展时,肿瘤破坏基底膜以侵入固有层,并且如果肿瘤进一步发展,则侵入深度朝向肌肉黏膜、黏膜下层以及肌层增加。还没有侵入基底膜的肿瘤被称作“上皮内肿瘤”,该上皮内肿瘤用作如果肿瘤被除去则被治疗的指示。重要的是确定肿瘤是否已经侵入基底膜下方从而较早地检测早期肿瘤,以便在扩散风险之前最小化肿瘤的侵入治疗。如果肿瘤已经侵入超过基底膜,则作为接下来的指示,肿瘤是否已经侵入超过粘膜肌层是重要的。如果肿瘤还没有超过粘膜肌层,则转移的可能性较低,并且选择内窥镜烧蚀治疗。另一方面,如果肿瘤超过粘膜肌层,则转移的可能性较高,并选择开胸手术或放射治疗。重要的是确定肿瘤是否已经侵入粘膜肌层下面,以便最小化早期肿瘤的侵入治疗。因此,期望仅提取特定膜或层(例如,基底膜或粘膜肌层)并使该特定膜或层成像。然而,没有方法能够直接观察基底膜的状态。公开了一种通过OCT提取例如眼底的特定散射强度的方法以提取层结构的方法 (专利文献幻。为了提取层结构,深度方向上的一维差分滤波器(differential filter) 或类似装置专门用于提取层结构或层的边界。眼底的层结构是清楚的,并且结构具有一点变化。因此,基于该方法的提取没有太大误差。然而,没有在诸如食道的消化道中实施该方法的示例。众所周知如果肿瘤形成在上皮层上,则新生血管朝向肿瘤形成在粘膜层上。在食道的早期肿瘤的情况下,新生血管穿过黏膜下层和基底膜以延伸到粘膜上皮层,从而形成 IPCL(上皮乳头内毛细管袢)。如果肿瘤发展,则肿瘤破坏基底膜并进入下粘膜层。新生血管朝向肿瘤在随机方向上形成。在正常内窥镜检查中,执行由可以从表面看到的密度分布和新生血管的形状确定肿瘤的等级的方法。{引用列表}{专利文献}{专利文献1}日本专利文献公开待审第2008-U8708号{专利文献2}日本专利文献公开待审第2008-73099号
发明内容
技术问题在OCT的断层图像中观察指示基底膜的信号。然而,在食管粘膜的情况下,由于由诸如新生血管的粘膜中的结构引起的错误识别,或由于在较深位置处由于在肿瘤发展之后变得极厚或由诸如血管的相对浅层的结构所引起的光强度衰减,提取可能是困难的,其中所述新生血管表明如在基底膜中一样的强散射。存在一种基底膜由于肿瘤的侵入而消失的情况,并且不利在于难以辨别除了基底膜之外的层或从结构露出来的另一层是否与基底膜连续或不连续。新生血管的分布在识别肿瘤的扩散时是一种有用的指示。然而,传统的OCT测量办法仅观察与周围正常部分(surrounding normal sections)相比较粘膜表面附近的新生血管的密度是否突出。同时,传统的内窥镜观察法仅观察粘膜表面附近的新生血管。因此,传统的方法的缺点在于例如当具有由炎症引起的充血时与新生血管进行区别是困难的,并且当非肿瘤粘膜遮盖粘膜时能见度较低。例如,期望的是如果可以直接观察新生血管超过基底膜时产生的孔,则能够准确地确定生命体内的新生血管的分布。然而,还没有一种这样的方法。已经鉴于上述情况完成本发明,并且本发明的目的是提供一种光学三维结构测量装置及其结构信息处理方法,其可以根据具有层结构的测量目标的结构信息容易地识别层区域并且可以确定地提取深部分处由浅层区域的结构引起的不清楚层区域的结构信息。技术方案为了获得该目的,第一方面提供了一种光学三维结构测量装置,所述光学三维结构测量装置在具有层结构的测量目标的叠层的深度方向上引导测量光,并对测量光的光轴进行二维扫描以获得测量目标的光学三维结构信息,所述光学三维结构测量装置包括光学三维结构信息存储装置,用于存储光学三维结构信息;特定层提取装置,用于比较存储在光学三维结构信息存储装置中的光学三维结构信息的信息值与预定阈值,并将等于或大于预定范围的区域作为测量目标的特定层区提。渲械扔诨虼笥谠ざㄣ兄档墓庋峁剐畔⒌男畔⒅翟诘扔诨虼笥谠ざǚ段У乃銮蛑辛灰怕┣崛∽爸茫糜诮囟ú闱泄庋峁剐畔⒌男畔⒅敌∮谠ざㄣ兄档那蜃魑怕┣崛。灰怕┣段Ъ扑阕爸茫糜诩扑阋怕┣姆段У拇笮。灰约案行巳で掷嘧爸茫糜诒冉弦怕┣姆段У拇笮∮攵喔鲈ざǚ段范ú慰贾担⒔怕┣掷喑啥嘀掷嘈偷母行巳で。在第一方面的光学三维结构测量装置中,特定层提取装置比较存储在光学三维结构信息存储装置中的光学三维结构信息的信息值与预定阈值,并将测量目标的等于或大于预定范围的等于作为测量目标的特定层区提。渲械扔诨虼笥谠ざㄣ兄档墓庋峁剐畔⒌男畔⒅翟诘扔诨虼笥谠ざǚ段У乃銮辛。遗漏区提取装置将特定层区中光学三维结构信息的信息值小于预定阈值的区域作为遗漏区提取。遗漏区范围计算装置计算遗漏区的范围的大小。感兴趣区分类装置比较遗漏区的范围的大小与多个预定范围确定参考值,并将遗漏区分类成多种类型的感兴趣区。因此,有益效果在于可以从具有层结构的测量目标的结构信息容易地识别层区域的连续性,并且可以确信地提取深度截面处由浅层区域中的结构引起的不清楚层区域。优选地,第二方面提供一种根据第一方面的光学三维结构测量装置,其中特定层提取装置包括噪点区删除装置,如果等于或大于所述预定阈值的光学三维结构信息的信息值连续的区域小于预定范围,则所述噪点区删除装置确定作为噪点区的区域以从光学三维结构信息删除所述区域。优选地,第三方面提供一种根据第一或第二方面的光学三维结构测量装置,还包括计算机图形图像构建装置,用于将渲染处理应用到光学三维结构信息以构建计算机图形图像。优选地,第四方面提供一种根据第三方面的光学三维结构测量装置,包括用于添加属性的属性添加装置,所述属性添加装置将能够识别所述特定层区和所述感兴趣区的属性添加到所述特定层区和所述感兴趣区,其中计算机图形图像构建装置将渲染处理应用到光学三维结构信息以构建包括至少设有属性的特定层区和感兴趣区的计算机图形图像。优选地,第五方面提供一种根据第四方面的光学三维结构测量装置,其中计算机图形图像构建装置将投影图像构建为计算机图形图像,投影图像在测量目标的叠层的深度方向上投影特定层区。优选地,第六方面提供一种根据第四或第五方面的光学三维结构测量装置,其中计算机图形图像构建装置将渲染处理应用到光学三维结构信息以构建光学三维结构图像作为计算机图形图像。优选地,第七方面提供一种根据第四至第六方面中任一个的光学三维结构测量装置,其中属性添加装置包括属性控制装置,所述属性控制装置用于将小于至少在预定范围确定参考值中的最小范围确定参考值的感兴趣区的属性设定为特定层区的属性。优选地,第八方面提供一种根据第七方面的光学三维结构测量装置,属性控制装置根据具有大于预定范围确定参考值中的最小范围确定参考值的数值的多个范围确定参考值将不同的属性添加到由感兴趣分类装置分类的感兴趣区中的每一个。优选地,第九方面提供一种根据第一至第八方面中的任一个的光学三维结构测量装置,其中测量目标是活粘膜组织,感兴趣区分类装置将等于或大于预定范围确定参考值中第一范围确定参考值且小于第二范围确定参考值的感兴趣区分类成新生血管区,其中所述第二范围确定参考值大于第一范围确定参考值。优选地,第十方面提供一种根据第九方面的光学三维结构测量装置,其中感兴趣区分类装置将等于或大于预定范围确定参考值中的第二范围确定参考值的感兴趣区分类成肿瘤侵入区。优选地,第十一方面提供一种根据第九或第十方面的光学三维结构测量装置,还包括新生血管分布图像生成装置,用于生成在特定层区中由感兴趣区分类装置确定的作为新生血管分布图像的新生血管区的分布。优选地,第十二方面提供一种根据第九至第十一方面的光学三维结构测量装置, 其中特定层区包括活粘膜组织的基底膜区和粘膜肌层区中的至少一个。第十三方面提供一种光学三维结构测量装置的结构信息处理方法,所述光学三维结构测量装置在具有层结构的测量目标的叠层的深度方向上引导测量光,并对测量光的光轴进行二维扫描以获得测量目标的光学三维结构信息,所述结构信息处理方法包括以下步骤存储光学三维结构信息的光学三维结构信息存储步骤;特定层提取步骤,包括以下步骤比较在光学三维结构信息存储步骤中存储的光学三维结构信息的信息值与预定阈值, 并将等于或大于预定范围的区域作为测量目标的特定层区提。渲械扔诨虼笥谠ざㄣ兄档墓庋峁剐畔⒌男畔⒅翟诘扔诨虼笥谠ざǚ段У乃銮蛑辛患扑阋怕┣姆段У拇笮〉囊怕┣段Ъ扑悴街瑁唤囟ú闱泄庋峁剐畔⒌男畔⒅敌∮谠ざㄣ兄档那蜃魑怕┣崛〉囊怕┣崛〔街瑁灰约案行巳で掷嗖街瑁ㄒ韵虏街璞冉弦怕┣姆段У拇笮∮攵喔鲈ざǚ段范ú慰贾担⒔怕┣掷喑啥嘀掷嘈偷母行巳で。在第十三方面的光学三维结构测量装置的结构信息处理方法中,特定层提取步骤比较存储在光学三维结构信息存储装置中的光学三维结构信息的信息值与预定阈值,并将测量目标的等于或大于预定范围的等于作为测量目标的特定层区提。渲械扔诨虼笥谠ざㄣ兄档墓庋峁剐畔⒌男畔⒅翟诘扔诨虼笥谠ざǚ段У乃銮辛。遗漏区提取步骤将特定层区中光学三维结构信息的信息值小于预定阈值的区域作为遗漏区提取。遗漏区范围计算步骤计算遗漏区的范围的大小。感兴趣区分类步骤比较遗漏区的范围的大小与多个预定范围确定参考值,并将遗漏区分类成多种类型的感兴趣区。因此,有益效果在于可以从具有层结构的测量目标的结构信息容易地识别层区域的连续性,并且可以确信地提取深度截面处由浅层区域中的结构引起的不清楚层区域。技术效果如上所述,本发明具有如下有益效果可以根据具有层结构的测量目标的结构信息容易地识别层区域的连续性,并且可以确信地提取深度截面处由浅层区域的结构造成的不清楚层的结构信息。
图1是显示根据本发明的一个实施例的光学三维结构成像装置的结构的方框图;图2是显示图1的光学三维结构成像装置中的扫描装置的变形示例的图;图3是显示图1的信号处理单元的结构的方框图;图4是显示图1的光学三维结构成像装置的三维CG图像生成过程的流程图;图5是用于说明从光学三维结构图像提取特定层的特定过程并通过图3的特定层提取噪点剔除单元剔除光学三维结构图像的噪点的示例的图;图6是通过图3的特定层提取/噪点剔除单元所提取的特定层的投影图;图7是说明根据第一示例的通过图3的属性添加/控制单元从特定层删除感兴趣区A的图;图8是显示根据第一示例的由图3的渲染单元(rendering unit)产生的计算机图形图像的示例的图;图9是用于说明图5的过程的第二示例的图;图10是根据第二示例的由图3的特定层提取/噪点剔除单元所述提取的特定层的投影图;图11是说明根据第二示例的由图3的属性添加/控制单元对特定层中的感兴趣区进行处理的图;图12是显示根据第二示例的由图3的渲染单元生成的计算机图形图像的图;图13是根据第三示例的由图3的特定层提取/噪点剔除单元所提取的特定层的投影图;图14是显示根据第三示例的由图3的渲染单元生成的计算机图形图像的图;图15是显示由图3的属性添加/控制单元生成的新生血管的分布图像的图;图16是当图15的新生血管的分布图像叠加在基底膜区上时的图;图17是显示通过对图15的新生血管的分布图像渲染而产生的计算机图形图像的图;以及图18是将图11的投影图叠加在内窥镜图像上的图。
具体实施方式
以下,参照附图详细地说明作为根据本发明的光学三维结构测量装置的光学三维结构成像装置的一个实施例。图1是显示根据本发明的实施例的光学三维结构成像装置的结构的方框图。如图ι所示,作为光学三维结构测量装置的光学三维结构成像装置1根据大约1. 3um波长的 SS-OCT测量获得例如体腔中的活体组织或细胞的测量目标的断层图像。光学三维结构测量装置包括OCT光源10、包括干涉信息检测单元70的OCT干涉仪30、探头40、CG图像发生单元90以及监视器100。OCT光源10是发射红外光域的激光L同时在一定时间段扫掠频率的光源。OCT干涉仪30中的光解多路复用器(demultiplexer) 3将从OCT光源10发射的激光L解多路复用成测量光Ll和参考光L2。光解多路复用器3例如由具有90 10的分支比的光耦合器构成并在测量光参考光=90 10的比值下解多路复用所述光。在OCT干涉仪30中,光程长调节单元80作为参考光调节装置调节由光解多路复用器3解多路复用并通过循环器fe的参考光L2的光程长并反射该参考光L2。光程长调节单元80改变参考光L2的光程长以调节开始采集断层图像的位置并具有准直透镜81和82以及反光镜83。来自循环器fe的参考光L2在穿过准直透镜81和82 之后被反光镜83反射,并且参考光L2的反射光Lh再次通过准直透镜81和82进入循环器5a0反光镜83布置在可移动台84上,并且反射镜移动单元85可以使可移动台84在箭头A方向上移动。当可移动台84在箭头A方向上移动时,参考光L2的光程长改变。参考光L2的来自光程长调节单元80的反射光Lh通过循环器fe被引导到光多路复用/解多路复用单元4。而由光解多路复用器3解多路复用的测量光Ll通过循环器恥和光纤FB被引导到探头40。测量光Ll从探头40的发射端发射并被引导到测量目标T。反射光L3再次进入探头40并返回到循环器恥。探头40通过光学旋转连接器41将入射测量光Ll引导到测量目标T并将测量光 Ll引导到测量目标T。当测量光Ll被引导到测量目标T时,探头40还引导来自测量目标 T的反射光L3。假设测量目标T的深度方向为Z,探头的纵向轴线方向为X,而垂直于ZX平面的方向为Y,在作为扫描装置的光学扫描器42中未示出的电动机使超过光学旋转连接器41的光纤段在探头40中旋转。因此,测量光Ll在测量目标T上方沿圆周方向被扫描,并且可以测量ZY平面的二维断层图像。此外,光学扫描42中未示出的电动机使探头40的末端在垂直于由测量光Ll的扫描圆形成的平面的方向X上往复扫描。因此,可以测量CTZ的三维断层图像。探头40通过未示出的光连接器可除去地连接到光纤FB。图2是图1中的光学三维结构成像装置中的扫描装置的变形示例的图。显而易见地,探头末端的形状和扫描方向不局限于此。例如,如图2所示,包括透镜L和诸如检流计反射镜的高速扫描镜M的光发送/接收单元900靠近光纤末端布置以通过高速扫描镜M执行二维扫描,或者光采集装置和扫描装置可以被构造成通过台(stage) (未示出)执行往复扫描。可选地,该台可以二维扫描测量目标。可选地,可以结合光轴扫描机构和测量样品移动机构。在OCT装置的光轴扫描中,可以使用检流计反射镜,或者可以使用通过台进行扫描的这种类型的装置。在使用探头的情况下,可以由电机仅旋转极化反射镜,或者探头可以固定到光纤,并且每一个光纤可以使探头旋转。除了旋转之外,MEMS (微机电系统)镜可以用于执行线性扫描。来自测量目标T的反射光(或背散射光)L3被引导到OCT干涉仪30并通过循环器恥被OCT干涉仪30引导到光多路复用/多路分配单元4。光多路复用/多路分配单元 4多路复用测量光Ll的反射光(或背散射光)和参考光L2的反射光Ua并将所述光朝向干涉信息检测单元70发射。干涉信息检测单元70以预定取样频率检测由多路复用/解多路复用单元4多路复用的测量光Ll的反射光(或背散射光)L3和参考光L2的反射光!^加的干涉光L5。干涉信息检测单元70包括InGaAs光电检测器71a和71b以及干涉光检测单元72,所述InGaAs 光电检测器测量干涉光L5的光强度,所述干涉光检测单元执行InGaAs光电探测器71a的检测值与InGaAs光电探测器71b的检测值的平衡检测。通过光多路复用/解多路复用单元4将干涉光L5分成两个光,通过InGaAs光电探测器71a和71b检测干涉光L5,并将干涉光L5输出到干涉光检测单元72。干涉光检测单元72与OCT光源10的扫掠触发信号S 同步地将傅里叶变换应用到干涉光L5以检测在测量目标T的每一个深度位置处的反射光 (或背散射光)L3的强度。CG图像生成单元90将由干涉光检测单元72检测到的测量目标T的每一个深度位置处的反射光(或背散射光)L3的强度作为干涉信息的信号强度信息存储在作为光学三维结构信息存储装置的存储器91中。除了存储器91之外,CG图像生成单元90包括信号处理单元93和控制单元94。信号处理单元93根据存储在存储器91中的干涉信息的信号强度信息生成由测量目标T的结构信息组成的光学三维结构图像。控制单元94控制信号处理单元93,控制OCT光源10的光发射,以及控制反射镜移动单元85。图3是显示图1的信号处理单元的结构的方框图。如图3所示,信号处理单元93 包括光学三维结构图像生成单元120、作为特定层提取装置和噪点区删除装置的特定层提取/噪点剔除单元121、作为遗漏区提取装置的遗漏区提取单元122、作为遗漏区范围计算装置的遗漏区范围计算单元123、作为感兴趣区分类装置的感兴趣区分类单元124、阈值/ 参考值存储单元125、作为属性添加装置和属性控制装置的属性添加/控制单元126、以及作为计算机图形图像构建装置的渲染单元127。光学三维结构图像生成单元120根据存储在存储器91中的干涉信息的信号强度信息生成由测量目标T的结构信息组成的光学三维结构图像。特定层提取/噪点剔除单元121比较连续结构信息的范围与预定阈值,使得如果连续结构信息的范围等于或大于预定阈值则确定区域是由光学三维结构图像生成单元120 构建的光学三维结构图像的特定层区(例如,基底膜区或粘膜肌层区),以及如果连续结构信息的范围小于预定阈值则确定区域是噪点区,从而提取测量目标T的结构信息的噪点区以从光学维结构图像剔除该噪点区。遗漏区提取单元122提取遗漏区,其中,在通过特定层提取/噪点剔除单元121提取的特定层区中遗漏结构信息。遗漏区范围计算单元123计算通过遗漏区提取单元122提取的遗漏范围的大。 例如面积。
感兴趣区分类单元124比较由遗漏区范围计算单元123计算的遗漏范围的大小与预定范围确定参考值并将遗漏区分类成与遗漏范围的大小相对应的多个感兴趣区(例如, 新生血管区、微肿瘤侵入区、和发展肿瘤侵入区)。阈值/参考值存储单元125存储特定层提取/噪点剔除单元121使用的预定阈值、 感兴趣区分类单元1 使用的范围确定参考值和类似值。属性添加/控制单元1 为由特定层提取/噪点剔除单元121提取的特定层区和由感兴趣区分类单元IM分类的感兴趣区增加和设置属性。渲染单元127将渲染处理(rendering process)应用到由光学三维结构图像生成单元120产生的光学三维结构图像的结构信息、由特定层提取/噪点剔除单元121提取的特定层区、和由感兴趣区分类单元IM分类的感兴趣区,以生成计算机图形图像。根据添加并设定到属性添加/控制单元126的特定层区和感兴趣区的特性,渲染单元127构建计算机图形图像以允许识别特定层区和感兴趣区。因此,渲染单元127根据特定层区和感兴趣区的属性执行例如不同色彩处理或增强处理以构建计算机图形图像,例如光学三维结构CG 图像。渲染单元127被构造成将构建的计算机图形图像输出到监视器100。以下参照图4的流程图说明如上所述构造而成的本实施例的光学三维结构成像装置1的操作。图4是显示图1的光学三维结构成像装置的三维CG图像生成过程的流动图的流程图。如图4所示,控制单元94使光学三维结构图像生成单元120根据存储在存储器91 中的干涉信息的信号强度信息生成由测量目标T的结构信息组成的光学三维结构图像(步骤Si)。光学三维结构图像生成单元120使噪点剔除装置执行例如低通滤波或平均处理以剔除小于适于确定连续性的大小的高频噪点。控制单元94然后使特定层提取/噪点剔除单元121根据来自阈值/参考值存储单元125的预定阈值提取由光学三维结构图像生成单元120构建的光学三维结构图像的层结构的结构信息(步骤S2)。控制单元94进一步使特定层提取/噪点剔除单元121根据来自阈值/参考值存储单元125的预定阈值提取测量目标T的干涉信息的信号强度信息的噪点信息并从光学三维结构图像剔除该噪点信息(步骤S3)。以下参照图5-7说明步骤S2和S3的过程的细节。图5是用于说明图3的特定层提取/噪点剔除单元从光学三维结构图像提取特定层并剔除光学三维结构图像的噪点的特定过程。图6是由图3的特定层提取/噪点剔除单元提取的特定层的投影图。在图5的截面(A)中,生命体的食道具有层结构,所述层结构例如从上层包括粘膜表面150、薄上皮层151、强散射基底膜152、相对较强散射粘膜固有层153、相对较弱散射粘膜肌层154、强散射粘膜下层155和肌层(未示出)。当肿瘤形成在上皮层151上时,上皮层151的厚度增加,并且过度生长形成在上皮层151上。肿瘤首先破坏基底膜152以侵入粘膜固有层153。如果肿瘤进一步发展,则侵入深度朝向粘膜肌层154、黏膜下层155和肌层增加。重要的是确定肿瘤是否已经侵入到基底膜152下面以辨别肿瘤侵入的存在。当光学三维结构成像装置1将OCT测量应用到图5的截面㈧中所示的食道的粘膜组织时,光学三维结构成像装置1可以获得干涉信息的信号强度信息,如图5的截面(B)中所示。为了简化说明,图5的截面(B)沿食道的叠层的深度方向以横截面的方式示意性地示出了作为粘膜表面150、上皮层151和基底膜152的干涉信息的信号强度信息的粘膜表面强度信息150a、上皮层强度信息151a和基底膜强度信息15加。因为如图5的截面㈧所示例如在上皮层151中具有毛细管156,因此在上皮层强度信息151a检测到与毛细管156相对应的毛细管强度信息156a,如图5的截面(B)所示。 毛细管强度信息156a在OCT测量期间相对于下层被遮蔽,并且在基底膜强度信息15 中生成没有强度信息的遗漏部分158a。在上皮层强度信息151a中可能会进一步生成噪点分量 157a0因此,在步骤S2中,特定层提取/噪点剔除单元121从干涉信息的信号强度信息提取粘膜表面结构信息150b、上皮层结构信息151b、和基底膜结构信息152b作为粘膜表面 150、上皮层151和基底膜152的结构信息。当提取结构信息时,在上皮层结构信息151b中提取由毛细管或噪点产生的小区域的结构信息156b和157b,如图5的截面(C)所示,并且在基底膜结构信息152b中提取不具有被毛细管和类似物遮蔽的信息的遗漏区158b。在步骤S2中,特定层提取/噪点剔除单元121比较连续结构信息的范围的大小 (在图5的截面(C)的情况下的连续结构信息的长度)与存储在阈值/参考值存储单元125 中的预定阈值,并且如果连续结构信息的范围的大小等于或大于预定阈值,则提取粘膜表面150、上皮层151和基底膜152,其中所述粘膜表面150、上皮层151和基底膜152是由光学三维结构图像生成单元120构建的光学三维结构图像的特定层区。遗漏区158b与上皮层151 —起被提取。在步骤S3中,如果连续结构信息的范围的大小小于预定阈值,则特定层提取/噪点剔除单元121进一步确定该区域是噪点区,并提取测量目标T的结构信息的噪点区。特定层提取/噪点剔除单元121然后从光学三维结构图像剔除该噪点区。因此,在步骤S3的过程中,特定层提取/噪点剔除单元121从光学三维结构图像剔除图5的截面(C)中所示的小区域的结构信息156b和157b。作为步骤S2和S3的过程的结果,如图5的截面⑶所示,特定层提取/噪点剔除单元121提取粘膜表面区150A、上皮层区151A和基底膜区152A,所述粘膜表面区150A、上皮层区151A和基底膜区152A包括结构信息156b和157b,并且从所述粘膜表面区150A、上皮层区151A和基底膜区152A剔除噪点区。遗漏区158A与上皮层区151A—起被提取。虽然为了简化说明在图5中使用并说明了二维横截面图像,但是特定层提取/噪点剔除单元121专门地将步骤S2和S3的过程应用到整个光学三维结构图像。更具体地,特定层提取/噪点剔除单元121首先提取干涉信息的信号强度信息沿深度方向较高的点(提取点)。这可应用于整个三维图像。相邻提取点被积分以形式一些提取区。在每一个提取区中,特定层提取/噪点剔除单元121分离连续层(例如,粘膜表面区150A、上皮层区151A和基底膜区152A)和其它结构(例如,结构信息156b和157b 参见图5的截面(O)0在每一个提取区中,如果投影图170的面积(连续结构信息的范围的大小)等于或大于投影图170中的一定面积(存储在阈值/参考值存储单元125中的预定阈值)(如从图6中所示的上表面可以看到),则特定层提取/噪点剔除单元121确定该层是连续层(例如,粘膜表面区150A、上皮层区151A和基底膜区152A),并假设该区域在其它情况下(例如,结构信息156b和157b 参见图5的截面(C))为噪点区,从而剔除该噪点区。返回到图4,控制单元94使遗漏区提取单元122提取例如在图6中所示的基底膜区152A的投影图170上生成的多个遗漏区158A(步骤S4)。控制单元94使遗漏区范围计算单元123计算由遗漏区提取单元122提取的遗漏区158A的大。缑婊(步骤S5)。控制单元94使感兴趣区分类单元124比较由遗漏区范围计算单元123计算的遗漏区158A的大小与来自阈值/参考值存储单元125的预定范围确定参考值,并将遗漏区 158A分类成与遗漏范围的大小相对应的多个感兴趣区(例如,新生血管区、微肿瘤侵入区和发展肿瘤侵入区)(步骤S6)。具体地,感兴趣区分类单元IM在投影图17中将遗漏区158A分类成与例如直径相对应的感兴趣区类别。例如,如果直径小于10微米,则感兴趣区分类单元IM将遗漏区 158A分类成感兴趣区A(例如,正常毛细管区或噪点),如果直径为10微米或更大且小于 200微米,则感兴趣区分类单元IM将遗漏区158A分类成感兴趣区B (例如,新生血管区), 如果直径为200微米或更大且小于1mm,则感兴趣区分类单元IM将遗漏区158A分类成感兴趣区C (例如,微侵入区),以及如果直径为Imm或更大,则感兴趣区分类单元IM将遗漏区158A分类成感兴趣区D (例如,发展的侵入区)。控制单元94使属性添加/控制单元126为由特定层提取/噪点剔除单元121提取的特定层区(粘膜表面区150A、上皮层区151A和基底膜区152A)和由感兴趣区分类单元 124分类的感兴趣区添加和设定属性。例如,为特定层区和感兴趣区添加和设定色彩属性。控制单元94使渲染单元127将渲染处理应用到由光学三维结构图像生成单元120 生成的光学三维结构图像和由特定层提取/噪点剔除单元121提取的特定层区的结构信息以及由感兴趣区分类单元1 分类的感兴趣区以生成计算机图形图像(步骤S8)。渲染单元127根据由属性添加/控制单元1 添加和设定的特定层区和感兴趣区的属性构建计算机图形图像以允许识别特定层区和感兴趣区。更具体地,渲染单元127基于特定层区和感兴趣区的属性例如执行不同颜色处理或加强处理以构建计算机图形图像。控制单元94将由渲染单元127构建的计算机图形图像输出给监视器100并在监视器100上显示该计算机图形图像(步骤S9)。在第一和随后的示例中具体地说明步骤S6-S8的过程。〈第一示例〉图7是根据第一示例的说明通过图3的属性添加/控制单元从特定层删除感兴趣区A的图。图8是显示根据第一示例的由图3的渲染单元生成的计算机图形图像的示例的图。在图5和图6中所示的基底膜区152A中的遗漏区158b的情况下,如果该区域小于10微米,则在步骤S6中感兴趣区分类单元IM将遗漏区158b例如分类成感兴趣区A (例如,正常毛细管区或噪点)。属性添加/控制单元1 在步骤S7中将与基底膜区152A的属性相同的属性添加到感兴趣区A以从基底膜区152A删除感兴趣区A(遗漏区158b),如图7所示。这样,在步骤S8中,渲染单元127对特定层区(粘膜表面区150A、上皮层区151A和基底膜区152A)进行渲染,包括添加色彩属性到由光学三维结构图像生成单元120生成的光学三维结构图像,以生成计算机图形图像140,如图8所示。在计算机图形图像140中, 从基底膜区152A删除遗漏区158。〈第二示例〉图9是用于说明图5的程序的第二示例的图。图10是根据第二示例的由图3的特定层提取/噪点剔除单元提取的特定层的投影图。图11是说明根据特定层中的感兴趣区的第二示例由图3的属性添加/控制单元进行的处理的图。图12是显示根据第二示例的由图3的渲染单元生成的计算机图形图像的示例的图。图9的截面(A)-(D)中的处理内容与图5的截面(A)-(D)中的处理内容相同,并且不再重复进行说明。如图9所示,当肿瘤侵入基底膜区152A并且基底膜区152A的一部分消失时,如果直径例如为Imm或更大,则感兴趣区分类单元IM在步骤S6中将由这种消失产生的遗漏区 180b分类成感兴趣区D (例如,发展侵入区)。如果直径例如小于10微米,则与第一示例的情况一样,感兴趣区分类单元IM将图9的截面(A)-(D)中的遗漏区158b分类成感兴趣区 A(例如,正常毛细管区或噪点)。在每一个提取区中,如果投影图170的面积(连续结构信息的范围的大小)等于或大于投影图170中的一定面积(存储在阈值/参考值存储单元125中的预定阈值)(如从图10中所示的上表面可以看到),则特定层提取/噪点剔除单元121确定该层是连续层 (例如,粘膜表面区150A、上皮层区151A和基底膜区152A),并假设该区域在其它情况下 (例如,结构信息156b和157b 参见图5的截面(C))为噪点区,从而剔除该噪点区。属性添加/控制单元1 为投影图170中的感兴趣区A添加与基底膜区152A的属性相同的属性以如图11所示从基底膜区152A删除感兴趣区A(遗漏区158)并在直径为 Imm或更大的情况下将遗漏区180b作为感兴趣区D (发展侵入区)留在基底膜区152A上。这样,渲染单元127对特定层区(粘膜表面区150A、上皮层区151A和基底膜区 152A)渲染,其中在步骤S8中例如可识别色彩属性被添加到由光学三维结构图像生成单元 120生成的光学三维结构图像,以生成计算机图形图像140,如图12所示。在计算机图形图像140中,从基底膜区152A删除遗漏区158,并且在基底膜区152A中对作为设有例如可识别色彩属性的感兴趣区D(遗漏区180b)的发展侵入区域进行渲染。〈第三示例〉图13是根据第三示例的由图3的特定层提取/噪点剔除单元提取的特定层的投影图。图14是显示根据第三示例的由图3的渲染单元生成的计算机图形图像的示例的图。在食道的早期肿瘤的情况下,新生血管穿过黏膜下层和基底膜以延伸到粘膜上皮层,从而形成IPCL(上皮乳头内毛细管袢)。如果肿瘤发展,则肿瘤破坏基底膜并进入下粘膜层。新生血管朝向肿瘤在随机方向上形成。在正常内窥镜检查中,执行由密度分布和可以从表面看到的新生血管的形状确定肿瘤的等级的方法。然而,仅能够观察到接近粘膜表面的新生血管。第三示例是用于确定生命体内部的新生血管分布并根据新生血管观察基底膜的状态的示例。感兴趣区分类单元IM在步骤S6中将遗漏区例如分类成感兴趣区A-D。如图13所示,属性添加/控制单元1 将与基底膜区152A的属性相同的属性添加到投影图170中的感兴趣区A以从基底膜区152A删除感兴趣区A(遗漏区158),并在直径为10微米或更大且小于200微米的情况下将遗漏区190b作为感兴趣区B (新生血管区) 留在基底膜区152A上,在直径为200微米或更大且小于Imm的情况下将遗漏区191b作为感兴趣区C(微侵入区域)留在基底膜区152A上,以及在直径为Imm或更大的情况下将遗漏区192b作为感兴趣区D (发展侵入区)留在基底膜区152A上(步骤S7)。这样,渲染单元127对特定层区(粘膜表面区150A、上皮层区151A和基底膜区 152A)进行渲染,其中在步骤S8中例如可识别色彩属性被添加到由光学三维结构图像生成单元120生成的光学三维结构图像以生成计算机图形图像140,如图14所示。在计算机图形图像140中,从基底膜区152A删除遗漏区158,以及对例如在基底膜区152中设有可识别彩色属性的作为感兴趣区B至D (遗漏区190b、遗漏区191b和遗漏区192b)的新生血管区、微侵入区和发展侵入区进行渲染。图15是显示由图3的属性添加/控制单元生成的新生血管的分布图像的图。图 16是当图15的新生血管的分布图像叠加在基底膜区上时的图。图17是显示对图15的新生血管的分布图像渲染的计算机图形图像。第三示例的属性添加/控制单元1 如图15所示生成作为分布图像200的新生血管的分布并可以将新生血管的分布图像200叠加在基底膜区152A的投影图170上,如图 16所示。因此,渲染单元127可以生成如图17所示的计算机图形图像140,这允许容易地在基底膜中识别新生血管的分布状态,并且可以更加确定地诊断肿瘤。在第三示例中,可以根据基底膜的结构以容易理解的方式具体地显示新生血管的密度和侵入状态。即使在深度截面处由浅区域处的结构引起的不清楚区域中也可以更加确定地提取层结构。第三示例还在年龄相关黄斑变性、糖尿病性视网膜病、视网膜静脉闭塞和引起眼内新生血管的新生血管化青光眼的诊断是有效的。在这种情况下,代替基底膜,提取并观察视网膜。如本实施例和第一至第三实施例中所述,可以具体地获得以下有益效果。(1)即使活体结构由于病变而改变,也可以容易地提取特定层。(2)即使在深度截面处由浅区域中的结构产生的不清楚区域中也可以更加确定地提取层结构。(3)可以容易地确定由肿瘤引起的层结构的连续性的丧失。根据本实施例,可以容易地从具有层结构的测量目标的结构信息识别层区域的连续性,并且可以确定地提取深度截面处由浅层区域中的结构引起的不清楚层区域的结构信肩、ο图18是将图11的投影图叠加在内窥镜图像的图。在本实施例和第一至第三实施例中,当探头40插入到内窥镜的夹钳通道以执行内窥镜图像观察和OCT测量时,渲染单元 127可以在半透明状态下将投影图170叠加在内窥镜图像300上,如图18所示。渲染单元 127可以在监视器100上显示通过在半透明状态下将投影图170叠加在内窥镜图像300上而形成的图像以提高肿瘤的诊断。肿瘤筛选的办法的示例包括称作NBI (窄带成像)的公知方法和称作FICE (柔性光谱成像彩色增强)的公知方法。这些是用于对蓝色和绿色波长范围成像以有助于观察病变的特征的办法。可以在监视器100上显示通过在半透明状态下将投影图170叠加在NBI/FICE图像上形成的图像。虽然已经详细说明了本发明的光学三维结构测量装置,但是本发明不局限于该示例,并且显而易见的是在不背离本发明的保护范围的情况下可以进行各种修改和改变。虽然已经说明了食道的基底膜的示例,但是如果在诸如胃、小肠和大肠的其它消化道中提取粘膜肌层,则可以以容易理解的方式观察侵入。如果特定膜或层结构在诸如包括具有基底膜的口腔、舌头、咽、胃、小肠、大肠和胆管的消化道、包括鼻腔、喉、和支气管的呼吸器官、包括膀胱、尿管和尿道的泌尿器、包括子宫和阴道的生殖器官、皮肤和具有层结构的眼底的组织中不正常地变化,则本发明还可以应用于该组织。附图标记列表光学三维结构成像装置 .OCT光源 .OCT干涉仪 .探头
.干涉信息检测单元 .CG图像生成单元 存储器 .信号处理单元 .控制单元 ..监视器
..光学三维结构图像生成单元 ..特定层提取/噪点剔除单元 ..遗漏区提取单元 ..遗漏区范围计算单元 ..感兴趣区分类单元 ..阈值/参考值存储单元 ..属性添加/控制单元 ..渲染单元
0141]10.0142]30.0143]40.0144]70.0145]90.0146]91.0147]93.0148]94.0149]1000150]1200151]1210152]1220153]1230154]1240155]1250156]1260157112权利要求
1.一种光学三维结构测量装置,所述光学三维结构测量装置在具有层结构的测量目标的叠层的深度方向上引导测量光,并对所述测量光的光轴进行二维扫描以获得所述测量目标的光学三维结构信息,所述光学三维结构测量装置包括光学三维结构信息存储装置,用于存储所述光学三维结构信息;特定层提取装置,用于比较存储在所述光学三维结构信息存储装置中的光学三维结构信息的信息值与预定阈值,并将等于或大于预定范围的区域作为所述测量目标的特定层区提。渲械扔诨虼笥谒鲈ざㄣ兄档乃龉庋峁剐畔⒌男畔⒅翟诘扔诨虼笥谠ざǚ段У乃銮蛑辛灰怕┣崛∽爸茫糜诮鎏囟ú闱械乃龉庋峁剐畔⒌男畔⒅敌∮谒鲈ざㄣ兄档那蜃魑怕┣崛。灰怕┣段Ъ扑阕爸茫糜诩扑闼鲆怕┣姆段У拇笮。灰约案行巳で掷嘧爸茫糜诒冉纤鲆怕┣姆段У拇笮∮攵喔鲈ざǚ段范ú慰贾担 并将所述遗漏区分类成多种类型的感兴趣区。
2.根据权利要求1所述的光学三维结构测量装置,其中,所述特定层提取装置包括噪点区删除装置,在等于或大于所述预定阈值的所述光学三维结构信息的信息值连续的区域小于所述预定范围的情况下,所述噪点区删除装置确定作为噪点区的区域以从所述光学三维结构信息删除所述区域。
3.根据权利要求1或2所述的光学三维结构测量装置,还包括计算机图形图像构建装置,用于将渲染处理应用到所述光学三维结构信息以构建计算机图形图像。
4.根据权利要求3所述的光学三维结构测量装置,包括用于添加属性的属性添加装置,所述属性添加装置将能够识别所述特定层区和所述感兴趣区的属性添加到所述特定层区和所述感兴趣区,其中所述计算机图形图像构建装置将渲染处理应用到所述光学三维结构信息以构建包括至少设有所述属性的所述特定层区和所述感兴趣区的所述计算机图形图像。
5.根据权利要求4所述的光学三维结构测量装置,其中,所述计算机图形图像构建装置将投影图像构建为所述计算机图形图像,所述投影图像在所述测量目标的叠层的深度方向上投影所述特定层区。
6.根据权利要求4或5所述的光学三维结构测量装置,其中,所述计算机图形图像构建装置将渲染处理应用到所述光学三维结构信息,以构建光学三维结构图像作为所述计算机图形图像。
7.根据权利要求4-6中任一项所述的光学三维结构测量装置,其中,所述属性添加装置包括属性控制装置,所述属性控制装置用于将小于至少在所述预定范围确定参考值中的最小范围确定参考值的所述感兴趣区的属性设定为所述特定层区的属性。
8.根据权利要求7所述的光学三维结构测量装置,其中,所述属性控制装置根据具有大于所述预定范围确定参考值中的最小范围确定参考值的数值的多个范围确定参考值将不同的属性添加到由所述感兴趣分类装置分类的所述感兴趣区中的每一个。
9.根据权利要求1-8中任一项所述的光学三维结构测量装置,其中,所述测量目标是活粘膜组织,所述感兴趣区分类装置将等于或大于所述预定范围确定参考值中的第一范围确定参考值且小于所述预定范围确定参考值中的第二范围确定参考值的所述感兴趣区分类成新生血管区,其中所述第二范围确定参考值大于所述第一范围确定参考值。
10.根据权利要求9所述的光学三维结构测量装置,其中,所述感兴趣区分类装置将等于或大于所述预定范围确定参考值中的所述第二范围确定参考值的所述感兴趣区分类成肿瘤侵入区。
11.根据权利要求9或10所述的光学三维结构测量装置,还包括新生血管分布图像生成装置,用于生成由所述感兴趣区分类装置确定的新生血管区的分布,作为在所述特定层区中的新生血管分布图像。
12.根据权利要求9-11中任一项所述的光学三维结构测量装置,其中,所述特定层区包括所述活粘膜组织的基底膜区和粘膜肌层区中的至少一个。
13.一种光学三维结构测量装置的结构信息处理方法,所述光学三维结构测量装置在具有层结构的测量目标的叠层的深度方向上引导测量光,并对所述测量光的光轴进行二维扫描以获得所述测量目标的光学三维结构信息,所述结构信息处理方法包括以下步骤存储所述光学三维结构信息的光学三维结构信息存储步骤;特定层提取步骤,包括以下步骤比较在所述光学三维结构信息存储步骤中存储的光学三维结构信息的信息值与预定阈值,并将等于或大于预定范围的区域作为所述测量目标的特定层区提取,其中等于或大于所述预定阈值的所述光学三维结构信息的信息值在等于或大于预定范围的所述区域中连续;将所述特定层区中的所述光学三维结构信息的信息值小于所述预定阈值的区域作为遗漏区提取的遗漏区提取步骤;计算所述遗漏区的范围的大小的遗漏区范围计算步骤;以及感兴趣区分类步骤,包括以下步骤比较所述遗漏区的范围的大小与多个预定范围确定参考值,并将所述遗漏区分类成多种类型的感兴趣区。
全文摘要
本发明公开了一种光学三维结构测量装置,该光学三维结构测量装置包括光学三维结构信息存储装置(91),用于存储光学三维结构信息;特定层提取装置(121),用于比较存储在光学三维结构信息存储装置中的光学三维结构信息的信息值与预定阈值,并将等于或大于预定范围的区域作为测量目标的特定层区提。渲械扔诨虼笥谠ざㄣ兄档墓庋峁剐畔⒌男畔⒅翟谒銮蛑辛灰怕┣崛∽爸(122),用于将特定层区中光学三维结构信息的信息值小于预定阈值的区域作为遗漏区提。灰怕┣段Ъ扑阕爸(123),用于计算遗漏区的范围的大。灰约案行巳で掷嘧爸(124),用于比较遗漏区的范围的大小与多个预定范围确定参考值,并将遗漏区分类成多种类型的感兴趣区。
文档编号G01B11/24GK102355861SQ20108001257
公开日2012年2月15日 申请日期2010年3月3日 优先权日2009年3月19日
发明者寺村友一 申请人:富士胶片株式会社