专利名称：用于具有增强景深的成像的系统和方法
技术领域：
本发明的实施例涉及成像，并且更具体地涉及具有增强景深的图像的构建。
背景技术：
例如癌症、传染病和其他病症等生理状况的预防、监测和治疗要求这些生理状况 的及时诊断。一般，来自患者的生物样本用于疾病的分析和识别。显微镜分析是在这些样 品的分析和评估中广泛使用的技术。更具体地，样品可研究以检测可指示疾病状态的异常 数量或类型的细胞和/或组织的存在。自动化显微镜分析系统已经开发以便于这些样品的 快速分析并且具有超过人工分析(其中技术人员可能随时间而感到疲劳从而导致样品的 误读)的准确性的优势。典型地，在载玻片上的样品装载到显微镜上。该显微镜的透镜或 物镜可聚焦到样品的特定区域上。然后样品的一个或多个感兴趣对象被扫描。可注意到适 当地聚焦样品/物镜以便于高质量图像的采集是最重要的。数字光学显微镜用于观察很多种样品。景深限定为沿视轴的对应于正由透镜系统 成像到图像平面的三维(3D)场景的焦点对准部分的深度范围的度量。通过使用数字显微 镜采集的图像典型地以高数值孔径采集。以高数值孔径获得的图像一般对从样品到物镜的 距离高度敏感。甚至几微米的偏差可足够使样品立即处于离焦。另外，甚至在显微镜的单 个视场内，仅通过调节光学系统使整个样品一次聚焦可能是不可能的。此外，该问题在扫描显微镜的情况下进一步扩大，其中要采集的图像从多个视场 合成。除样品的变化外，显微镜载玻片具有它的表面形貌上的变化。当提升、降低和倾转载 玻片时，用于在垂直于显微镜的光轴的平面上平移载玻片的机构也可在图像质量中引入不 完美，由此导致在采集的图像中的不完美聚焦。另外，不完美聚焦的问题在设置在载玻片上 的样品在显微镜的单个视场内不是充分平坦的情况下进一步恶化。具体地，设置在载玻片 上的这些样品可具有可观数量的在非载玻片平面内的材料。许多技术已经开发用于成像，其解决与将具有可观数量的在非平面内的材料的样 品成像关联的问题。这些技术一般需要捕捉显微镜的整个视场并且将它们缝合在一起。然 而，当样品的深度在单个视场内显著变化时这些技术的使用引起聚焦不足。共焦显微镜已 经被采用以获得三维(3D)显微镜场景的深度信息。然而，这些系统趋向于是复杂并且昂贵 的。同样，因为共焦显微镜典型限制于显微镜样本的成像，它们对于将宏观场景成像一般是 不实用的。某些其他技术通过采集并且保留在多个焦平面的图像来解决当样品的深度在单 个视场内显著变化时的自动聚焦的问题。尽管这些技术提供显微镜的操作者熟悉的图像， 这些技术要求保留3-4倍的数据量，并且对于高吞吐量仪器这很可能是成本不允许的。另外，某些其他当前可用的技术牵涉将图像分成固定区域并且基于在这些区域中 获得的对比度选择源图像。不幸地，这些技术的使用在产生的图像中引入不满意的伪像。此 外，这些技术趋向于产生具有有限聚焦质量的图像(特别当面对在单个视场内不是充分平 坦的设置在载玻片上的样品时)，由此限制这些显微镜在病理实验室中用于诊断这样的样品中的异常情况(特别在该诊断要求高放大率情况下)(如关于骨髓抽出物)。开发配置成构建具有有利地增强图像质量的增强景深的图像的健全技术和系统 因此可是可取的。此外，需要有配置成将具有可观的在非载玻片平面内的材料的样品准确 成像的系统。
发明内容
根据本技术的方面，提供用于成像的方法。该方法包括使用具有物镜和用于固持 待成像的样品的平台的成像装置采集对应于至少一个视场的多个图像。此外，该方法包括 确定对应于在该多个采集的图像的每个中的每个像素的品质因数，其中该品质因数包括对 梯度向量的离散近似。该方法还包括基于确定品质因数合成复合图像。根据本技术的另一个方面，提供成像装置。该装置包括物镜。此外，该装置包括配 置成产生样品的多个图像的初级图像传感器(primary image sensor)。另外，该装置包括 配置成沿光轴调节物镜和样品之间的样品距离以将样品成像的控制器。该装置还包括扫描 台以支撑样品并且至少在大致上正交于光轴的横向上移动样品。此外，该装置包括处理子 系统以采集对应于至少一个视场的多个图像，确定对应于在多个采集的图像的每个中的每 个像素的品质因数(其中该品质因数包括对梯度向量的离散近似)，以及基于该确定品质 因数合成复合图像。
当下列详细说明参照附图(其中相似的符号在整个附图中代表相似的部件)阅读 时，本发明的这些和其他的特征、方面和优势将变得更好理解，其中图1是例如数字光学显微镜等成像装置的框图，其包含本技术的方面；图2是具有可观的设置在非载玻片上的平面内的材料的样品的图解图示；图3-4是根据本技术的方面的多个图像的采集的图解图示；图5是图示根据本技术的方面将例如在图2中图示的样品等样品成像的示范性过 程的流程图；图6是根据本技术的方面用于在图5的成像的过程中使用的采集的图像的部分的 图解图示；图7-8是根据本技术的方面的图6的采集的图像的部分的分段的图解图示；以及图9A-9B是图示根据本技术的方面合成复合图像的方法的流程图。
具体实施例方式如将在下文中详细描述的，提供用于将例如具有可观的在非载玻片平面内的材料 的样品等样品成像、同时增强图像质量并且优化扫描速度的方法和系统。通过采用在下文 中描述的方法和装置，可获得增强的图像质量和相当大地增加的扫描速度，同时简化样品 扫描的临床工作流程。尽管，在下文中图示的示范性实施例在数字显微镜的上下文中描述，将意识到成 像装置在例如但不限于望远镜、照相机或医疗扫描仪(例如X射线计算机断层摄影术(CT) 成像系统等)等其他应用中的使用也与本技术结合考虑。
图1图示例如数字光学显微镜等成像装置10的一个实施例，其包含本发明的方 面。该成像装置10包括物镜12、初级图像传感器16、控制器20和扫描台22。在该图示的 实施例中，样品M设置在盖玻片沈和载玻片观之间，并且样品对、盖玻片沈和载玻片观 由扫描台22支撑。盖玻片沈和载玻片观可由例如玻璃等透明材料制成，同时样品M可 代表很多种对象或样品，包括生物样品。例如，样品M可代表例如集成电路芯片或微机电 系统(MEMQ等工业对象和例如包括肝或肾细胞的活体检视组织等生物样品。在非限制性 示例中，这样的样品可具有平均从大约5微米到大约7微米并且变化若干微米的厚度，并且 可具有大约15X15毫米的横向表面积。更特别地，这些样品可具有大量在非载玻片观平 面内的材料。物镜12从样品M分隔开一样品距离，其沿Z(竖直)方向上的光轴延伸，并且物 镜12具有在大致上正交于Z或竖直方向的X-Y平面(横向或水平方向)中的焦平面。物 镜12采集从特定视场中的样品M发射的光30，将该光30放大并且将该光30引导到初级 图像传感器16。物镜12可根据例如应用和待成像的样品特征的尺寸而在放大倍率上变化。 通过非限制性示例，在一个实施例中，物镜12可以是提供20X或更大放大率并且具有0. 5 或大于0. 5 (小焦深)的数值孔径的高倍率物镜。物镜12可根据物镜12的设计工作距离 从样品M分隔开一样品距离(范围在从大约200微米到大约几毫米之间)，并且可从例如 在焦平面中的750X750微米的视场采集光30。然而，工作距离、视场和焦平面还可根据显 微镜配置或待成像的样品M的特性而变化。此外，在一个实施例中，物镜12可耦合于例如 压力致动器等位置控制器以向物镜12提供精准电动机控制和快速微小视场调节。在一个实施例中，初级图像传感器16可使用例如初级光路32产生对应于至少一 个视场的样品M的一个或多个图像。初级图像传感器16可代表例如基于从市场获得的电 荷耦合器件(CCD)的图像传感器等任意数字成像装置。此外，成像装置10可使用包括明场、相位衬度(phase contrast)、微分干涉衬度 和荧光的很多种成像模式照射样品对。从而，光30可使用明场、相位衬度或微分干涉衬度 从样品M透射或反射，或光30可使用荧光从样品M (荧光标记的或固有的)发射。另外， 光30可使用透射型照射(其中光源和物镜12在样品M的相反侧上)或反射型照射(其 中光源和物镜12在样品M的相同侧上)产生。如此，成像装置10可进一步包括光源(例 如高强度LED或水银或氙弧或金属卤化物灯等)，其为了图示方便从图中省略。此外，在一个实施例中，成像装置10可以是配置成快速捕捉样品M的大量原始数 字图像的高速成像装置，其中每个初级图像代表在特定视场的样品M的快照。在某些实施 例中，该特定视场可以是整个样品M的仅一小部分的代表。该原始数字图像中的每个然后 可数字结合或缝合在一起以形成整个样品M的数字表示。如之前提到的，初级图像传感器16可使用初级光路32产生对应于至少一个视场 的样品M的大量图像。然而，在某些其他实施例中，初级图像传感器16可使用初级光路32 产生对应于多个重叠视场的样品M的大量图像。在一个实施例中，成像装置10捕捉并且 利用这些在变化的样品距离获得的样品M的图像以产生具有增强景深的样品M的复合图 像。此外，在一个实施例中，控制器20可调节物镜12和样品M之间的距离以便于与至少 一个视场关联的多个图像的采集。同样，在一个实施例中，成像装置10可存储该多个采集 的图像在数据存储库34和/或存储器38中。6
根据本技术的方面，成像装置10还可包括用于将例如具有在非载玻片观平面内 的材料的样品M等样品成像的示范性处理子系统36。特别地，该处理子系统36可配置成 确定对应于在多个采集的图像的每个中的每个像素的品质因数。该处理子系统36还可配 置成基于确定品质因数合成复合图像。该处理子系统36的工作将参照图5-9更详细地描 述。在目前考虑的配置中，尽管存储器38示为从该处理子系统36分开的，在某些实施例中， 该处理子系统36可包括存储器38。另外，尽管目前考虑的配置描绘该处理子系统36为从 控制器20分开的，在某些实施例中，该处理子系统36可与控制器20结合。精准聚焦一般通过用致动器在Z方向上调节物镜12的位置达到。具体地，该致动 器配置成在大致上垂直于载玻片观的平面的方向上移动物镜12。在一个实施例中，该致动 器可包括用于高速采集的压电换能器。在某些其他实施例中，该致动器可包括齿条-齿轮 传动机构(rack and pinion mechanism)，其具有用于大范围运动的电动机和减速传动器 (motor and reduction drive)。可注意到成像问题一般在设置在载玻片28上的样品M在显微镜的单个视场内不 是平的情况下出现。特别地，样品M可具有在非载玻片观平面内的材料，由此产生聚焦欠 佳的图像。现在参照图2，描绘载玻片观和设置在其上的样品M的图解图示40。如在图 2中描绘的，在某些情况下，设置在载玻片观上的样品M可不是平的。通过示例，当样品 M被去物质形态时，样品M的材料膨胀由此致使样品在显微镜的单个视场内具有在非载 玻片观平面内的材料。因此，样品的某些区域可能对于给定的样品距离是离焦的。因此， 如果物镜12聚焦在关于样品M的第一样品距离处，例如在较低的成像平面A42处等，那么 样品M的中心将是离焦的。相反，如果物镜12聚焦在第二样品距离，例如在较高成像平面 B44处等，那么样品M的边缘将是离焦的。更具体地，可能不存在其中整个样品M处于可 接受的聚焦的折衷样品距离。术语“样品距离”在下文中用于指物镜12和待成像的样品M 之间的分开距离。同样，术语“样品距离”和“焦距”可交换地使用。根据本技术的示范性方面，成像装置10可配置成提高景深，由此允许具有实质表 面形貌的样品被准确成像。为此，成像装置10可配置成采集对应于至少一个视场的多个图 像同时物镜12放置在离样品M —系列样品距离处，确定对应于在该多个图像中的每个像 素的品质因数并且基于确定的品质因数合成复合图像。因此，在一个实施例中，多个图像可通过将物镜12放置在离样品M的多个对应样 品距离(Z高度)处采集，同时扫描台22和样品M留在固定X-Y位置。在某些其他实施例 中，多个图像可通过在Z方向上移动物镜12和在X-Y方向上移动扫描台22 (和样品24)采集。图3是通过将物镜12放置在离样品M的多个对应的样品距离(Z高度)处同时 扫描台22和样品M留在固定X-Y位置来采集多个图像的方法的图解图示50。具体地，对 应于单个视场的多个图像可通过将物镜12放置在关于样品M的多个样品距离处采集。如 本文使用的，术语“视场”用于指来自其中的光到达初级图像传感器16的工作表面上的载 玻片观的区域。标号5254和56分别是通过将物镜12分别放置在关于样品M的第一样 品距离、第二样品距离和第三样品距离处获得的第一图像、第二图像和第三图像的代表。同 样，标号53是对应于物镜12的单个视场的第一图像52的部分的代表。相似地，标号55是 对应于物镜12的单个视场的第一图像M的部分的代表。此外，标号57是对应于物镜12的单个视场的第三图像52的部分的代表。通过示例，当物镜12分别放置在关于样品M的第一、第二和第三样品距离处时成 像装置10可使用初级图像传感器16捕捉第一图像52、第二图像M和第三图像56。控制 器20或致动器可在第一方向上移置物镜12。在一个实施例中，第一方向可包括Z方向。因 此，控制器20可在Z方向上关于样品M移置或竖直移位物镜12以获得在多个样品距离处 的多个图像。在图3中图示的示例中，控制器20可在Z方向上关于样品M竖直移位物镜 12同时保持扫描台22在固定X-Y位置以获得在多个样品距离处的多个图像52、54、56，其 中多个图像52、54、56对应于单个视场。备选地，控制器20可竖直移位扫描台22和样品M 同时物镜12留在固定竖直位置，或控制器20可竖直移位扫描台22 (和样品24)和物镜12 两者。这样采集的图像可存储在存储器38 (参见图1)中。备选地，图像可存储在数据存储 库34(参见图1)中。根据本技术的另外方面，可采集对应多个视场的多个图像。具体地，可采集对应于 重叠视场的多个图像。现在转向图4，描绘当物镜12在第一方向(Z方向)上移动并且扫 描台22(和样品24)在第二方向上移动时多个图像的采集的图解图示60。可注意到在某 些实施例中，第二方向可大致上正交于第一方向。同样，在一个实施例中，第二方向可包括 X-Y方向。更特别地，描绘对应于多个重叠视场的多个图像的采集。标号62、64和66分别 是通过将物镜12分别放置在关于样品M的第一样品距离、第二样品距离和第三样品距离 处同时扫描台22在X-Y方向上移动时获得的第一图像、第二图像和第三图像的代表。可注意到物镜12的视场随扫描台22在X-Y方向上运动而移位。根据本技术的方 面，可评价多个采集的图像之间的大致上相似的区域。因此，与扫描台22的运动同步移位 的区域可选择使得相同的区域在每个样品距离处评价。标号63、65和67可分别是在第一 图像62、第二图像64和第三图像66中与扫描台22的运动同步移位的区域的代表。在图4中图示的示例中，控制器20可竖直移位物镜12同时还在X_Y方向上移动 扫描台22 (和样品24)以便于在不同样品距离处对应于重叠视场的图像的采集使得每个视 场的每个部分在不同的样品距离处采集。具体地，可采集多个图像62、64和66使得对于扫 描台22的任何给定X-Y位置，存在多个图像62、64和66之间的大量重叠。因此，在一个实 施例中，可对样品M扫描超出感兴趣区并且对应于不具有图像平面之间的重叠的区域的 图像数据可随后被丢弃。这些图像可存储在存储器38中。备选地，这些采集的图像可存储 在数据存储库；34中。再次参照图1，根据本技术的示范性方面，一旦对应于至少一个视场的多个图像被 采集，成像装置10可确定在多个样品距离处捕捉的样品M的相应多个采集的图像的定量 特性。定量特性代表图像质量的定量测量并且还可称为品质因数。在一个实施例中，品质 因数可包括梯度矢量的离散近似。更特别地，在一个实施例中，品质因数可包括绿色通道的 强度关于绿色通道的空间位置的梯度矢量的离散近似。因此，在某些实施例中，成像装置10 并且更特别地处理子系统36可配置成确定多个采集图像的每个中的每个像素的采用以下 形式的品质因数对绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似。在 某些实施例中，低通滤波器可应用于梯度以在梯度的计算期间消除任何噪音。可注意到尽 管品质因数描述为绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似，使用 例如但不限于拉普拉斯算子滤波器、Sobel滤波器、Canny边缘检测器或局部图像对比度的估计等其他品质因数也与本技术结合考虑。每个采集的图像可由成像装置10处理以通过确定对应于图像中的每个像素的品 质因数提取关于聚焦质量的信息。更特别地，处理子系统36可配置成确定对应于在多个采 集的图像的每个中的每个像素的品质因数。如之前提到的，在某些实施例中，对应于每个像 素的品质因数可包括对梯度矢量的离散近似。具体地，在一个实施例中，品质因数可包括对 绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似。备选地，品质因数可包 括拉斯算子滤波器、Sobel滤波器、Canny边缘检测器或局部图像对比度的估计。随后，根据本技术的方面，对于在每个采集的图像中的每个像素，处理子系统36 可配置成在多个图像中找出产生对应于横跨多个采集的图像的该像素的最好品质因数的 图像。如本文使用的，术语“最好品质因数”可用于指在空间位置产生最好聚焦质量的品质 因数。此外，对于在每个图像中的每个像素，处理子系统36可配置成指派第一值给该像素 (如果对应图像产生最好品质因数)。另外，处理子系统36还可配置成指派第二值给像素 (如果在多个图像中的另一个图像产生最好品质因数)。在某些实施例中，第一值可以是 “1”，而第二值可以是“0”。这些指派值可存储在数据存储库34和/或存储器38中。根据本技术的另外的方面，处理子系统36还可配置成基于确定的品质因数合成 复合图像。更特别地，该复合图像可基于指派给像素的值合成。在一个实施例中，这些指派 值可采用阵列的形式存储。可注意到尽管本技术描述使用阵列以存储指派值，还设想用于 存储指派值的其他技术。因此，处理子系统36可配置成产生对应于多个采集的图像中的每 个的阵列。同样，在一个实施例中，这些阵列可具有与对应采集的图像的尺寸大致上相似的 尺寸。一旦这些阵列产生，可填充在每个阵列中的每个元素。根据本技术的方面，在阵列 中的元素可基于对应于该像素的品质因数填充。更特别地，如果在图像中的像素被指派第 一值，那么在对应阵列中的对应元素可被指派第一值。采用相似的方式，在对应于像素的阵 列中的元素可被指派第二值(如果在对应图像中的该像素被指派第二值)。处理子系统36 可配置成基于指派给在采集的图像中的像素的值填充所有阵列。在该处理之后，可产生填 充阵列集。填充的阵列也可存储在例如数据存储库34和/或存储器38中。在某些实施例中，处理子系统36还可通过位屏蔽(bit mask)处理填充的阵列集 以产生位屏蔽滤波阵列。通过示例，通过位屏蔽滤波器处理填充阵列可便于产生仅包括具 有第一值的元素的位屏蔽滤波阵列。另外，处理子系统36可基于位屏蔽滤波阵列从多个采集的图像中的每个选择像 素。具体地，在一个实施例中，可选择对应于在关联的位屏蔽滤波阵列中具有第一值的元素 的在采集的图像中的像素。此外，处理子系统36可使用选择的像素混合采集的图像以产生 复合图像。然而，这样的多个采集的图像的混合可在复合图像中产生不期望的混合伪像。在 某些实施例中，不期望的混合伪像可包括条带的形成，例如在复合图像中的马赫带等。根据本技术的方面，采用条带形式的不期望的混合伪像可通过对位屏蔽滤波阵列 应用滤波器使得平滑从一个图像到下一个的转变而相当大地最小化。更特别地，根据本技 术的方面，条带可通过使用双三次低通滤波器平滑从一个图像到下一个的转变而相当大地 最小化。通过双三次滤波器处理位屏蔽滤波阵列引起滤波输出的产生。在某些实施例中， 滤波输出可包括对应于多个图像的双三次滤波阵列。处理子系统36然后可配置成使用该滤波输出作为α通道以将图像混合在一起以产生复合图像。特别地，在α混合中，一般在 从大约0到大约1的范围中的权重可指派给在多个图像的每个中的每个像素。该指派的权 重一般可命名为α。具体地，在最终复合图像中的每个像素可通过对在采集的图像中的像 素值和它们的对应α值的乘积求和并且将该总和除以α值的总和来计算。在一个实施例 中，在复合图像中的每个像素(Rc，Gc，Bc)可计算为
权利要求
1.一种用于成像的方法，其包括使用具有物镜和用于固持待成像的样品的平台的成像装置采集对应于至少一个视场 的多个图像；确定对应于在所述多个采集的图像的每个中的每个像素的品质因数，其中所述品质因 数包括对梯度向量的离散近似；以及基于所确定的品质因数合成复合图像。
2.如权利要求1所述的方法，其中对所述梯度向量的离散近似包括对绿色通道的强度 关于所述绿色通道的空间位置的梯度矢量的离散近似。
3.如权利要求1所述的方法，其中采集对应于至少一个视场的多个图像包括通过沿第 一方向移置所述物镜将所述物镜放置在多个样品距离处同时扫描台保持在固定位置以采 集对应于所述扫描台的位置的图像集。
4 如权利要求3所述的方法，进一步包括通过将所述扫描台放置在一系列位置处采集 对应的图像集，其中将所述扫描台放置在所述一系列位置处包括在第二方向上平移所述扫 描台。
5.如权利要求1所述的方法，其中采集对应于所述至少一个视场的所述多个图像包括 通过沿第一方向移置所述物镜将所述物镜放置在多个样品距离处同时所述扫描台在第二 方向上同时移动以采集重叠图像集。
6.如权利要求1所述的方法，其中合成所述复合图像包括对于在所述多个采集图像的每个中的每个像素，识别所述多个图像中产生该像素的最 好品质因数的图像，如果对应于像素的图像产生最好品质因数，指派第一值给该像素， 如果在另一个图像中的对应像素产生最好品质因数，指派第二值给所述像素。
7.如权利要求6所述的方法，进一步包括 产生所述多个图像中的每个图像的阵列，以及基于所确定的最好品质因数填充所述阵列以产生填充阵列集。
8.如权利要求7所述的方法，进一步包括使用位屏蔽处理所述填充阵列集中的每个填充阵列以产生位屏蔽滤波阵列； 使用双三次滤波器处理所述位屏蔽阵列以产生滤波输出，以及 按基于所述滤波输出的横跨所述多个图像的对应像素的加权平均值来混合选择的像 素以产生具有增强景深的所述复合图像。
9.如权利要求8所述的方法，进一步包括在显示器上显示所述复合图像。
10.一种成像装置(10)，其包括 物镜(12)；配置成产生样品04)的多个图像的初级图像传感器(16)；配置成沿光轴调节所述物镜(1 和所述样品04)之间的样品距离以将所述样品04) 成像的控制器OO)；扫描台(22)，其用于支撑所述样品04)并且至少在大致上正交于所述光轴的横向上 移动所述样品04)；处理子系统(36)，其用于采集对应于至少一个视场的多个图像；确定对应于所述多个采集图像的每个中的每个像素的品质因数，其中所述品质因数包 括对梯度向量的离散近似；以及基于所确定的品质因数合成复合图像。
全文摘要
提供用于成像的方法。该方法包括使用具有物镜和用于固持待成像的样品的平台的成像装置采集对应于至少一个视场的多个图像。此外，该方法包括确定对应于该多个采集图像的每个中的每个像素的品质因数，其中该品质因数包括对梯度向量的离散近似。该方法还包括基于所确定的品质因数合成复合图像。
文档编号G01N21/84GK102053356SQ201010522329
公开日2011年5月11日 申请日期2010年10月15日 优先权日2009年10月15日
发明者D·L·亨德森, K·B·肯尼 申请人:通用电气公司
专业数控铣床产品供应商
20年生产经验，实力工厂，精工品质，质量有保障
