专利名称：：宽动态范围成像的制作方法宽动态范围成像相关申请的交叉引用本申请要求提交于2010年5月12日的美国临时申请序列号61/334，109(代理人案号020031-011800US)的权益，其公开通过引用整体合并于此。
技术领域：
本发明总地涉及成像系统，并且更具体地涉及扩展成像系统的动态范围，特别是扩展突光成像系统(fluorescenceimagingsystems)的动态范围。
背景技术：
：美国专利No.7，286，232和申请公开No.2009/0080194(两者通过引用合并于此)描述基于激光的荧光成像系统，该荧光成像系统利用增强的光学过滤技术和使其能够达到高灵敏度和高动态范围的均勻激光照明(uniformlaserillumination)。为了进一步向更大范围的应用提供采用此技术的可重复的定量(repeatablequantification),希望拥有更宽动态范围的能力以便用户不需要猜测使用什么曝光来对样本进行成像。此外，此设计能够生成可重复的信噪性能(repeatablesignal-to-noiseperformance),并且激光功率、过滤效率和CCD曝光时间之间的关系通过设计已知。这使其非常适合于以下描述的高效实施以便扩展其用途以便覆盖具有不同动态范围的应用。Blinton等(美国专利No.6,496,309)描述使用灯光源、滤光器轮(filterwheel)和具有扩展的动态范围的CXD照相机的装置。如由美国专利No.7，286，232所确立的，特别是对宽区域成像，基于激光的荧光成像更易适合于增强的光谱过滤技术以便抑制光背景(opticalbackground)ο这转而转化为采用激光的检测的更好的灵敏度,该灵敏度是实现宽动态范围扩展时的重要因素。131;[111011等使用散布图算法方法(8031^61—8以111algorithmapproach)以便检验饱和度，改变曝光时间，并且重复直到捕捉的图像是噪声占主导的(noise-dominated)。然而此方法是低效的，因为其使用不可预测的试错法并且受限于上述光背景噪声和照相机噪声(暗(dark)、高光溢出和辐射事件)。因此，希望提供克服以上和其他问题的系统和方法。
发明内容本发明提供用于扩展成像系统的动态范围的系统和方法，更具体地用于扩展荧光成像系统的动态范围的系统和方法。根据一个实施例，一种用于扩展具有低光背景(lowopticalbackground)和线性检测器响应的成像系统的动态范围的过程，包括以一组曝光时间的每一个获取图像，减去每个曝光时间的系统级暗估算值(system-leveldarkestimate),并且将不同的曝光(exposure)合并为更宽动态范围的图像。在某些方面,曝光时间的选择包括副本(duplicate),并且被安排在最长曝光时间的周围。在某些方面，通过获取具有低曝光时间的一组低光图像(low-lightimages)和具有较长曝光时间的另一组并且使用线拟合来找到在其他曝光时间的估算值而获得暗估算值。对于非恒定的发射速率(emissionrate),在线性曝光时间尺度上重新映射获得的零偏移量图像。接着，获得回归线拟合以便估算作为系统的扩展的宽动态范围响应的度量的斜率。在某些方面，在回归拟合和线性插值步骤中，使用加权因子来降低使用接近饱和的像素值的重要性。根据一个实施例，提供一种用于扩展具有检测器的成像系统的动态范围的方法，该检测器具有线性响应。该方法通常包括使用检测器获取样本的多个图像，每个图像是以不同的曝光时间获取的，每个图像具有多个像素，每个像素具有亮度值。该方法通常还包括从每个获取的图像中减去对应于每个获取的图像的曝光时间的校准的暗图像以便生成多个暗校正后的图像，并且在每像素的基础上，使用来自多个暗校正后的图像中的每一个的对应像素的值而确定合并后的像素值。在某些方面，确定合并后的像素值包括拟合对于来自多个暗校正后的图像中的每一个的对应像素的像素值的线性回归。例如，拟合生成线性函数，并且合并后的像素值对应于线性函数的斜率。在某些方面，减法包括访问系统的校准的暗图像数据，其中校准的暗图像数据包括作为曝光时间的函数的每个像素的暗图像值，以及在每像素的基础上，从像素亮度值中减去像素的暗图像值。在某些方面，通过以下过程确定校准的暗图像数据以第一曝光时间在没有打开光源和没有样本存在的情况下由检测器获取多个像素的至少一个第一暗图像，以不同于第一曝光时间的第二曝光时间在没有打开光源和没有样本存在的情况下由检测器获取多个像素的至少一个第二暗图像，并且对每个像素，在至少一个第一暗图像和至少一个第二暗图像之间拟合线，由此该拟合线表示作为曝光时间的线性函数的像素的暗图像值。在某些方面，预先确定暗图像数据并且将其存储到成像系统的存储器中。根据另一实施例，提供一种成像系统，其通常包括样本平台、具有线性响应的检测器(例如CCD或其他检测器)，其中检测器获取在平台上的样本的多个图像，每个图像是以不同的曝光时间获取的，每个图像具有多个像素，每个像素具有亮度值。该系统通常还包括存储系统的校准的暗图像数据的存储器，其中校准的暗图像数据包括作为曝光时间的函数的每个像素的暗图像值。该系统通常还包括耦接到检测器和存储器的智能�？�(例如处理器)，其中智能�？楸皇逝湮蛹觳馄髦薪邮胀枷瘢用扛龌袢〉耐枷裰屑跞ザ杂τ诿扛龌袢〉耐枷竦钠毓馐奔涞男Ｗ嫉南低嘲低枷褚员闵啥喔霭敌Ｕ蟮耐枷瘢约霸诿肯袼氐幕∩希褂美醋远喔霭敌Ｕ蟮耐枷裰械拿恳桓龅亩杂ο袼刂等范ê喜⒑蟮南袼刂�。在某些方面，该方法还包括例如在显示设备上显示合并后的像素值的表示。在某些方面，来自样本的光发射具有基本上随时间恒定的速率(例如荧光)，并且检测器以增加或减少曝光时间的顺序获取多个图像。在某些方面，来自样本的光发射具有随时间非恒定的速率(例如冷光)，并且检测器以获取重复的短曝光图像的顺序获取多个图像，重复的短曝光图像的获取被交错在具有较长曝光时间的一个或多个图像的获取周围。在此情况下，在某些方面，对每个获取的图像确定有效曝光长度，其中当确定合并后的像素值时使用有效曝光长度。在某些方面，系统还包括与处理器耦接的显示设备，其中处理器在显示设备上显示合并后的像素值的表示。在某些方面，通过在来自多个暗校正后的图像中的每一个的对应像素值之间拟合线而确定合并后的像素值，由此该拟合线代表像素的像素值。在某些方面，拟合线的斜率代表像素值。参考说明书的剩余部分(包括附图和权利要求)将了解本发明的其他特征和优点。以下参照附图详细描述本发明的进一步的特征和优点，以及本发明的各种实施例的结构和操作。在附图中，相同的参考标号指示同样的或功能相似的元件。图I示出根据一个实施例的荧光成像系统。图2示出根据一个实施例的获得扩展的动态范围的方法。图3a示出获取短曝光暗图像和长曝光暗图像并且可选地对其进行裁切和求平均；图3b示出拟合到获取的暗图像的线的示例结果。图4示意性示出用于确定宽动态范围的图像的过程。图5a示出简单的加权因子图，其由用于在接近饱和的限值以下的所有值的I以及用于限值以上的零组成；图5b示出提供向零值的平滑过渡的加权因子。图6描述发出冷光的基板可以具有的典型发射速率。图7示出流程图，其总结在发射速率是恒定的和发射速率随时间变化的两种情况下生成宽动态范围的图像的过程。具体实施方式本发明提供用于扩展成像系统的动态范围的系统和方法，更具体地用于扩展荧光成像系统的动态范围的系统和方法。图I示出根据一个实施例的荧光成像系统10。系统10包括至少一个照明源(示出两个照明源Ia和lb)。照明源通常包括激光器，然而其他照明源可以根据需要使用。如图所示，在一个实施例中，两个照明源包括激光二极管器件，该激光二极管器件被配置为以希望的一个或多个波长(例如680nm或780nm)(或频率)发射并且被配置为照亮平台5。激光源通常与适当的冷却元件和光学元件封装在一起以便将激光源的输出引导到平台5上。由成像光学器件(imagingoptics)2将来自平台5的光引导和聚焦到检测器4(例如(XD检测器)上。提供滤光器元件3以便促进对到达检测器4的光的过滤。在某些方面，系统10装在诸如不透光的壳体结构的结构内。实施例中的成像系统10包括以远心成像和滤光架构(如美国专利No.7，286，232中所述，其通过引用整体合并于此)配置的基于CCD的成像系统。根据通过引用整体合并于此的美国专利申请公开No.2009/0080194优选地配置照明。系统还使用基于CXD的检测器4，该检测器4被设计和配置为线性地响应检测到的光量以及光暴露在检测器上的时长(曝光时间)。例如，操作在其全阱深度(full-welld印th)的下部2/3内的索尼ICX285ALCXD示出对两者的线性响应并且允许约50μs的最短曝光。系统10还包括与检测器4可通信地耦接的智能模块(未示出)，例如一个或多个处理器。智能�？楸皇逝湮邮蘸痛砝醋约觳馄�4的信号，例如代表在检测器的检测带宽内检测到的照度的信号，或与在检测器的检测带宽内检测到的照度成比例的信号。智能�？榭梢栽诮邮帐弊远硎莺托藕牛蛘咂淇梢越邮帐莺托藕挪⑶宜婧罄缦煊τ谟没疃�。在某些实施例中提供可选的显示设备(未示出)以便显示代表各种信号的数据和由系统10捕捉和/或处理的图像。还可以提供存储器�？榛蛏璞敢员愦娲⒂芍悄苣？槭褂没蛴糜诹硪幌低车氖莺痛�。例如，存储器可以存储可由处理器执行的用于实施于此公开的方法的代码，并且/或者来自检测器和/或处理器的数据可以存储于其上。例如，如在此讨论的校准的系统暗图像数据可以被存储到存储器中用于如在此讨论的由智能�？樯院蠓梦屎褪褂�。存储器可以包括RAM或ROM、硬盘或任何便携的、非短期介质，例如DVD或CD。图2示出根据一个实施例的用于获得扩展的动态范围的方法100。具体地，方法100包括在步骤110中获得将用于宽范围的曝光时间的系统级暗校准图像D(t)。如图3a所示，以第一曝光时间获取一个或多个暗图像，并且以不同于第一曝光时间的第二曝光时间获取一个或多个暗图像。如图3b所示，在逐个像素的基础上，基于以第一和第二曝光时间获取的暗图像而确定函数(例如线)，其中该函数(例如线)表示作为曝光时间的函数的像素的暗图像值。将在下文中更详细讨论步骤11的方面。在步骤120中，获取具有希望的最长曝光时间的图像并且获取具有较短曝光时间的一组图像(示例tl=100s，t2=10s,t3=ls,t4=0.Is,t5=0.01s,以及t6=0.001s):im(ti)，i=l_6。在步骤130中，从每个获取的图像中减去对应的系统暗值，即11110(\)=加(\)-0(\)，以及在步骤140中，确定合并后的像素值。例如，在一个实施例中，通过拟合对于以不同曝光得到的像素值的线性回归，计算作为系统的合并后的响应的度量的每像素斜率(其中每个像素的拟合线的斜率代表暗校正后的图像的像素值)。系统暗校准在一个实施例中，通过以下过程确定系统级暗校准图像(例如步骤110):首先以第一曝光时间在没有打开光源的情况下(并且可选地在没有样本存在的情况下)由检测器获取多个像素的至少一个第一暗图像，接着以不同于第一曝光时间的第二曝光时间在没有打开光源的情况下(并且可选地在没有样本存在的情况下)由检测器获取多个像素的至少一个第二暗图像，并且其后，对于每个像素，在至少一个第一暗图像和至少一个第二暗图像之间拟合线，由此该拟合线表示作为曝光时间的线性函数的像素的暗图像值。在另一实施例中，如上获取多个第一暗图像并且获取多个第二暗图像。其后确定每个像素的平均第一暗图像值并且确定每个像素的平均第二暗图像值，并且拟合包括在平均第一暗图像值和平均第二暗图像值之间拟合线。根据一个实施例，在系统校准步骤中，获得对直到预设最大值的任意曝光时间可缩放的(scalable)系统级暗图像。此步骤包括关闭外壳内的所有光源，并且在检测器(例如CCD)前放置不透明堵塞物以便防止由成像光学器件2收集的光到达检测器4。可以在滤光器轮3中的滤光器位置中的一个上放置此堵塞物。可选地，可以在成像光学器件2前的另一个轮中放置此堵塞物。各种子系统的壳体和整体的外壳被设计为将来自外部的漏光和来自内部的任何残留光保持在合理低的水平，因此在CCD暗信号之上的任意经认定的信号(registeredsignal)为最小。然而，进行“非刺激”或“系统级暗值”测量的一部分原因是为了在此校准步骤中包括这样的残留影响。这样，不需要外壳的绝对不透光。如图3a所示，还获取一组短曝光图像和一组长曝光图像。例如，12x0.Is和12x30min。使用矩阵微积分，在每像素(矩阵元素)的基础上运算，舍弃顶部的一个或多个(如10%)值和底部的一个或多个(如10%)值，并且在每个组中对剩余值求平均，以便获得短曝光(例如O.1s)的经过裁切的平均图像和长曝光(例如30min)的另一经过裁切的平均图像。该裁切除去与事件相关的噪声，例如来自福射事件的明亮像素(brightpixel)。求平均(averaging)用来平均掉随机噪声并因此降低噪声水平，以便后续的减法不会大量增加整体噪声。图3b示出在此系统暗校准过程中的剩余步骤。在一个实施例中，在短曝光和长曝光系统暗值之间拟合线，并且计算作为曝光时间t的线性函数的、每个像素的与系统级暗值相关的斜率值(Mu)和偏移量(Bu)，即Dij(t)=Mij·t+Bjj通过使用以上矩阵等式中的t，以后的运算可以使用任意曝光时间t的系统级暗值估算值。例如，在一个实施例中，在图像获取期间将作为曝光时间t的线性函数的、每个像素的与系统级暗值相关的斜率值(Mij)和偏移量(Bij)存储到成像系统的存储器中用于稍后使用。多曝光合并在用于生成宽动态范围的图像的过程的一个实施例中，系统以不同曝光获取一组图像，从每个图像中减去对应的系统级暗值以便生成暗校正后的图像，并接着合并暗校正后的图像以便形成宽动态范围的图像。在某些方面，合并包括在逐个像素的基础上使用来自每个暗校正后的图像的对应像素的值确定合并后的像素值。在某些方面，确定合并后的像素值包括将加权最小二乘拟合(回归)应用到这组图像阵列以便获得作为对于所有曝光的合并的“拟合”矩阵。在图4中示意性地描述该过程。通过获取具有低曝光时间的一组低光图像和具有较长曝光时间的另一组，以及使用线拟合以便找到其他曝光时间的估算值，而获得暗估算值。对于非恒定的发射速率，在线性曝光时间尺度上重新映射获得的零偏移量图像。接着获得回归线拟合，以便估算作为系统的扩展的宽动态范围响应的度量的斜率。在某些方面，在回归拟合和线性插值步骤中，使用加权因子来降低使用接近饱和的像素值的重要性。图7示出总结对于发射速率恒定和发射速率随时间变化的两种情况生成宽动态范围的图像的过程的流程图，并且对每种情况给出示例。I)恒定的发射速率的情况对于发射速率是恒定的并因此检测信号随曝光时间线性地缩放的荧光成像，可以在tl=100s,t2=10s,t3=ls,t4=0.1s,t5=0.010s,和t6=0.OOls获取图像。拍摄图像的顺序可以根据是否预计到将使用的染料有一些永久光致褪色而变化。在该情况下，希望首先从短曝光开始，因为任何的光致褪色对长曝光比对较短曝光有更少的累积效果。结果是一组图像im(tk),其中k为曝光编号(number)。如图4所示,从每个图像中减去对应曝光时间的系统暗值，并接着在利用图像中的每个像素的“计数/秒”值的每像素的最小二乘拟合中使用得到的这组暗校正后的图像im0(tk)。此零偏移量回归的线性拟合可以被表示为ImOij(t)=Immij·t+err^·(t)其中权利要求1.一种用于扩展具有检测器的成像系统的动态范围的方法，该检测器具有线性响应，所述方法包括使用检测器获取样本的多个图像，每个图像是以不同的曝光时间获取的，每个图像具有多个像素，每个像素具有亮度值；从每个获取的图像中减去对应于每个获取的图像的曝光时间的校准的暗图像，以便生成多个暗校正后的图像；以及在每像素的基础上，使用来自多个暗校正后的图像中的每一个的对应像素的值确定合并后的像素值。2.如权利要求I所述的方法，还包括显示合并后的像素值的表示。3.如权利要求I所述的方法，其中确定合并后的像素值包括拟合对于来自多个暗校正后的图像中的每一个的对应像素的像素值的线性回归。4.如权利要求3所述的方法，其中拟合生成线性函数，并且其中合并后的像素值对应于线性函数的斜率。5.如权利要求3所述的方法，其中拟合包括将最小二乘拟合应用到来自多个暗校正后的图像中的每一个的对应像素的像素值。6.如权利要求I所述的方法，其中减法包括访问系统的校准的暗图像数据，其中校准的暗图像数据包括作为曝光时间的函数的每个像素的暗图像值，以及在每个像素的基础上从像素亮度值中减去像素的暗图像值。7.如权利要求6所述的方法，其中所述校准的暗图像数据通过以下过程确定以第一曝光时间在没有打开光源的情况下由检测器获取多个像素的至少一个第一暗图像；以不同于第一曝光时间的第二曝光时间在没有打开光源的情况下由检测器获取多个像素的至少一个第二暗图像；对每个像素，在所述至少一个第一暗图像和所述至少一个第二暗图像之间拟合线，由此该拟合的线表示作为曝光时间的线性函数的像素的暗图像值。8.如权利要求7所述的方法，其中获取多个第一暗图像，并且其中获取多个第二暗图像，所述方法还包括确定每个像素的平均第一暗图像值；确定每个像素的平均第二暗图像值；其中拟合包括在平均第一暗图像值和平均第二暗图像值之间拟合线。9.如权利要求8所述的方法，其中确定平均值的每个步骤包括在对暗图像值求平均之前去除一个或多个最高暗图像值和一个或多个最低暗图像值。10.如权利要求7所述的方法，其中预先确定校准的系统暗图像并且将其存储到存储器中。11.如权利要求I所述的方法，其中来自样本的光发射具有基本上随时间恒定的速率。12.如权利要求11所述的方法，其中以增加或减少曝光时间的顺序获取多个图像。13.如权利要求11所述的方法，其中成像系统是荧光成像系统。14.如权利要求I所述的方法,其中来自样本的光发射具有随时间非恒定的速率。15.如权利要求14所述的方法，其中以获取重复的短曝光图像的顺序获取多个图像，所述重复的短曝光图像的获取被交错在具有较长曝光时间的一个或多个图像的获取周围。16.如权利要求14所述的方法，其中成像系统是冷光成像系统。17.如权利要求14所述的方法，还包括确定每个获取的图像的有效曝光长度，其中当确定合并后的像素值时使用所述有效曝光长度。18.一种成像系统，包括样本平台；检测器，其具有线性响应，其中所述检测器获取在平台上的样本的多个图像，每个图像是以不同的曝光时间获取的，每个图像具有多个像素，每个像素具有亮度值；存储器，其存储系统的校准的暗图像数据，其中所述校准的暗图像数据包括作为曝光时间的函数的每个像素的暗图像值；智能�？椋漶罱拥剿黾觳馄骱退龃娲⑵鳎渲兴鲋悄苣？楸皇逝湮蛹觳馄髦薪邮胀枷瘢用扛龌袢〉耐枷裰屑跞ザ杂τ诿扛龌袢〉耐枷竦钠毓馐奔涞男Ｗ嫉南低嘲低枷瘢员闵啥喔霭敌Ｕ蟮耐枷瘢灰约啊诿肯袼氐幕∩希褂美醋远喔霭敌Ｕ蟮耐枷裰械拿恳桓龅亩杂ο袼氐闹等范ê喜⒑蟮南袼刂�。19.如权利要求18所述的系统，其中所述智能�？橥ü夂隙杂诶醋远喔霭敌Ｕ蟮耐枷裰械拿恳桓龅亩杂ο袼氐南袼刂档南咝曰毓槎范ê喜⒑蟮南袼刂�。20.如权利要求19所述的系统，其中拟合生成线性函数，并且其中合并后的像素值对应于线性函数的斜率。21.如权利要求19所述的系统，其中拟合包括将最小二乘拟合应用到来自多个暗校正后的图像中的每一个的对应像素的像素值。22.如权利要求18所述的系统，其中所述智能�？橥ü韵鹿讨葱屑醴ǚ梦蚀娲⑵饕员慊竦孟低车男Ｗ嫉陌低枷袷荩灰约霸诿肯袼氐幕∩希酉袼亓炼戎抵屑跞ハ袼氐陌低枷裰�。23.如权利要求18所述的系统，其中校准的暗图像数据通过以下过程确定以第一曝光时间在没有打开光源的情况下由检测器获取多个像素的至少一个第一暗图像；以不同于第一曝光时间的第二曝光时间在没有打开光源的情况下由检测器获取多个像素的至少一个第二暗图像；对每个像素，在所述至少一个第一暗图像和所述至少一个第二暗图像之间拟合线，由此该拟合的线表示作为曝光时间的线性函数的像素的暗图像值。24.如权利要求23所述的系统，其中获取多个第一暗图像并且其中获取多个第二暗图像，其中对于每个像素确定平均第一暗图像值；其中对于每个像素确定平均第二暗图像值；以及其中拟合包括在平均第一暗图像值和平均第二暗图像值之间拟合线。25.如权利要求24所述的系统，其中在去除一个或多个最高暗图像值后和去除一个或多个最低暗图像值后确定每个平均暗图像值。26.如权利要求18所述的系统，其中来自样本的光发射具有基本上随时间恒定的速率。27.如权利要求26所述的系统，其中所述检测器以增加或减少曝光时间的顺序获取多个图像。28.如权利要求26所述的系统，其中所述成像系统是荧光成像系统。29.如权利要求18所述的系统，其中来自样本的光发射具有随时间非恒定的速率。30.如权利要求29所述的系统，其中所述检测器以获取重复的短曝光图像的顺序获取多个图像，所述重复的短曝光图像的获取被交错在具有较长曝光时间的一个或多个图像的获取周围。31.如权利要求29所述的系统，其中所述成像系统是冷光成像系统。32.如权利要求29所述的系统，其中所述智能�？榛谷范扛龌袢〉耐枷竦挠行毓獬ざ龋渲械比范ê喜⒑蟮南袼刂凳笔褂糜行毓獬ざ�。33.如权利要求18所述的系统，其中所述检测器包括CCD阵列检测器。34.如权利要求18所述的系统，其中所述智能�？榘ù砥�。35.如权利要求18所述的系统，还包括与处理器耦接的显示设备，其中处理器显示合并后的像素值的表示。36.如权利要求18所述的系统，其中所述智能�？橥ü诶醋远喔霭敌Ｕ蟮耐枷裰械拿恳桓龅亩杂ο袼氐闹抵淠夂舷叨范ê喜⒑蟮南袼刂担纱烁媚夂系南叽硐袼氐南袼刂�。37.如权利要求36所述的系统，其中该拟合的线的斜率代表像素值。38.如权利要求I所述的方法，其中确定合并后的像素值包括在来自多个暗校正后的图像中的每一个的对应像素的值之间拟合线，由此该拟合的线代表像素的像素值。39.如权利要求38所述的系统，其中该拟合的线的斜率代表像素值。全文摘要用于扩展成像系统的动态范围的系统和方法，以及更具体地用于扩展荧光或冷光成像系统的动态范围的系统和方法，所述成像系统具有低光背景和线性检测器响应。获取一组曝光时间的每一个的样本的图像，从每个图像中减去每个曝光时间的系统级暗估算值以便形成暗校正后的图像，并且将不同的曝光(暗校正后的图像)合并成更宽动态范围的图像。通常在逐个像素的基础上执行合并。文档编号G01B11/24GK102985808SQ201180034278公开日2013年3月20日申请日期2011年5月12日优先权日2010年5月12日发明者C.J.莱斯亚克,A.布奇德,D.弗兰岑申请人:利-考股份有限公司
专业数控铣床产品供应商
20年生产经验，实力工厂，精工品质，质量有保障
