机器视觉检查系统和进行高速对焦高度测量操作的方法
【专利摘要】本发明涉及一种包括照明源和摄像系统的机器视觉检查系统和用于进行高速对焦高度测量操作的方法。所述方法包括以下步骤：将工件放置在所述机器视觉检查系统的视场内；确定对焦高度测量操作所用的关注区域；使所述照明源进行工作，以利用频闪照明对所述工件进行照明；在所述工件附近的沿着Z高度方向的多个位置上，定期对所述摄像系统的焦点位置进行调制；收集图像栈，其中所述图像栈的各图像与频闪照明的实例相对应，所述频闪照明的实例与同所述图像栈内的适当Z高度相对应的调制后的焦点位置的相位一致；以及确定所述关注区域的至少一部分的Z高度测量值。
【专利说明】机器视觉检查系统和进行高速对焦高度测量操作的方法
【技术领域】
[0001] 本发明通常涉及机器视觉检查系统，并且更特别地涉及根据对焦操作的高度测 量。
【背景技术】
[0002] 可以利用精密机器视觉检查系统（或简称为"视觉系统"）来获得被检查对象的精 密尺寸测量并且检查各种其它对象特征。这种系统可以包括计算机、照相机和光学系统、以 及在多个方向上可移动以使得能够进行工件检查的精密台。可以表征为通用"离线"精密视 觉系统的一个示例性现有技术是可商购获得的QUICKVISION?系列的基于PC的视觉系 统和可购自位于伊利诺伊州奥罗拉的美国三丰公司（MAC)的QVPAK?软件。例如，在2003 年 1 月出版的QVPAK3DCNCVisionMeasuringMachineUser'sGuide和 1996 年 9 月出版的 QVPAK3DCNCVisionMeasuringMachineOperationGuide中大体描述了QUICKVISION?. 系列的视觉系统和QVPAK?软件的特征和操作，这些均通过引用全部包含于此。这类系 统能够使用显微镜型光学系统并且使台移动从而以各种倍率提供小的或相对较大的工件 的检查图像。
[0003] 诸如QUICKVISION?系统等的通用精密机器视觉检查系统通常也是可编程的以提 供自动化视频检查。这些系统通常包括GUI特征和预定义的图像分析"视频工具"，以使得 "非专家"操作员可以进行操作和编程。例如，通过引用全部包含于此的美国专利6, 542, 180 教导了使用包括各种视频工具的使用的自动化视频检查的视觉系统。一种已知类型的视频 工具是"多点工具"或"多点自动调焦工具"视频工具。这种工具提供了针对工具的关注区 域内的所定义X-Y坐标处的多个子区域的由诸如利用自动调焦方法所确定的"最佳焦点" 位置所推导出的（沿着照相机系统的光轴和调焦轴的）Z高度测量值或坐标。可以将一组这 样的X、Y、Z坐标称为点云数据或简称为点云。通常，根据现有技术的自动调焦方法和/或 工具，照相机在沿着Z轴（调焦轴）的位置的范围内移动，并且拍摄各位置处的图像（称为 图像栈（imagestack))。对于各所拍摄图像，基于该图像并且与拍摄到该图像时照相机沿 着Z轴的相应位置有关地，针对各子区域来计算焦点指标（focusmetric)。这样得到各子 区域的焦点曲线数据（还可简称为"焦点曲线"或"自动调焦曲线"）。可以通过使曲线拟合 焦点曲线数据并且估计拟合曲线的峰值，来求出焦点曲线的与沿着z轴的最佳焦点位置相 对应的峰值。这些自动调焦方法的变形是本领域内众所周知的。例如，在ISISTechnical ReportSeries,Vol. 17,November2000 中的Jan-MarkGeusebroek和ArnoldSmeulders所 发表的"RobustAutofocusinginMicroscopy"中论述了与上述相似的一种已知的自动调 焦方法。在美国专利5, 790, 710中描述了另一已知的自动调焦方法和设备，在此通过引用 包含其全部内容。
[0004] 包括特定检查事件序列（即，如何获取各图像和如何分析/检查各所获取图像） 的机器控制指令通常被存储为特定工件配置所特有的"零件程序"或"工件程序"。例如，零 件程序定义如何获取各图像，诸如相对于工件如何定位照相机、以何种照明水平、以何种倍 率水平等。此外，零件程序例如通过使用诸如自动调焦视频工具等的一个或多个视频工具 来定义如何分析/检查所获取图像。
[0005] 可以手动地使用视频工具（或简称为"工具"）和其它图形用户界面特征来实现手 动检查和/或机器控制操作（采用"手动模式"）。还可以在学习模式期间记录这些视频工 具的设置参数和操作，从而创建自动检查程序或"零件程序"。视频工具例如可以包括边缘 /边界检测工具、自动调焦工具、形状或模式匹配工具和尺寸测量工具等。
[0006] 在各种应用中，期望进行高速自动调焦操作以便于在静止型或不停移动型检查系 统中进行高速3D测量。激光三角测量技术可以提供2000:1的范围-分辨率比，但采用这 种技术的一般系统对于Z高度测量的分辨率的下限为4ym并且无法提供与示例性机器视 觉检查系统相当的横向分辨率。传统的机器视觉检查系统中的自动调焦操作的速度受到照 相机在Z高度位置的范围内的运动所限制。需要利用用于收集图像栈的替代方法的改进型 自动调焦操作来高速测量Z高度位置。
【发明内容】
[0007] -种用于在机器视觉检查系统中进行高速的对焦高度测量操作的方法，所述机器 视觉检查系统包括照明源和包含照相机系统的摄像系统，所述方法包括以下步骤：将工件 放置在所述机器视觉检查系统的视场内；确定对焦高度测量操作所用的关注区域；使所述 照明源进行工作，以利用频闪照明对所述工件进行照明；在所述工件附近的沿着Z高度方 向的多个位置上，定期对所述摄像系统的焦点位置进行调制；收集包括聚焦于各Z高度的 各图像的图像栈，其中使用频闪照明的实例来对所述图像栈的各图像进行曝光，所述频闪 照明的实例被定时成与同所述图像栈内的Z高度相对应的定期调制后的焦点位置的相位 一致；以及基于分析所述图像栈来确定所述关注区域的至少一个部分的Z高度测量值，以 确定与所述关注区域的所述至少一个部分的最佳焦点位置相对应的Z高度。
[0008] -种机器视觉检查系统，其能够被配置为收集工件在多个Z高度处的图像的栈， 从而基于关注区域的多个子区域的最佳对焦高度来测量Z高度，所述机器视觉检查系统包 括：摄像系统，其包括可变焦距透镜，所述可变焦距透镜能够以电子方式进行控制以改变所 述摄像系统的焦点位置；以及照明源，其能够被配置为在所述摄像系统的视场内利用频闪 照明对所述工件进行照明，其中，所述机器视觉检查系统包括控制部，所述控制部能够被配 置为进行以下操作：在所述工件附近的沿着Z高度方向的多个位置上，定期对所述可变焦 距透镜的焦点位置进行调制；以及收集包括聚焦于各Z高度的各图像的图像栈，其中所述 图像栈的各图像与频闪照明的实例相对应，所述频闪照明的实例被定时成与同所述图像栈 内的Z高度相对应的定期调制后的焦点位置的相位一致；以及所述机器视觉检查系统能够 被配置为进行以下操作：确定所述视场内的对焦高度测量操作所用的关注区域；以及基于 分析所述图像栈来确定所述关注区域的至少一个部分的Z高度测量值，以确定与所述关注 区域的所述至少一个部分的最佳焦点位置相对应的Z高度。
【专利附图】
【附图说明】
[0009] 通过参考以下结合附图所进行的详细说明，将更加容易地解释和更好地理解本发 明的前述方面以及许多随之而来的优点，其中：
[0010] 图1是示出通用精密机器视觉检查系统的各种典型组件的图；
[0011] 图2是与图1的精密机器视觉检查系统相似并且包括这里所公开的特征的机器视 觉检查系统的控制系统部和视觉组件部的框图；
[0012] 图3示出可以适用于机器视觉检查系统并且根据这里所公开的原理进行工作的 摄像系统的示意图；
[0013]图4是包括第一照相机系统和第二照相机系统的摄像系统的一部分的示意图；
[0014] 图5A是示出照明部的光脉冲的时序图；
[0015] 图5B是示出电子卷帘快门在与各调焦R0I的大小相对应的一组像素间的扫描持 续时间的时序图；
[0016] 图6是不出如下标绘图的图表，其中该标绘图描绘了与利用适用于图4、5A和5B 的实施例所公开的原理的示例性机器视觉检查系统所收集到的146个图像的图像栈内的 利用图像栈编号排序后的图像相对应的光脉冲的时间；
[0017] 图7是示出如下标绘图的图表，其中该标绘图使根据图4、5A、5B和6的实施例所 配置的机器视觉检查系统的摄像系统中的可变焦距透镜的光功率与146个图像的图像栈 内的图像栈编号相关；
[0018] 图8是示出如下标绘图的图表，其中该标绘图描绘了与利用适用于图4、5A、5B、6 和7所公开的原理的示例性机器视觉检查系统所收集到的146个图像的图像栈内的图像栈 编号相对应的Z高度；
[0019] 图9是包括照相机系统的摄像系统的一部分的示意图；以及
[0020] 图10是示出用于在机器视觉检查系统中进行高速自动调焦操作的方法的流程 图。
【具体实施方式】
[0021] 图1是根据这里所述的方法可使用的一个示例性机器视觉检查系统10的框图。该 机器视觉检查系统10包括视觉测量机12,其中该视觉测量机12被可操作地连接以与控制 计算机系统14交换数据和控制信号。控制计算机系统14被进一步可操作地连接以与监视 器或显示器16、打印机18、操纵杆22、键盘24和鼠标26交换数据和控制信号。监视器或 显示器16可以显示适合控制和/或编程机器视觉检查系统10的操作的用户界面。应当理 解，在各实施例中，计算机系统14、显示器16、操纵杆22、键盘24和鼠标26中的任意或所有 的功能可以替换成触摸屏平板电脑等，以及/或者触摸屏平板电脑等可以冗余地提供计算 机系统14、显示器16、操纵杆22、键盘24和鼠标26中的任意或所有的功能。
[0022] 本领域技术人员应当理解，控制计算机系统14通常可以包括任何计算系统或装 置。合适的计算系统或装置可以包括个人计算机、服务器计算机、小型计算机、大型计算机 和包括前述任一的分布式计算环境等。这些计算系统或装置可以包括执行软件以进行这里 所述的功能的一个或多个处理器。处理器包括可编程通用或专用微处理器、可编程控制器、 专用集成电路（ASIC)或可编程逻辑装置（PLD)等、或者这些装置的组合。可以将软件存储 在诸如随机存取存储器（RAM)、只读存储器（ROM)或闪速存储器等、或者这些组件的组合等 的存储器中。还可以将软件存储在诸如基于磁性或光学的盘、闪速存储器装置或用于存储 数据的任何其它类型的非易失性存储介质等的一个或多个存储装置中。软件可以包括包含 用于进行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和数据结构等的一个 或多个程序�？�。在分布式计算环境中，可以采用有线或无线配置在多个计算系统或装置 中组合或分配程序�？榈墓δ懿⑶揖煞竦饔美捶梦矢霉δ�。
[0023] 视觉测量机12包括可动工件台32和可包括变焦透镜或可更换透镜的光学成像系 统34。变焦透镜或可更换透镜通常为光学成像系统34所提供的图像提供各种倍率。机器视 觉检查系统10大体上相当于以上论述的QUICKVISION?系列的视觉系统和QVPAK? 软件、以及类似的最新型可商购获得的精密机器视觉检查系统。在共同受让的美国专利 7, 454, 053、7, 324, 682、8, 111，905和8, 111，938中也描述了机器视觉检查系统10,其中这 些专利各自通过引用全部包含于此。
[0024] 图2是与图1的机器视觉检查系统相似并且包括如这里所述的特征的机器视觉检 查系统100的控制系统部120和视觉组件部200的框图。如以下将更详细地说明，利用控 制系统部120来控制视觉组件部200。视觉组件部200包括光学组件部205、光源220、230 和240以及具有中央透明部212的工件台210。工件台210沿着X轴和Y轴可控制地移动， 其中X轴和Y轴存在于与可以定位工件20的台的表面大体平行的面内。光学组件部205 包括照相机系统260、可更换物镜250,并且可以包括具有透镜286和288的转台透镜组件 280。作为转台透镜组件的替代，可以包括固定或手动可更换倍率改变透镜或变焦透镜结构 等。
[0025] 通过使用可控马达294,光学组件部205沿着与X轴和Y轴大体垂直的Z轴可控制 地移动，其中该可控马达294驱动致动器以使光学组件部205沿着Z轴移动以改变工件20 的图像的焦点。可控马达294经由信号线296连接至输入/输出接口 130。
[0026] 将使用机器视觉检查系统100要摄像的工件20或保持多个工件20的托盘或夹具 放置在工件台210上。工件台210可被控制为相对于光学组件部205移动，以使得可更换 物镜250在工件20上的位置之间以及/或者在多个工件20之间移动。台灯220、同轴灯 230和表面灯240 (例如，环形灯）中的一个或多个可以分别发射源光222、232和/或242， 以对工件20进行照明。光源230可以沿着包括镜290的路径发射光232。该源光被反射或 透射作为工件光255,并且摄像所用的工件光穿过可更换物镜250和转台透镜组件280并且 被照相机系统260收集。将照相机系统260所拍摄到的工件20的图像经由信号线262输 出至控制系统部120。光源220、230和240可以分别经由信号线或总线221、231和241连 接至控制系统部120。为了改变图像倍率，控制系统部120可以经由信号线或总线281使转 台透镜组件280沿着轴284转动，以选择转台透镜。
[0027] 如图2所示，在各种典型实施例中，控制系统部120包括控制器125、输入/输出接 口 130、存储器140、工件程序生成器和执行器170、以及电源部190。这些组件各自以及以 下所述的附加组件可以经由一个或多个数据/控制总线和/或应用程序编程接口、或者通 过各元件之间的直接连接来互连。
[0028] 输入/输出接口 130包括摄像控制接口 131、运动控制接口 132、照明控制接口 133 和透镜控制接口 134。运动控制接口 132可以包括位置控制元件132a和速度/加速度控制 元件132b，尽管这些元件可以进行合并和/或不进行区分。照明控制接口 133包括照明控 制元件133a、133n和133f1，其中这些照明控制元件133a、133n和133f1例如在可应用的情 况下，针对机器视觉检查系统100的各种相应光源，来对选择、功率、接通/断开开关和选通 脉冲定时进行控制。
[0029] 存储器140可以包括图像文件存储器部141、边缘检测存储器部140ed、可具有一 个或多个零件程序等的工件程序存储器部142、以及视频工具部143。视频工具部143包括： 视频工具部143a和其它视频工具部（例如，143n)，用于针对各相应视频工具，来确定GUI、 图像处理操作等；以及关注区域（R0I)生成器143roi，用于支持用以限定视频工具部143 所包括的各种视频工具中可操作的各种R0I的自动、半自动和/或手动操作。该视频工具 部还包括自动调焦视频工具143af，其中该自动调焦视频工具143af用于针对对焦高度测 量操作确定⑶I、图像处理操作等。自动调焦视频工具143af?附加地包括高速对焦高度工具 143hs，其中可以利用该高速对焦高度工具143hs、使用图3所述的硬件根据针对图3?9所 述的操作来高速测量对焦高度。在一些实施例中，高速对焦高度工具143hs可以是可根据 自动调焦视频工具所用的传统方法进行工作的自动调焦视频工具143af?的特殊模式。在一 些实施例中，自动调焦视频工具143af的操作可以仅包括高速对焦高度工具143hs的操作。 在本发明的上下文中并且如本领域普通技术人员已知，术语"视频工具"通常是指机器视觉 用户在无需创建视频工具中所包括的逐步操作序列或采用广义的基于文本的编程语言等 的情况下、经由相对简单的用户界面（例如，图形用户界面、可编辑参数窗口和菜单等）就 可以实现的一组相对复杂的自动或编程操作。例如，视频工具可以包括通过调整用于管理 这些操作和计算的一些变量或参数来在特定实例中应用并定制的一组复杂预先编程的图 像处理操作和计算。除基�。╱nderlying)操作和计算以外，视频工具还包括使得用户能够 针对视频工具的特定实例来调整这些参数的用户界面。例如，许多机器视觉视频工具使得 用户能够使用鼠标通过简单的"手柄拖动"操作来配置图形关注区域（R0I)指示符，从而限 定通过视频工具的特定实例的图像处理操作要分析的图像子集的位置参数。应当注意，在 隐含地包括基础操作的情况下，有时将可见用户界面特征称为视频工具。
[0030] 台灯220、同轴灯230和230'以及表面灯240的信号线或总线221、231和241分 别全部连接至输入/输出接口 130。来自照相机系统260的信号线262和来自可控马达294 的信号线296连接至输入/输出接口 130。除输送图像数据外，信号线262还可以输送来自 控制器125的用于启动图像获取的信号。
[0031] 一个或多个显示装置136 (例如，图1的显示器16)和一个或多个输入装置138 (例 如，图1的操纵杆22、键盘24和鼠标26)也可以连接至输入/输出接口 130。可以使用显 示装置136和输入装置138来进行以下操作：显示可以包括可用于进行检查操作以及/或 者创建和/或修改零件程序的各种图形用户界面（GUI)特征的用户界面；查看照相机系统 260所拍摄到的图像；以及/或者直接控制视觉系统组件部200。显示装置136可以显示与 自动调焦视频工具143af?相关联的用户界面特征。
[0032] 在各种典型实施例中，在用户利用机器视觉检查系统100创建工件20的零件程 序时，用户通过以学习模式操作机器视觉检查系统100来生成零件程序指令以提供期望的 图像获取训练序列。例如，训练序列可以包括：在视�。‵0V)中定位代表工件的特定工件 特征；设置光水平；调焦或自动调焦；获取图像；以及提供应用于图像的检查训练序列（例 如，在该工件特征上使用视频工具其中之一的实例）。使学习模式工作，以使得这些序列被 捕获或记录并转换成相应的零件程序指令。这些指令在执行零件程序的情况下，将使机器 视觉检查系统再现训练后的图像获�。⑹辜觳椴僮髟谟氪唇慵绦蚴彼褂玫拇砉� 件相匹配的运行模式工件上自动检查该特定工件特征（即，相应位置的相应特征）。
[0033] 图3示出可适用于机器视觉检查系统并根据这里所公开的原理进行工作的摄像 系统300的示意图。摄像系统300被配置为收集图像栈以基于该图像栈中的最佳对焦图像 来测量Z高度。摄像系统300包括光源330、物镜350、中继透镜351、中继透镜352、可变焦 距透镜370、镜筒透镜386和照相机系统360,其中该光源330可被配置为在摄像系统300 的视场内利用频闪照明对工件进行照明。
[0034] 在工作中，光源330被配置为将源光332沿着包括镜390的路径发射至工件320的 表面，物镜350被配置为接收聚焦于工件320附近的焦平面F的工件光332,并且将工件光 355输出至中继透镜351。中继透镜351被配置为接收工件光355并将该工件光355输出 至中继透镜352。中继透镜352被配置为接收工件光355并将该工件光355输出至可变焦 距透镜370。中继透镜351和中继透镜352共同提供物镜350和可变焦距透镜370之间的 4f?光学中继器，从而针对各Z高度提供恒定的倍率。可变焦距透镜370被配置为接收工件 光355并将该工件光355输出至镜筒透镜386。可变焦距透镜370是以电子方式可控制的， 以改变摄像系统的焦点位置并收集包括聚焦于各Z高度的各图像的图像栈，其中该图像栈 的各图像与频闪照明的实例相对应，该频闪照明的实例被定时成与同图像栈内的Z高度相 对应的定期调制后的焦点位置的相位一致。
[0035] 在各种实施例中，适用于这里所公开的原理的机器视觉检查系统可被配置为针对 对焦高度测量操作确定视场内的关注区域，并且基于分析图像栈来针对该关注区域的至少 一部分确定Z高度测量值，以确定与针对该关注区域的至少一部分的最佳焦点位置相对应 的Z高度。焦平面F的位置可以在由焦平面F1和焦平面F2限定的范围R内移动。在各种 实施例中，机器视觉检查系统包括控制系统（例如，控制系统200)，其中该控制系统被配置 为控制可变焦距透镜370以定期对摄像系统300的焦点位置进行调制。在一些实施例中， 可变焦距透镜370可以以至少20kHz的速率对焦点位置进行调制。在一些实施例中，范围R 可以大至300ym。可变焦距透镜370的优点在于：该可变焦距透镜370不要求对物镜350 和工件320之间的距离进行调整。这样使得能够在收集基于最佳对焦高度来测量工件320 的一部分的Z高度所用的图像栈时实现较高速度，其中该速度主要受照相机系统360的帧 频所限制。
[0036] 在一些实施例中，可变焦距透镜370是可调声学梯度折射率的折射透镜。可调声 学梯度折射率的折射透镜是在流体介质中使用声波来对焦点位置进行调制并且可以以几 百kHz的频率定期对焦距范围进行扫描的高速可变焦距透镜。根据通过引用全部包含于 此的文章 "High-speedvarifocalimagingwithatunableacousticgradientindexof refractionlens"（OpticsLetters,Vol. 33,No. 18, 2008 年 9 月 15 日）"的教导，可以理解 这种透镜。
[0037] 在一些实施例中，照相机系统360可以包括具有全局快门的传感器、即同时对各 像素进行曝光的传感器。这种实施例的优点在于：提供了在不会使摄像系统300的任意部 分或工件运动的情况下测量图像栈的能力。
[0038] 在一些实施例中，照相机系统360可以包括具有电子卷帘快门（ERS)系统的传感 器。例如，该照相机系统可以包括与电子卷帘快门（ERS)系统相连接的使用SXGA分辨率的 黑白CMOS传感器（例如，从位于加利福尼亚州的AptinaImagingofSanJose可得的型号MT9M001)。栈中的图像的最大数量受到CMOS传感器的垂直分辨率相对于确定对比度指标 所使用的像素阵列的宽度的比率所限制。例如，利用SXGA分辨率的CMOS传感器的分辨率 为1280X1024个像素。因而，对于使用7X7像素的子区域的调焦操作，这将各栈的图像的 数量限制为146个图像。诸如2592X1944HD+传感器等的更高分辨率传感器使得能够针对 146个图像的图像栈实现更宽的子区域、例如13X13的子区域。可选地，利用2592X1944 分辨率的更高分辨率传感器可以将7X7像素的子区域用于278个图像的图像栈。将参考 图4来进一步详细说明这些实施例。
[0039] 在一些实施例中，可以以正弦方式驱动可变焦距透镜370,以使得以正弦方式对可 变焦距透镜370的光功率进行调制。在典型实施例中，可以将可调声学梯度折射率的折射 透镜配置成高达400kHz的焦点扫描速率。栈中的图像的最大数量受到对可变焦距透镜370 进行调制的时间段和与各次图像曝光相关联的光脉冲持续时间的时间长度所限制。对于焦 点调制时间段为13. 9ys且光脉冲持续时间为50ns的情况，这样将各栈的图像数量限制为 275。诸如Aptina等的图像检测器的垂直线扫描频率的量级为kHz。例如，来自Aptina的 型号MT9M001可被配置成线扫描频率为37. 5kHz(基于1280个像素间的48MHz的数据扫描 速率）。这些检测器必须被配置成频率小于可变焦距透镜370的调制频率。
[0040] 在一些实施例中，摄像系统300可以包括可选的分束器361、可选的镜筒透镜386' 和可选的第二照相机系统360'。在工作中，分束器361被配置为对工件光355进行分割并 将工件光355'输出至镜筒透镜386'。镜筒透镜386'被配置为将工件光355'输出至照相 机360'，从而提供机器视觉检查系统的视场的附加图像。图4示出这种系统的详细结构。
[0041] 图4是包括第一照相机系统460和第二照相机系统460'的摄像系统400的一部 分的示意图，其中该第一照相机系统460和第二照相机系统460'可以与图3的照相机系统 360和可选的照相机系统360'相似。图4所示的实施例适合于相对于工件的移动视场的 对焦高度测量。第一照相机系统460和第二照相机系统460'被配置为：随着工件的移动， 使视场以速度SY在与各照相机系统的像素定位方向平行的方向上移动，并且收集图像栈的 图像。第一照相机系统460包括成像阵列410A，并且第二照相机系统460'包括成像阵列 410B，其中成像阵列410A和成像阵列410B各自配置有电子卷帘快门系统并且其分辨率为 X方向上的1280个像素XY方向上的1024个像素。各电子卷帘快门系统被配置为沿着Y 方向对成像阵列410A和成像阵列410B进行扫描从而收集图像栈。
[0042] 尽管在图4中成像阵列410A和成像阵列410B并置，但应当理解，这是为了示意性 示出这两者相对于摄像系统300的视场的图像在Y方向上的Y偏移AY。以与图3中针对 第一照相机系统360和第二照相机系统360'所示的方式类似的方式，成像阵列410A和成 像阵列410B实际上位于单独的光束路径中。图4所示的实施例包括两个照相机系统。然 而，根据相似原理所配置的实施例可以包括两个以上的照相机系统。在这些实施例中，偏移 AY等于确定最佳对焦高度所使用的子区域的宽度。照相机系统的数量可以缩小栈位置之 间的Y间距。在典型实施例中，摄像系统包括七个成像阵列，并且各成像阵列被配置为对以 交错方式彼此偏移了至少等于确定最佳对焦高度所使用的子区域的宽度的偏移AY的光 进行成像。因而，对于利用7X7像素的子区域的调焦操作，AY等于七个像素的宽度。
[0043] 在使用电子卷帘快门系统对移动工件进行焦点测量操作的情况下，成像阵列410A 和410B所收集到的图像栈包括与编号为PSA1^PPSBN的像素条相对应的子图像而不是使用 整个像素阵列的图像。像素条PSAN和PSBN各自的宽度是与确定焦点指标所使用的子区域 相同的像素数。例如，在图4所示的典型实施例中，像素条为七个像素宽并且 确定焦点指标所使用的子区域是7X7个像素。因而成像阵列410A和成像阵列410B所收 集到的图像栈包括作为7X1280个像素的146个图像。各图像与Z高度ZN相对应，即可变 焦距透镜在与时间tN相对应的调制相位中聚焦于各Z高度。
[0044] 在图4所示的典型实施例中，摄像系统400包括两个成像阵列。然而，在各种实施 例中，根据相似原理所配置的摄像系统可以具有仅一个成像阵列或两个以上的成像阵列。 多个成像阵列改善了Y方向上的测量量。例如，使用参考图4所述的相同参数，包括一个 成像阵列的照相机系统的测量量可以为1. 331X0. 007X0. 292mm3,并且包括（在Y方向上 分开了七个像素的）两个成像阵列的摄像系统的测量量可以为1. 331X0. 014X0. 292mm3。 包括（在Y方向上错开了七个像素的）N个成像阵列的摄像系统的测量量可以为 1.331X(0. 007*N)X0. 292mm3。多个成像阵列还可以改善Y方向上的测量间距。在一个典 型实施例中，可以使工件相对于摄像系统300的视场在Y方向上以速度SY移动，其中该速度 SY最小为5mm/s且最大为39mm/s。因而，使用针对图4所述的相同参数，包括一个成像阵列 的照相机系统的测量间距可以为〇. 132mm?1. 057mm，并且包括（在Y方向上分开了七个像 素的）两个成像阵列的摄像系统的测量间距可以为〇.〇67mm?0.53mm。包括（在Y方向上 错开了七个像素的）N个成像阵列的摄像系统的测量间距可以为0? 132/Nmm?1.057/Nmm。 使用针对图4所述的相同参数所配置的机器视觉检查系统所提供的X方向、Y方向和Z方向 上的测量分辨率可以分别为〇. 〇〇lmm、〇. 〇〇2mm和0. 002mm。相比之下，诸如Micro-Epsilon Scancontrol2800-10等的示例性激光三角测量系统所提供的X方向和Z方向上的分辨率 可以分别为〇. 040_和0. 004_。典型实施例的Y分辨率更为粗略。然而，对于SY为5_/ s?39mm/s的情况，该2800-10系统所提供的Y方向上的测量间距至少为0. 015mm。
[0045] 图5A是示出照明部330的光脉冲的时序图。图5B是示出电子卷帘快门在与各调 焦R0I的大小相对应的一组像素间的扫描持续时间的时序图。照明部330针对图像栈的各 次图像曝光提供频闪照明。以与摄像系统的定期调制后的焦点位置相匹配的频率来驱动该 频闪照明。在表现图5A和5B的特征的典型实施例中，以正弦形式对可变焦距透镜370进 行调制。利用每第N个脉冲之间的（例如，时间、?时间&的）持续时间A^\来对光脉 冲进行定时。在照相机系统360包括电子卷帘快门的实施例中，该电子卷帘快门在持续时 间AERS内对像素阵列中与调焦R0I大小的子区域相等的部分进行扫描。对光脉冲进行定 时以与可变焦距透镜370的调制的相位（Ks 一致，由此图像栈中的各整个图像与适当的对 焦高度相匹配。因而持续时间ALP是持续时间AERS和各光脉冲的相位（tNS的总和。对 于以72kHz的频率进行调制的可变焦距透镜和以30帧/秒进行工作的成像阵列，146个图 像的图像栈与可变焦距透镜的2, 400个周期相对应。
[0046] 图6是示出标绘图610的图表600，其中该标绘图610描绘了与利用适用于图4、5A 和5B的实施例所公开的原理的示例性机器视觉检查系统所收集到的146个图像的图像栈 内的利用图像栈编号排序后的图像相对应的光脉冲的时间。在图6所示的典型实施例中， 持续时间AERS为186. 667微秒。在可变焦距透镜370的周期内，各个相位（tNS以〇. 〇91微 秒的步长递增。对各脉冲进行定时以与ERS周期的中间值+各相位（Ks 一致，即，以从ERS 开始扫描各像素条起延迟了 93. 333微秒+各相位（tNS的状态对这些脉冲进行定时。
[0047] 图7是示出标绘图710的图表700,其中该标绘图710使根据图4、5A、5B和6的实 施例所配置的机器视觉检查系统的摄像系统中的可变焦距透镜的光功率与146个图像的 图像栈内的图像栈编号相关。在表现图7的特征的实施例中，以正弦形式对可变焦距透镜 进行调制。如标绘图710所示，摄像系统的光功率相对于利用横轴的栈编号所表示的图像 栈中的图像的顺序以正弦方式改变。光功率在值+〇. 17IIT1?-0. 17IIT1之间改变。
[0048] 图8是示出标绘图810的图表800,其中该标绘图810描绘了与利用适用于图4、 5A、5B、6和7所公开的原理的示例性机器视觉检查系统收集到的146个图像的图像栈内的 图像栈编号相对应的Z高度。对表现标绘图810的特征的各图像进行定时以匹配与通过可 变焦距透镜370的调制得到的适当Z高度相对应的可变焦距透镜的调制的相位。在表现图 8的特征的实施例中，图像栈与290ym的Z高度范围相对应。
[0049] 图9是包括照相机系统960的摄像系统900的一部分的示意图。照相机系统960 包括作为一维线传感器的成像阵列910,而不是二维成像阵列。除成像阵列910以外，摄像 系统900可以与图3所不的摄像系统300相似。如图4所不的摄像系统400那样，摄像系 统900适合以速度SY相对于工件移动的视场。二维成像阵列对图3所示的范围R设置下 限值。对于二维阵列，范围R受频闪光的最小持续时间和成像阵列的行数所限制。然而，一 维阵列仅受频闪光的持续时间所限制。
[0050] 可能适合成像阵列910的示例性传感器是包括宽度为2048个像素且线速 率为140kHz的阵列的从位于加拿大安大略省滑铁卢的TeledyneDalsa得到的型号 P4-CM-02K10D-00-R。该传感器包括可以进行合计或者彼此独立地使用的两条线的像素。还 可利用具有一条线的像素的相似传感器，并且这些相似传感器适合图9所示的实施例。
[0051] 在一些典型实施例中，廉价光源的光脉冲持续时间可以为50ns并且其焦点调制 速率可以为72kHz，其中该焦点调制速率能够进行278次定时递增以收集图像栈。这种实施 例的范围R可以约为摄像系统900的焦深的100倍。在一些典型实施例中，高级光源的光 脉冲持续时间可以为2ns并且其焦点调制速率可以为72kHz，其中该焦点调制速率能够进 行6, 950次定时递增以收集图像栈。这种实施例的范围R可以约为摄像系统900的焦深的 2, 500 倍。
[0052] 应当理解，具有线速率140kHz或更高线速率280kHz的一维成像阵列能够通过以 72kHz进行工作的一般可调声学梯度折射率的折射透镜的一个周期来收集图像栈。利用针 对图9所述的相同参数的具有以与Sy = 33mm/秒的摄像系统300可比较的速度移动的视场 的机器视觉检查系统可以提供的X方向、Y方向和Z方向上的测量分辨率分别为0. 001mm、 0. 010mm和 0? 002mm。
[0053] 图10是示出用于在机器视觉检查系统中进行高速对焦操作的方法的流程图 1000。该机器视觉检查系统包括照明源和摄像系统，其中该摄像系统包括可变焦距透镜和 照相机系统。
[0054] 在块1010中，将工件放置在机器视觉检查系统的视场内。
[0055] 在块1020中，确定对焦高度测量操作所用的关注区域。
[0056] 在块1030中，使照明源进行工作以利用频闪照明对工件进行照明。
[0057] 在块1040中，在工件附近的沿着Z高度方向的多个位置上，定期对摄像系统的焦 点位置进行调制。
[0058] 在块1050中，收集包括聚焦于各Z高度的各图像的图像栈，其中使用频闪照明的 实例来对图像栈的各图像进行曝光，其中该频闪照明的实例被定时成与同图像栈内的Z高 度相对应的定期调制后的焦点位置的相位一致。
[0059] 在块1060中，基于分析图像栈来确定关注区域的至少一部分的Z高度测量值，以 确定与该关注区域的该至少一部分的最佳焦点位置相对应的Z高度。在一些实施例中，该 关注区域的该至少一部分可以是关注区域的子区域。在一些实施例中，该关注区域的该至 少一部分可以是关注区域整体。在一些实施例中，针对关注区域的至少一部分确定Z高度 测量值可以包括：针对关注区域的多个子区域确定Z高度测量值。
[0060] 应当理解，根据这里所公开的原理所配置的机器视觉检查系统的实施例相对于基 于激光三角测量的系统提供了特定优势。例如，这些系统没有产生激光散斑，因而没有产生 眼睛安全隐患。（例如，在图3所示的实施例中）经由透镜可以进行测量，这意味着不存在 潜在的障碍或阴影。此外，诸如照明源、CMOS成像阵列和所需的支持电子器件等的组件是 廉价的。
[0061] 尽管已经例示和说明了本发明的各实施例，但本领域技术人员基于本公开内容将 明白所例示和说明的特征配置和操作序列的多种变形。因而，应当理解，可以在没有背离本 发明的精神和范围的情况下在本发明中进行各种改变。
【权利要求】
1. 一种用于在机器视觉检查系统中进行高速的对焦高度测量操作的方法，所述机器视 觉检查系统包括照明源和包含照相机系统的摄像系统，所述方法包括以下步骤： 将工件放置在所述机器视觉检查系统的视场内； 确定对焦高度测量操作所用的关注区域； 使所述照明源进行工作，以利用频闪照明对所述工件进行照明； 在所述工件附近的沿着Z高度方向的多个位置上，定期对所述摄像系统的焦点位置进 行调制； 收集包括聚焦于各Z高度的各图像的图像栈，其中使用频闪照明的实例来对所述图像 栈的各图像进行曝光，所述频闪照明的实例被定时成与同所述图像栈内的Z高度相对应的 定期调制后的焦点位置的相位一致；以及 基于分析所述图像栈来确定所述关注区域的至少一个部分的Z高度测量值，以确定与 所述关注区域的所述至少一个部分的最佳焦点位置相对应的Z高度。
2. 根据权利要求1所述的方法，其中，所述摄像系统包括可变焦距透镜，并且定期对所 述摄像系统的焦点位置进行调制的步骤包括：对所述可变焦距透镜的焦点位置进行调制。
3. 根据权利要求2所述的方法，其中，所述可变焦距透镜是可调声学梯度折射率的折 射透镜。
4. 根据权利要求2所述的方法，其中，定期对所述摄像系统的焦点位置进行调制的步 骤包括：以至少10kHz的速率对焦点位置进行调制。
5. 根据权利要求2所述的方法，其中，对所述可变焦距透镜的焦点位置进行调制的步 骤包括：对焦点位置进行正弦调制。
6. 根据权利要求1所述的方法，其中，利用频闪照明对所述工件进行照明的步骤包括： 以与所述摄像系统的定期调制后的焦点位置相匹配的频率来驱动所述频闪照明，并且添加 被定时成与Z高度相对应的相位偏移。
7. 根据权利要求1所述的方法，其中，还包括以下步骤： 使所述视场沿着与所述照相机系统的像素定位方向平行的运动方向相对于所述工件 进行移动，以及随着所述视场的移动来收集所述图像栈的图像， 其中，所述摄像系统包括具有电子卷帘快门的照相机系统，并且所述图像栈的各图像 是像素阵列中的、沿着所述运动方向的宽度与所述关注区域的所述至少一个部分相等的 条。
8. 根据权利要求7所述的方法，其中，所述摄像系统包括包含成像阵列的多个照相机 系统，所述成像阵列用于接收以交错方式彼此偏移了如下距离的图像光，其中该距离至少 等于确定最佳对焦高度所使用的所述关注区域的所述至少一个部分的宽度。
9. 根据权利要求1所述的方法，其中，所述关注区域的所述至少一个部分是所述关注 区域的子区域。
10. 根据权利要求1所述的方法，其中，所述关注区域的所述至少一个部分是所述关注 区域整体。
11. 根据权利要求1所述的方法，其中，确定所述关注区域的至少一个部分的Z高度测 量值的步骤包括：确定所述关注区域的多个子区域的Z高度测量值。
12. -种机器视觉检查系统，其能够被配置为收集工件在多个Z高度处的图像的栈， 从而基于关注区域的多个子区域的最佳对焦高度来测量Z高度，所述机器视觉检查系统包 括： 摄像系统，其包括可变焦距透镜，所述可变焦距透镜能够以电子方式进行控制以改变 所述摄像系统的焦点位置；以及 照明源，其能够被配置为在所述摄像系统的视场内利用频闪照明对所述工件进行照 明， 其中，所述机器视觉检查系统包括控制部，所述控制部能够被配置为进行以下操作： 在所述工件附近的沿着Z高度方向的多个位置上，定期对所述可变焦距透镜的焦点位 置进行调制；以及 收集包括聚焦于各Z高度的各图像的图像栈，其中所述图像栈的各图像与频闪照明的 实例相对应，所述频闪照明的实例被定时成与同所述图像栈内的Z高度相对应的定期调制 后的焦点位置的相位一致；以及 所述机器视觉检查系统能够被配置为进行以下操作： 确定所述视场内的对焦高度测量操作所用的关注区域；以及 基于分析所述图像栈来确定所述关注区域的至少一个部分的Z高度测量值，以确定与 所述关注区域的所述至少一个部分的最佳焦点位置相对应的Z高度。
13. 根据权利要求12所述的机器视觉检查系统，其中，所述摄像系统包括可调声学梯 度折射率的折射透镜，所述可调声学梯度折射率的折射透镜能够被配置为对所述摄像系统 的焦点位置进行调制。
14. 根据权利要求12所述的机器视觉检查系统，其中，所述摄像系统包括照相机系统， 所述照相机系统包括全局快门系统。
15. 根据权利要求14所述的机器视觉检查系统，其中，还包括对焦高度视频工具，其 中，在所述工件附近的多个位置上定期对所述摄像系统的焦点位置进行调制并且收集图像 栈的操作能够作为所述对焦高度视频工具的可选高速模式来选择。
16. 根据权利要求12所述的机器视觉检查系统，其中，所述摄像系统包括至少一个照 相机系统，所述至少一个照相机系统包括具有电子卷帘快门系统的成像阵列。
17. 根据权利要求16所述的机器视觉检查系统，其中， 所述摄像系统包括多个照相机系统，所述多个照相机系统各自包括具有电子卷帘快门 系统的成像阵列；以及 各所述成像阵列以交错方式被配置为接收彼此偏移了如下距离的图像光，其中该距离 与确定最佳焦点位置所使用的所述关注区域的所述至少一个部分的宽度相等。
18. 根据权利要求12所述的机器视觉检查系统，其中，照相机系统包括作为一维线传 感器的成像阵列。
【文档编号】G01B11/02GK104236463SQ201410265860
【公开日】2014年12月24日 申请日期:2014年6月13日 优先权日:2013年6月13日
【发明者】P·格拉德尼克 申请人:株式会社三丰
专业数控铣床产品供应商
20年生产经验，实力工厂，精工品质，质量有保障
