专利名称：组合多个独立信息源用于被测器件的分类的制作方法
技术领域：
本发明的实施例针对器件测试领域，具体地说，针对用于使用多种测试技术评价制得器件的系统和方法。
背景技术：
当使用现代自动化工艺制造诸如电子元件等的单元时，一定百分比的这些单元将含有缺陷、缺少零件或有其他类似的瑕疵。例如，当制造例如用在蜂窝电话中的印刷电路板(PCB)时，一定百分比的产出的PCB会缺少元件。为了保证质量，制造商通常会测试制得的单元以寻找缺陷的存在。例如，在PCB被制造后，通常对PCB的表面进行光学检查。通过将这些图像与已知的标准图像相比较，可以检测到缺陷。这些光学检查可以是用于判断表面质量的彩色图像、用于判断是否在PCB上存在或缺少元件的灰度图像，或者甚至是用于判断焊点质量的PCB表面的三维图像。也可以使用诸如电导率或x射线成像之类的其他类型的测试。通常，所选择的测试类型是被制造单元的类型、制造工艺自身的类型、测试环境或其他类似考虑的函数。
大多数测试方法常常通过将新制得的单元的测试结果与已知标准的结果相比较来检测缺陷。例如，诸如上述那些的光学检查测试将制得的PCB的图像与已知的“好”PCB的图像相比较。然后当PCB的图像与已知的“好”PCB的图像有可察觉的不同时，可以检测到缺陷。其他方法使用类似的方法来检测各种缺陷的存在。例如，在制造过程中，不当动作会导致用于将芯片固定到PCB上的焊点溢出。使用电气连通性测试经�？梢约觳獾秸庵秩毕荩诘缙ㄐ圆馐灾校饬啃轮频玫牡ピ牧ㄐ裕⒔溆胍阎摹昂谩钡ピ闹迪啾冉�。如果测得值的偏差大于预设量，则认为制得的单元是有缺陷的。
传统制造技术只使用一种测试技术来检测缺陷的存在。通常，选择该测试是因为对于给定的制造工艺、所制造的单元的类型和预期缺陷类型，它被认为是最适合(或精确)的。例如，如果彩色成像产生了用于检测元件存在的最精确的结果，则使用彩色成像。如果灰度成像产生了用于检测集成电路(IC)芯片上的文本代码的最精确的结果，则使用灰度成像。某些制造技术确实使用多种测试，尤其当制造商测试不同类型的缺陷时。但是，因为多种测试可能不是同等可靠，并且经常产生不一致的结果，所以很难有效地利用多种测试。这样，当使用多种测试时，经常应用对测试结果进行组合的“多数规则”方法，意味着只有当器件不通过多数测试时，其才被认为是有缺陷的。
发明内容
本发明的实施例使用多种缺陷检测测试的结果，并且以反映产生该结果的测试的准确度的方式来调整每种测试的结果。然后可以使用经调整的结果的数学组合来评价制得单元。
某些实施例通过分析在具有已知缺陷分布的单元上运行的结果，预先确定每种测试的准确度。然后可以使用这些结果来创建加权因子，这些加权因子与在新制得单元上执行的测试的结果一起使用。每种测试的加权结果然后可以被看作被测单元含有缺陷的似然度。通过数学地组合这些似然度，制造商能够有效地使用多个测试来评价制得单元，即使这些测试具有不同的可靠性。
根据本发明的用于评价单元的系统可以包括多种检测缺陷存在的测试技术，如果这些技术中的至少一种的准确度能够被判断的话。实施例还可以包括处理器和代码，该代码将来自使用该技术准确度的每种技术的结果加权。实施例然后可以使用代码来将加权后的结果组合，并计算该单元有缺陷的概率。
实施例可以使用根据本发明的方法来评价制得的电子器件。这些实施例测试多种技术中的每一种，以判断它们检测已知制造缺陷的有效程度。在使用每种技术测试新制得的器件后，实施例可以调整每种技术获得的结果，以弥补任何被确定的不准确度。实施例然后通过组合经调整的结果，计算该器件有缺陷的概率。
前面已经相当广地概括了本发明的特征和技术优点，以便使得下面的对本发明的详细描述可以被更好的理解。下文中将会描述本发明的另外特征和优点，这些形成了本发明的权利要求的主题。应该理解，所公开的概念和具体实施例可以很容易地被用作用于实现本发明相同目的所作的修改或设计其他结构的基础。还应该认识到，这样的等同结构并不脱离如在所附权利要求中所提出的本发明的范围。当结合附图考虑时，从下面的说明可以更好地理解被认为是本发明特点的新颖特征及构成和操作方法，以及进一步的目的和优点。但是，可以清楚地理解，每一附图只是被提供用于举例说明和描述的目的，而不是对本发明的界限进行定义。
为了更彻底地理解本发明，结合附图参考下面的说明，其中图1图示了根据本发明实施例的正被测试缺陷的多个制得器件；图2是图示了根据本发明实施例的判断器件是否有缺陷的方法的流程图；图3是根据本发明实施例的用于对系统训练的过程；以及图4表示基于表1和表2的数据的接收器操作特性(receiver operatingcharacteristics，ROC)曲线图。
图5图示了根据本发明实施例的适合的示例计算机系统。
具体实施例方式
图1图示了根据本发明实施例的正被测试缺陷的多个制得器件。系统100中的每一个被测器件(DUT)101是可能含有缺陷的制得单元。测试102～105被设计来检测在DUT 101制造中预期的缺陷。可以基于如下考虑选择适当的测试所制造的DUT的类型、制造中涉及的环境因素、可能出现的缺陷类型、诸如印刷电路板上的测试接入点之类的物理约束、诸如测试费用之类的经济约束、诸如吞吐量要求之类的逻辑约束和/或其他类似考虑。本发明的实施例不限于任何具体的DUT类型、缺陷类型或任何测试安排。而是，本发明的实施例可以被用于测试使用任何类型制造技术以及利用能够被加权的任何类型测试技术的任何类型DUT。在系统100用每种测试102～105测试了DUT 101后，测试102～105的结果然后被选择器108使用，以将有缺陷的DUT 106从好的DUT 107中分离出来。DUT101可以是电子元件、印刷电路板、任何其他制品，例如能够被多种加权测试所测试的食品或玩具。注意，本发明的实施例不限于用于质量控制的制得产品的测试。本发明的方法也可以被用在与机场检查、医疗检查或可以利用具有不同质量或精度的多种测量机制的任何其他应用结合使用的过程中。
图2是图示了根据本发明一个实施例判断DUT是否有缺陷的方法的流程图。方法200利用两种测试方法，通过从每个测试结果的加权组合计算DUT含有缺陷的概率，检验每个DUT合格或者不合格。但是，应该理解，本发明的实施例不限于仅有两种测试方法，而是可以适合于使用能够产生加权结果的任意数量的测试。在步骤201中，使用第一测试方法测试DUT，并在步骤203中，产生DUT根据第一测试是否存在缺陷的某种判断。在步骤205中，使用对第一测试方法准确度的某种判断，对步骤203中作出的判断进行加权。结果是DUT存在缺陷的似然度，该结果是第一测试的结果与操作者对第一测试方法准确度的置信度的组合。
在步骤202中，使用第二测试方法2测试同一DUT。在步骤204中，用第二测试的结果来判断DUT根据第二测试是否存在缺陷。在步骤206中，通过对第二测试方法准确度的测量来对该判断加权。步骤207通过将每个测试产生的加权似然度组合，来计算DUT有缺陷的概率。在本发明的一个实施例中，步骤203～207可以由选择器108执行。在本发明的另一个实施例中，步骤201～206可以由(例如)测试102和103执行。
为了确定对测试方法“加权”的置信因子，系统可能需要被“训练”。图3是根据本发明实施例的用于对系统训练的过程。在方法300中，DUT 350是特性已知的标准单元，其在步骤301中经历使用测试X的测试，在步骤302中经历使用测试Y的测试。为了清楚，只示出了两种测试，但是本发明的实施例不限于任何具体数目的测试。另外，测量X和测量Y不需要是相关的，而可以是两个独立的信息源，例如彩色成像和电气连通性，它们产生独立的DUT测量。
这些测量在步骤303中产生特征集X，在步骤304中产生特征集Y。特征集X和Y通常是在DUT上预定采样点处取得的多个测量的集合。因为被用来训练系统的标准DUT具有已知的缺陷分布，所以得到的特征集将显示测试X和测试Y对操作者已知缺陷的存在的检测的有效程度。一旦对所有的标准DUT测量了特征集X和特征集Y，则步骤305和306将特征集X和Y与每个标准DUT的已知分布相比较，并从该比较确定每个测量X和Y检测标准DUT中缺陷的准确程度。这些结果通常被表示为每个测试的置信因子。然后，步骤307组合使用X和Y的测量的置信因子，以确定最终的置信度Z，它代表当测试X和Y两者同时被使用时，缺陷可以被检测到的准确程度。使用该因子Z，步骤308绘制虚假合格(有缺陷的DUT没被找出缺陷)和虚假不合格(无缺陷的DUT被找出缺陷)的概率的图表。
为了计算上面的示例系统和方法中所使用的置信度，本发明的实施例可以使用任何合适的统计模型。作为示例和说明，这里使用高斯模型。在图3的步骤303中得到的特征集X可以由矩阵表示，在该矩阵中，每一列代表一个测量点，每一行代表一次测量行程。如下的训练数据矩阵代表在k个测量点和n次测量的在一个标准上运行的X的结果。
X11X12···X1kX21X22···X2k···Xn1Xn2···Xnk]]>应该注意，替代地，训练方法也可以在k个测量点处，在n个样本上运行测试X，产生同样的结果。
使用该矩阵的均值向量
μ‾=μ1μ2···μk,]]>其中μj＝(X1j+X2j+…+Xnj)/n以及X的协方差矩阵Σ=σ112σ21···σk1σ12σ222······σ1k...σkk2]]>其中，该矩阵的第ij项是特征i和特征j的协方差，并且σij＝[(X1i-μi)(X1j-μj)+(X2i-μi)(X2j-μj)+…+(Xni-μi)(Xnj-μj)]/(n-2)对一般的测试方法，通常确定代表器件没有缺陷的“A”级标准DUT的矩阵、平均向量和协方差矩阵，另外确定代表器件含有已知缺陷的“B”级标准DUT的矩阵、平均向量和协方差矩阵。
代表在图3的步骤304中获得的测试方法Y的Y特征集可以由下面的矩阵表示Y11Y12···Y1kY21Y22···Y2k···Yn1Yn2···Ynk]]>使用该矩阵的均值向量μ‾=μ1μ2···μk,]]>其中μj＝(Y1j+Y2j+…+Ynj)/n以及协方差矩阵
Σ=σ112σ21...σk1σ12σ222......σ1kσkk2]]>其中σjj2=[(Y1j-μj)2+(Y2j-μj)2+···+(Ynj-μj)2]/(n-1)]]>并且σij＝[(X1i-μi)(X1j-μj)+(X2i-μi)(X2j-μj)+…+(Xni-μi)(Xnj-μj)]/(n-2)使用上述计算的方法，可以计算每个集合X和Y的两个似然度(A和B)。一旦以这种方式被“训练”，例如图1中所描述的系统和/或使用图2和图3的方法的系统能够判断新制得的DUT中的缺陷的概率。使用测试方法X在新制得的单元上运行的测试的结果可以由k维向量Xnew表示Xnew=X1···Xk]]>实施例然后可以对每个测量向量计算被测DUT含有缺陷的似然度。在图2和3的示例方法中，应该计算四个似然度测试X发现缺陷的似然度；测试X没有发现缺陷的似然度；测试Y发现缺陷的似然度；以及测试Y没有发现缺陷的似然度。例如，Xnew代表测试方法X的无缺陷DUT结果的高斯似然度是G(Xnew)=1(2π)kdet(Σ)exp{-12(X-μ‾)tΣ-1(X-μ‾)}...(1)]]>其中，det(∑)代表∑的行列式，∑-1代表∑的逆矩阵，(X-μ)t代表(X-μ)的转置矩阵，(X-μ)是向量减法，以及
{}内的乘法是矩阵乘法。
使用测试方法Y的新测量向量可以被表示为Ynew=Y1···Yk]]>Ynew代表测试方法Y的无缺陷DUT测量的高斯似然度是GA(Ynew)=1(2π)kdet(Σ)exp{-12(Y-μ‾)tΣ-1(Y-μ‾)}...(2)]]>其中，det(∑)代表∑的行列式，∑-1代表∑的逆矩阵，(Y-μ)t代表(Y-μ)的转置矩阵，(Y-μ)是向量减法，以及{}内的乘法是矩阵乘法。
对于新DUT的每次使用方法X和Y的测量，可以对每种方法计算两个高斯似然度GA和GB，其中GA(Xnew)是根据X的DUT无缺陷的似然度，GB(Xnew)是根据X的DUT有缺陷的似然度，GA(Ynew)是根据Y的DUT无缺陷的似然度，GB(Ynew)是根据Y的DUT有缺陷的似然度。
当似然度被表示为概率(或置信度(C))时，它们更有用。分别将高斯似然度GA(Xnew)和GB(Xnew)转换为概率CA(Xnew)和CB(Xnew)CA(Xnew)=GA(Xnew)GA(Xnew)+GB(Xnew)...(3)]]>注意，这里CA(Xnew)＝1-CB(Xnew)。
一旦确定了每种测量方法的置信度，实施例就可以数学地组合这些结果，以随后基于两种技术产生DUT存在缺陷的判断，例如图3的步骤307。一种数学组合方式是公知的贝叶斯表决公式(Bayesian VotingFormula)，在Jayne，E.T.Probability TheoryThe Logic of Science(概率论科学的逻辑)，Cambridge University Press.(2003)中描述了该公式。根据该公式CA(X,Y)=CA(X)CA(Y)CA(X)CA(Y)+(1-CA(X))(1-CA(Y))]]>因此，CA(X，Y)代表制得的DUT含有缺陷的概率，并且是对具有不同准确度的多种测试技术的有效使用。
表1和2是来自使用光学检查机器测量的IC元件的示例特征集。
表1
表2
图4表示了基于表1和2的数据的接收器工作特性(ROC)图。在图400中，X轴是虚假呼叫率(false call rate)，其被定义为虚假呼叫的数目除以被检查的数据点的数目，Y轴是灵敏度，其被定义为由分类器捕捉到的缺陷的百分比。
图4的ROC曲线图如下生成1.对训练集合中的每个元素计算置信度数值。
2.调整从0到1的阈值。对每个值，将元素的真正等级与由对置信度数值进行阈值处理所决定的等级相比较。
3.虚假呼叫率是基于阈值处理过程将A等级认为是B等级的比率。遗漏率是将B等级认为是A等级的比率。
4.ROC曲线绘出对每个阈值的虚假呼叫率与1-遗漏率的关系。
当通过计算机可执行指令实现时，本发明实施例的各种元素本质上是软件代码，这些软件代码定义了这些各种元素的操作。可执行指令或软件代码可以从可读介质(例如，硬盘驱动器介质、光学介质、EPROM、EEPROM、磁带介质、盒式磁盘介质、闪存、ROM、记忆棒和/或类似者)获得，或者经由来自通信介质(例如，因特网)的数据信号被传送。实际上，可读介质可以包括任何可以存储或传递信息的介质。
图5图示了根据本发明实施例的适合的示例计算机系统500。也就是说，计算机系统500包括示例系统，可以在该系统上实现本发明的实施例。中央处理单元(CPU)501被耦合到系统总线502。CPU 501可以是任何通用CPU。例如，合适的处理器包括但不限于INTEL的PENTIUM_4处理器。但是，本发明不受CPU 501的体系结构的限制，只要CPU 501支持这里所描述的发明性操作。CPU 501可以执行根据本发明实施例的各种逻辑指令。例如，CPU 501可以执行根据上面结合图2或图3描述的示例性操作流程的机器级指令。
计算机系统500还优选地包括随机访问存储器(RAM)503，其可以是SRAM、DRAM、SDRAM等。计算机系统500优选地包括只读存储器(ROM)504，其可以是PROM、EPROM、EEPROM等。RAM 503和ROM 504保存用户和系统数据以及程序，例如能够分析上述向量和矩阵的程序。
计算机系统500还优选地包括输入/输出(I/O)适配器505、通信适配器511、用户接口适配器508和显示适配器509。在某些实施例中，I/O适配器505、用户接口适配器508和/或通信适配器511可以使得操作者能够与计算机系统500交互，允许操作者例如改变所使用的标准的数目，或预设在具体测试中使用的测量点。
I/O适配器505优选地将(一个或多个)存储设备506连接到计算机系统500，这些存储设备例如是一个或多个硬盘驱动器、压缩盘(CD)驱动器、软盘驱动器、磁带驱动器等。当RAM 503不能满足与存储用户信息数据相关联的存储器需求时，可以利用存储设备。通信适配器511优选地适合于将计算机系统500耦合到网络512。用户接口适配器508将诸如键盘513、点选设备507和麦克风514之类的输入设备和/或诸如(一个或多个)扬声器515之类的输出设备耦合到计算机系统500。显示适配器509由CPU 501驱动，以控制显示设备510上的显示，显示设备510可以被用于显示每次测试的结果，以及这些结果的数学组合的结果。
应该理解，本发明不限于系统500的体系结构。例如，可以利用任何合适的基于处理器的设备，包括但不限于个人计算机、膝上型计算机、计算机工作站和多处理器服务器。此外，本发明的实施例可以在专用集成电路(ASIC)或超大规模集成(VLSI)电路上实现。实际上，本领域的普通技术人员可以根据本发明的实施例，利用任意数目的能够执行逻辑操作的合适结构。
虽然已经详细描述了本发明及其优点，但是应该理解，可以对此做出各种变化、替代和更改，而不脱离由所附权利要求所定义的本发明的范围。此外，本申请的范围不受限于在说明书中所描述的工艺、机器、制造、物质组成、装置、方法和步骤的具体实施例。从本公开中可以容易地认识到，可以利用实质上与这里所描述的相应实施例执行相同功能或实质上达到相同结果的现有或将要开发的工艺、机器、制造、物质组成、装置、方法或步骤。因此，所附权利要求在其范围内包括了这些工艺、机器、制造、物质组成、装置、方法或步骤。
权利要求
1.一种用于判断被测器件有缺陷的方法，所述方法包括对多种缺陷检测技术的结果加权，其中所述加权与所述技术的准确度相关；以及判断所述单元存在缺陷的概率，其中通过组合来自所述多种技术的所述结果做出所述判断。
2.根据权利要求1所述的方法，还包括通过将在一个标准上执行的每种所述技术的结果与所述标准的预期结果相比较，判断每种所述技术的所述准确度。
3.根据权利要求2所述的方法，其中，所述准确度判断使用高斯模型。
4.根据权利要求1所述的方法，还包括通过将所述技术的所述结果与所述技术的所述准确度数学组合，计算每种所述技术的似然度。
5.根据权利要求4所述的方法，还包括通过数学组合所述似然度，计算所述单元存在缺陷的概率。
6.根据权利要求5所述的方法，其中，所述似然度被转换为概率，并使用贝叶斯表决公式被组合。
7.一种用于评价单元的系统，所述系统包括多种测试技术，其中每种所述技术检测至少一种特性的存在，并且其中，每种所述技术的准确度能够被判断；和用于分析所述技术的结果的装置，所述装置通过使用每种技术的结果与每种所述技术的准确度的组合来判断所述至少一个特性被检测到的概率，其中所述概率被用于评价所述单元。
8.根据权利要求7所述的系统，还包括具有已知特性分布的至少一个标准，其中所述标准被用于判断每种所述技术的所述准确度。
9.根据权利要求7所述的系统，其中，所述至少一个特性是缺陷。
10.根据权利要求7所述的系统，还包括至少一个具有至少一个已知缺陷的标准；至少一个基本没有缺陷的标准；和其中，每种所述技术的所述准确度是通过将在每个所述标准上执行每种所述技术所获得的结果与每个所述标准的预期结果相比较而被判断的。
11.一种存储计算机可执行代码的计算机可读存储介质，所述代码包括用于计算多种测试中的每种测试的置信因子的代码；用于将来自所述测试中的每种测试的结果与该测试的所述置信因子组合以产生每种所述测试的似然度的代码；和用于将所述似然度组合以获得关于由每种所述测试所测试的单元的判断的代码。
12.根据权利要求11所述的代码，其中，所述判断涉及所述单元是否有缺陷。
13.根据权利要求11所述的代码，还包括用于将每个所述似然度转变为概率的代码；和使用贝叶斯表决公式组合所述概率的代码。
14.根据权利要求11所述的代码，还包括用于将每种所述测试对于一个标准所产生的结果与对所述标准所预期的结果相比较的代码，其中所述比较被用在所述置信因子的所述计算中。
15.根据权利要求11所述的代码，其中，所述判断产生至少一个接收器操作特性图。
16.一种评价单元的方法，所述方法包括提供多种用于检测所述单元中的缺陷的测试技术；使用每种所述技术测试至少一个标准，其中所述标准具有已知的缺陷分布；从所述标准测试的结果计算每种所述技术的加权因子；以及使用每种所述技术测试所述单元，其中从所述单元测试结果与所述加权因子的组合判断所述单元的可接受性。
17.根据权利要求16所述的方法，还包括通过测试存在至少一个已知缺陷的标准产生第一特征集；通过测试基本不存在缺陷的标准产生第二特征集；从所述第一和第二特征集生成每种所述技术的准确度的统计测量。
18.根据权利要求17所述的方法，其中，所述生成步骤使用高斯模型。
19.根据权利要求16所述的方法，其中，至少一种所述技术是用于检测印刷电路板上的缺陷的光学技术。
20.根据权利要求16所述的方法，其中，至少一种所述技术是电导率技术。
全文摘要
本发明提供了组合多个独立信息源用于被测器件的分类的方法和系统。本发明的实施例使用多种缺陷检测测试的结果，并且以反映产生该结果的测试的准确度的方式来调整每种测试的结果。然后可以使用经调整的结果的数学组合来评价制得单元。
文档编号G01R31/317GK1696721SQ200410098889
公开日2005年11月16日 申请日期2004年12月13日 优先权日2004年5月10日
发明者李强, 丹尼尔·A·乌西科夫 申请人:安捷伦科技有限公司
专业数控铣床产品供应商
20年生产经验，实力工厂，精工品质，质量有保障
