已制造幅材产品数字样品的计算机辅助评级分配的制作方法-山东亚星游戏官网机床有限公司

专利名称：已制造幅材产品数字样品的计算机辅助评级分配的制作方法
技术领域：
本发明涉及自动检测系统，例如用于检测移动幅材的计算机化系统。
背景技术：
已经证明用于分析移动幅材的计算机化检测系统对现代制造操作至关重要。例如，部署基于图像的检测系统的做法正变得日益普遍，该基于图像的检测系统可自动根据用光学检器(如照相机)获取的数字图像对已制造产品的质量进行分类。这些检测系统通常依赖于复杂的技术，如机器学习、图案识别和计算机视觉技术。
一些检测系统采用了通常称之为“分类器”的算法，该算法为每个已获取的数字图像(即“样品”)分配评级，从而指示出样品是可接受的还是不可接受的，或在最简单的情况下，是对应于变化程度或质量水平的更复杂的标注组。这些类型的检测系统通常在两个单独的处理阶段中执行任务。
第一个步骤是离线执行步骤，称之为“训练阶段”。在训练阶段中，由一组专家为一组代表性样品图像手动分配评级(本文也称为“标注”)。专家可以是(例如)在手动检查幅材产品并确定潜在缺陷方面具有丰富经验的工艺工程师。根据样品图像，为训练数据开发一种可由计算机化检测系统使用的分类模型。这样，可将训练阶段视为检查工艺的学习部分。
—旦从训练数据中开发出了模型，就可在处理过程的“分类阶段”将其实时应用于从新制造产品中获取的新样品。即，分类模型可由计算机化幅材检测系统在线使用，以通过为每个样品分配标注来对新样品图像进行分类。
计算机化检测系统对新样品图像的正确评级能力与用于训练系统的初始训练数据(即，样品图像及其由专家分配的相应标注)的质量和准确性直接相关。例如，训练集中的样品应代表整个数据分布，即期望从给定幅材应用中获得的数据分布。因此，拥有大量的训练样品总体上是有利的，这可帮助更有效地训练模型以及减少过度拟合的影响，其特征在于这样一个模型，该模型区分训练样品之间的噪声或不显著差异，但对于训练样品集之外的范围具有较差的预测性能。然而，大量样品的手动标注任务对专家而言可能会非常费时和繁琐。更糟糕的是，该标注任务是主观任务，对产品非常熟悉的专家会由于任务性质而产生不一致的标注。此外，会在不同的专家评估者之间出现不一致。这些困难会随训练集规模的增长而增加，并会因以下事实而加剧:相同的幅材可应用于不同的最终用途，该不同的最终用途具有不同的验收公差。因此，产品对于一种最终用途而言可能被视为是不可接受的，但对于另一种最终用途而言可能是可接受的。发明内容
概括地讲，本发明描述了一种计算机化评级工具，该计算机化评级工具可帮助用户有效和一致地为代表给定产品样品的大型数字图像集合分配专家评级(即，标注)。举例来说，标注可对应于样品中存在的特定非均匀性缺陷的严重级别。与用户分别为每个样品标注不同(这可能是乏味的、主观的，而且容易出错，并可能导致不一致的标注)，计算机化工具通过自动化最繁琐的方面简化了任务，同时为用户提供直观的可视化反馈和方法以与数据进行交互。在一些示例性实施例中，计算机化工具以视觉吸引力方式向用户显示图像，并通过允许用户在空间上可视化样品之间的关系而简化了分配一致标注的任务。在其他实施例中，计算机自动为代表样品的大型数字图像集合分配评级(即标注)。
在一些示例性实施例中，所述计算机化评级工具提供了用于以直观和可配置的方式可视化数据的机制，包括对图像进行聚类和排序。在某些示例性实施例中，计算机化工具提供了易用界面，该易用界面用于探究数据中表示的多种缺陷类型，以及用于有效地分配专家评级。此外，计算机化工具有适用于为非常大的数据集标注的能力，包括能够自动识别并选择最相关图像子集的缺陷，以及能够将标注从该子集自动传送到剩余图像，而无需进一步的用户交互。
在一个示例性实施例中，装置包括处理器或计算机，该计算机包括处理器和存储器，该存储器存储有要在处理器上执行的多个训练样品和评级软件。该评级软件包括特征提取�？椋糜谕ü韵路绞酱佣喔鲅盗吠枷竦拿恳桓鲋刑崛√卣�:通过相应训练图像的像素值计算每个训练图像的数值描述符。评级软件执行第一聚类过程以处理训练图像的数值描述符，从而自动选择训练图像的代表性子集并计算训练图像代表性子集的多个图像集群。
在一些示例性实施例中，至少一个评级软件在处理器或该评级软件提供的用户界面上运行，并提供输入机制以接收来自用户的输入，所述评级软件指定代表性训练图像中存在的一个或多个缺陷类别和用于每个缺陷类别的一组评级标注。在某些示例性实施例中，用户界面包括输入机制以接收输入，所述输入针对每个指定的缺陷类别将相应的评级标注分配到每个图像集群。
在另外的或可供选择的示例性实施例中，处理器或计算机用于确定代表性训练图像中存在的多个缺陷类别，并针对每个指定的缺陷类别将严重级别标注分配到多个图像集群中的每一个。在一些具体的示例性实施例中，在处理器上运行的评级软件指定代表性训练图像中存在的多个缺陷类别，并针对每个指定的缺陷类别将严重级别标注分配到多个图像集群中的每一个。
在上述任意示例性实施例中，评级软件可将已分配到每个图像集群缺陷类别的每个相应的评级标注自动传送到相应图像集群中的所有训练图像。
在另外的实施例中，该方法包括在计算机上运行评级软件以通过以下方式从多个训练图像的每一个中提取特征:通过相应训练图像的像素值计算每个训练图像的数值描述符。该方法还包括使用评级软件处理训练图像的数值描述符，以自动选择训练图像的代表性子集，以及使用评级软件执行第一聚类过程以处理训练图像代表性子集的数值描述符并计算训练图像代表性子集的多个图像集群。
在一些示例性实施例中，评级软件在处理器上运行，其中评级软件包括用于通过以下方式从多个训练图像的每一个中提取特征的特征提取�？�:通过相应训练图像的像素值计算每个训练图像的数值描述符，并且其中评级软件执行第一聚类过程以处理训练图像的数值描述符，从而自动选择训练图像的代表性子集并计算训练图像代表性子集的多个图像集群。至少一个评级软件在处理器或该评级软件提供的用户界面上运行，并提供输入机制以接收来自用户的输入，所述评级软件指定代表性训练图像中存在的一个或多个缺陷类别和用于每个缺陷类别的一组相应的评级标注。
因此，在一些具体的示例性实施例中，该方法还包括:使用评级软件提供用户界面以接收来自用户的输入，所述用户输入指定代表性训练图像中存在的一个或多个缺陷类别和用于每个缺陷类别的一组评级标注；接收输入，所述输入针对每个指定的缺陷类别将相应的评级标注分配到每个图像集群；以及针对每个图像集群，使用评级软件将已分配到图像集群缺陷类别的每个相应的评级标注自动传送到相应图像集群中的所有训练图像。
然而，在其他另外的或可供选择的示例性实施例中，该方法还包括接收来自计算机的输入，所述输入指定代表性训练图像中存在的一个或多个缺陷类别和用于每个缺陷类别的一组评级标注。在某些此类实施例中，接收来自计算机的输入还包括使用计算机确定代表性训练图像中存在的多个缺陷类别，以及针对每个指定的缺陷类别将严重级别标注分配到多个图像集群中的每一个。
本发明技术可提供一种或多种优点。例如，针对对大型训练数据集手动标注的固有问题，本文所述计算机化工具将对大型数据集标注这一繁琐过程的一部分加以自动化，同时还以有效利用自身专业知识的方式在循环中保留了人工操作。这可允许将通过监督/半监督分类算法的训练阶段开发的模型成功地应用于计算机化检测系统。
本发明的一个或多个实施例的细节在附图和以下具体实施方式
中说明。通过具体实施方式
和附图以及权利要求书，本发明的其他特征、目标和优点将显而易见。

图1为示出了示例性幅材制造和转换系统的框图，其中可在该系统中应用本文所述的技术。
图2为示出了示例性幅材制造厂中检测系统的示例性实施例的框图。
图3为示出了软件评级工具示例性操作的流程图。
图4-9示出了评级工具所提供用户界面的示例性功能。
具体实施方式
图1为示出了示例性系统2的框图，其中可在该系统中应用本文所述的技术。幅材制造厂6A-6N(幅材制造厂6)表示生产和运输幅材卷7形式的幅材的制造地点。幅材制造厂6可以按地理位置分布，该幅材制造厂中的每一个可以包括一条或多条生产线。通常，幅材卷7可由任何制造厂6制造，并可在幅材制造厂之间运输以进行额外的处理。成品幅材卷10运输到转换位点8A-8N(转换位点8)以转换成产品12A-12N(产品12)。如图1所示，转换控制系统4、幅材制造厂6A-6M(幅材制造厂6)和转换位点8A-8N(转换位点8)通过计算机网络9互连，以交换与幅材制造相关的信息(例如缺陷信息)并转换成产品12。
通常，幅材卷7、10可以包含已生产的幅材，其可以是在一个方向具有固定尺寸并且在正交方向上具有预定或待定长度的任何片状材料。幅材的实例包括但不限于金属、纸张、织物、非织物、玻璃、聚合物膜、柔性电路或它们的组合。金属可以包括例如钢或铝等材料。织物一般包括各种布。非织物包括例如纸张、过滤介质或绝缘材料等材料。膜包括例如透明和不透明的聚合物膜，包括层压材料和涂覆膜。
转换位点8可接纳来自幅材制造厂6的成品幅材卷10，并将成品幅材卷10转换成各个片材，所述各个片材可组装到用于销售至客户14A-14N(客户14)的产品12内。转换系统可根据多种标准(例如与产品相关的等级水平)确定将给定成品幅材卷10转换成何种产品14。也就是说，可以根据每个片材所符合的特定等级水平选择应将哪个片材组装到哪个产品12中。根据本文所述的技术，转换位点8也可接收成品幅材卷10中的与异常有关的数据，即，可能的缺陷。最终，转换位点8可将成品幅材卷10转换成各个片材，所述各个片材可组装到用于销售至客户14A-14N(客户14)的产品12内。
为了生产准备转换成用于组装到产品12中的各个片材的成品幅材卷10，非成品幅材卷7可能需要经多条生产线的处理，这些生产线可位于一个幅材制造厂内，例如幅材制造厂6A内，也可位于多个制造厂内。每一个加工过程通常使用幅材卷作为原料卷，利用卷将幅材送入制备工艺中。完成每一个加工过程后，幅材通常再次卷绕成幅材卷7并转移至不同产品线或运送至不同制造厂，在那里进行退绕、加工并再次卷绕成卷。重复该过程，直至最终生产出成品幅材卷10。对于多个应用，用于幅材卷7中的每一个的幅材可具有多个涂层，所述涂层是在一个或多个幅材制造厂6的一条或多条生产线处涂覆的。就第一制备工艺而言，涂层通常涂覆至基础幅材的暴露表面，或者就后续制备工艺而言，涂层通常涂覆至先前涂覆的涂层。涂层的实例包括粘合剂、硬涂层、低粘附力背面涂层、金属化涂层、中密度涂层、导电或不导电涂层，或者它们的组合。
在一个给定幅材卷7的每一个制备工艺中，一个或多个检测系统会采集幅材的异常信息。例如，如图2所示，处理幅材时，如向幅材施加一个或多个涂层时，生产线的检测系统可以包括紧邻连续移动幅材设置的一个或多个图像采集装置。图像采集装置扫描连续移动幅材的连续部分，以获得数字图像。检测系统可使用一种或多种算法来分析图像，以生成可表示实际“缺陷”的所谓“局部”异常信息，具体取决于将幅材转换成何种最终产品12。检测系统可以(例如)生成“点”缺陷的异常信息，其中每个缺陷都被定位在单一区域中。又如，检测系统可以生成“不均一”缺陷或“不均匀因素”的异常信息，其中幅材表现出大范围的不均一波动。此类不均匀因素的例子包括杂色、颤动、带和条纹。
幅材制造厂内的分析计算机采用了在本文中称为“分类器”的算法，该算法将质量评级(即标注)分配到每个已获取的数字图像(即“样品”)。分析计算机可在制造幅材时，或在获取幅材的所有图像数据之后离线时实时应用算法。在任一种情况下，标注将每个对应的幅材区域分类成一个质量级别。在一个实例中，标注将每个区域分类为可接受的或不可接受的。在另一个实例中，分类器可对与变化程度相对应的一组复杂的标注进行分配。所分配的标注最终可根据幅材转换成的具体产品12而用于接受或拒绝幅材的区域。
在分类过程中，分析计算机通过应用根据训练数据开发的分类模型对已获取的数字图像进行分类。训练数据通常在算法的“训练阶段”中运行，分类模型开发用于与训练数据进行最佳匹配。即，在训练阶段和分类模型开发之后，对训练数据应用分类模型将使得以高正确概率为训练数据标注。一旦从训练数据中开发出了模型，分析计算机就会在处理过程的“分类阶段”将该模型实时应用于从新制造产品中获取的新样品。
在一些实施例中，对给定制造幅材的数字图像进行分类的操作可由转换控制系统4离线执行。转换控制系统4可根据给定幅材的分类为每个幅材卷10选择和生成转换方案。分类可以特定于应用，因为某些异�？稍谝桓霾�(例如产品12A)中导致缺陷，而该异常不会在不同产品(例如产品12B)中导致缺陷。每一个转换方案表示限定的指令，用于将对应成品幅材卷10加工，以用于形成可以最终出售给客户14的产品12。例如，可将幅材卷10转换成用于应用到笔记本电脑的显示屏的最终产品，如，特定尺寸的片材。又如，可将相同的幅材卷10取代地转换成用于应用到移动电话的显示屏的最终产品。转换控制系统4可根据可应用到异常的不同缺陷检测算法来辨识出哪一个产品最佳地实现某些参数，例如幅材的最大利用率。
图2为框图，示出了位于图1的示例性幅材制造厂6A中的幅材生产线21的一部分内的检测系统的示例性实施例。在示例性实施例中，将幅材20的一段设置在两个支承辊22,24之间。图像采集装置26A-26N(图像采集装置26)被设置为紧邻连续移动幅材20，并扫描连续移动幅材20的连续部分以获取图像数据。采集计算机27从图像采集装置26收集图像数据，然后将图像数据传送至分析计算机28。
图像采集装置26可以是能够读取移动幅材20的连续部分并以数字数据流方式提供输出的常规图像装置。如图2所示，成像装置26可为直接提供数字数据流的摄像机或是具有额外模数转换器的模拟摄像机。其他传感器，例如激光扫描仪，可以作为图像采集装置使用。幅材的连续部分表明通过连续的单行采集数据。单行包括映射到单排传感器或像素的连续移动幅材的区域。适于采集图像的装置实例包括行扫描摄像机，例如得自的AviivaSC2 CL型。其他实例包括与模数转换器结合使用的得自Surface Inspection SystemsGmbH (Munich, Germany)的激光扫描仪。
可以通过使用辅助获取图像的光学组件而可选地采集图像数据。组件可以是摄像机的一部分，也可以与摄像机分开。光学组件在成像过程中利用反射光、透射光或折射光。反射光例如通常适合检测由于幅材表面变形(例如表面划痕)引起的缺陷。
在一些实施例中，基准标记控制器30控制基准标记读出器29来从幅材20采集卷和位置信息。例如，基准标记控制器30可包括一个或多个光学照相传感器，以用于从幅材20读取条形码或其他标记。另外，基准标记控制器30可从与幅材20和/或辊22、24接合的一个或多个高精度编码器接收位置信号。根据这些位置信号，基准标记控制器30确定每一个检测到的基准标记的位置信息。基准标记控制器30将辊信息和位置信息传送至分析计算机28，以与所检测的异常关联。
分析计算机28处理来自采集计算机27的图像数据流。即，根据本文所述的技术，分析计算机28根据基于训练数据35开发的分类模型34 ( “模型34”)使用分类器，以将质量评级(即标注)分配到每个已获取的数字图像。分类器和分类器构造的其他详细信息在PCT国际专利申请公开N0.WO 2010/059679中有所描述。
训练数据35通常包括已由一个或多个专家38分配了评级的大型代表性样品数字图像集。数字图像可以(例如)代表取自幅材20或此前由生产线21生产的另一个幅材的样品。
因此，在一些示例性实施例中，训练服务器36为软件运行提供操作环境，所述软件提供计算机化专家评级工具37( “评级工具37”)以协助专家38有效且一致地将评级(即标注)分配到代表样品的大型数字图像集合。即，一个或多个专家38与评级工具37提供的用户界面进行交互以将质量评级分配到样品集的每个数字图像。如本文进一步详述，专家评级工具37提供用户界面，该用户界面允许一个或多个专家38可视化和修改训练数据35中的图像集群、探究训练数据以辨识所代表的缺陷类型以及将专家评级分配到图像。
更具体地讲，专家评级工具37提供用于以直观和可配置的方式可视化数据的机制，包括对样品图像进行聚类和排序的功能。专家评级工具37还提供易用界面，该易用界面用于探究数据中表示的多种缺陷类型，以及用于有效地分配专家评级。此外，专家评级工具37具有适用于为非常大的数据集标注的能力，包括能够自动识别并选择最相关图像子集的缺陷，以及能够将标注从该子集传送到剩余图像，而无需进一步的用户交互。这可允许将监督/半监督分类算法的训练阶段结果成功地应用于制造厂6中的算机化检测系统。专家38可通过本地用户界面(如制造厂6A中的专家38A)或借助于网络9 (如专家38B)以远程方式直接与训练服务器36交互。
在其他示例性实施例中，可能有利的是，以其他方式(或作为另外一种选择)使计算机自动将评级(标注)分配到代表样品的数字图像的大型集合。例如，训练服务器36可为自动将质量评级分配到样品集每个数字图像的软件的运行提供操作环境，例如，根据在每个图像中观察到的缺陷数量将所有类似图像分组为缺陷类别，从而自动为该数量的缺陷类别提供评估。这可以通过(例如)比较从图像提取的特征和计算其相似性来完成。该步骤完成后，也可以(例如)通过将图像与显示出缺陷的其他图像作比较，以及评估当前图像相对于其他图像显示出的严重级别，而将标注的初始评估自动分配到每个缺陷类别中的图像。
由于软件指令通过训练服务器36的一个或多个处理器执行，包括一个或多个硬件微处理器、数字信号处理器(DSP)、特定应用集成电路(ASIC)、现场可编程门阵列(FPGA)、或任何其它等效的集成或离散逻辑电路，以及这些组件的任意组合，因此可以至少部分地或甚至完全实施专家评级工具37。软件指令可以存储在非临时性计算机可读介质内，例如随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、硬盘、CD-ROM、软盘、盒式磁带、磁介质、光介质，或其他计算机可读存储介质。
虽然出于举例说明的目的将训练服务器36和评级工具37示出为位于制造厂6A内部(例如位于中心位置或转换位点处)，但其也可以位于制造厂的外部。例如，训练服务器36和评级工具37可在转换控制系统4内运行。在该实例中，训练服务器36使分类模型34与分析计算机28通信以应用于从幅材20收集的样品。
一旦建立了训练数据35和分类模型34，训练服务器36就会处理训练数据以生成模型34，该模型34用于对接收自采集计算机27的幅材20的图像数据进行后续实时分析和分类。这样，可根据分类模型34对幅材20区域中的新图像进行分类。分析计算机28可以采用任何可利用专业评级训练数据35的技术，如机器学习技术，其包括神经网络、自适应控制、数据挖掘、遗传编程、聚类分析、主成分分析、图案识别和计算机视觉技术。可检测的示例性缺陷包括不均匀因素(例如杂色、颤动、带和条纹)和点缺陷(包括斑点、划痕、油滴)。
分析计算机28在数据库32内存储幅材20的异常信息，包括幅材20的卷识别信息和每一个异常的位置信息。例如，分析计算机28可使用由基准标记控制器30生成的位置数据来确定生产线坐标系内每个异常的空间位置或图像区域。即，根据来自基准标记控制器30的位置数据，分析计算机28确定每个异常在当前生产线所用坐标系内的X、y以及可能的z位置。例如，可以限定坐标系，使得X维度表示幅材20的横向距离，y维度表示幅材的纵向距离，z维度表示幅材的高度，所述高度取决于涂层的数量、材料或此前涂覆到幅材的其他层。
此外，可以限定x、y、z坐标系在生产线内物理位置处的原点，其通常与幅材20的初始进料位置相关。数据库32可以按许多不同形式中的任一形式执行，包括数据存储文件或在一个或多个数据库服务器上执行的一个或多个数据库管理系统(DBMS)。数据库管理系统可以是例如关系(RDBMS)、分层(HDBMS)、多维(MDBMS)、面向对象(0DBMS或OODBMS)或对象关系(ORDBMS)数据库管理系统。例如,数据库32是作为由Microsoft Corporation的SQL Server 提供的关系数据库而执行的。
一旦该过程结束，分析计算机28就可将收集在数据库32中的数据通过网络9传送至转换控制系统4。例如，分析计算机28可将卷信息和异常信息以及每个异常的各个子图像传送到转换控制系统4，以根据分类模型34进行后续的离线详细分析。例如，信息可通过数据库32与转换控制系统4之间的数据库同步进行传送。在一些实施例中，转换控制系统4(并非分析计算机28)可确定出每一个异�？稍诓�12中引起缺陷的那些产品。一旦将成品幅材卷10的数据收集在数据库32中，就可将所述数据传送至转换位点8和/使用所述数据来标记幅材卷上的异常，方式为利用可移除或可擦洗标记直接在幅材表面上进行标记或者在覆盖片材上进行标记，所述覆盖片材可在幅材上进行异常标注之前或期间被施加至幅材。
图3为示出了评级工具37示例性操作的流程图。最初，评级工具37接收训练数据35，该训练数据通常为图像集(50)形式的输入。接着，评级工具37的特征提取软件�？榇砻扛鐾枷褚蕴崛√卣�(52)。特征提取提供每个图像的数值描述符作为每个图像固有相关信息的简化数值表示。可以保留与训练集中图像之间关系相关的可用信息的任何方式来提取特征，同时去除无信息的图像特征。
通用特征提取技术的例子包括用一组过滤器卷积图像并计算已过滤图像的统计信息，或根据颜色或强度直方图提取特征。有时可将像素值用作特征，但这种情况下的描述符无简化，因为通常必须存储整个图像。通常，所得特征被视为对应图像中相关信息的简化描述。在一个实施例中，特征并非特定于具体的应用，而是提供了一组丰富的特征，不同的应用可使用这些特征中的不同特征子集。即，在该实例中，并未通过使用复杂的、特定于应用的过滤器来提取特征。相反，过滤器仅有利于图像间的直接成对比较，以衡量其相似性。评级工具37并不限于使用任何具体的特征提取方法，并且可以容易地应用于更适合其他类型特征的应用。
以简化形式包含相关图像信息(特别是当其与纹理相关时)的一个示例性方法是，计算整个图像像素特征的小协方差矩阵。一旦推导出该小协方差矩阵(例如5X5)，就可仅根据这些矩阵有效地进行图像间的成对比较，而不是直接处理图像。例如，将灰度图像定义为二维阵列，并通过像素坐标X和y将其标记为I(x，y)。在每个像素位置(x，y)，根据像素强度值及该像素处的一阶和二阶导数推导出特征矢量:
权利要求
1.一种方法，其包括: 在计算机上运行评级软件以通过以下方式从多个训练图像的每一个中提取特征:通过所述相应训练图像的像素值计算每个所述训练图像的数值描述符；使用所述评级软件处理所述数训练图像的所述数值描述符以自动选择所述训练图像的代表性子集；使用所述评级软件执行第一聚类过程以处理所述训练图像的所述代表性子集的所述数值描述符，并且计算所述训练图像代表性子集的多个图像集群；接收来自至少一个用户或所述计算机的输入，所述输入针对每个指定的缺陷类别将相应的评级标注分配到所述多个图像集群中的每一个，其中接收来自所述用户的输入还包括使用所述评级软件提供用户界面以接收来自所述用户的输入，所述用户输入指定所述多个训练图像中存在的一个或多个缺陷类别，并且可任选的是其中接收来自所述计算机的输入还包括使用所述计算机确定所述代表性训练图像中存在的多个缺陷类别，以及针对每个所指定的缺陷类别将严重级别标注分配到所述多个图像集群中的每一个；和针对每个所述图像集群，使用所述评级软件将已分配到所述图像集群的所述缺陷类别的每个所述相应的评级标注自动传送到相应图像集群中的所有所述训练图像。
2.根据权利要求1所述的方法，还包括使用所述评级软件将评级标注自动分配到未包括在每个所述缺陷类别的所述训练图像的所述代表性子集内的所述训练图像的所有剩余图像。
3.根据权利要求1所述的方法，其中对于未包括在所述训练图像的所述训练子集内的每个未标注训练图像而言，使用所述评级软件自动分配评级标注包括: 计算未标注训练图像数值描述符到所述训练图像的代表性子集内的每个已标注图像的所述数值描述符的成对距离；计算每个指定缺陷类别的概率集合，其中每个缺陷类别的所述概率集合包括为所述缺陷类别指定的每个所述评级标注的概率，并且指出了所述未标注训练图像成为已分配了相应特定缺陷类别的相应特定评级标注的所述训练图像一员的概率；和分配到所述评级标注在每个所述缺陷类别范围内具有最高概率的所述未标注训练图像。
4.根据权利要求1所述的方法，其中计算每个所述训练图像的数值描述符包括: 针对每个所述训练图像，根据所述像素相对于多个相邻像素的一个或多个强度值导数，计算所述训练图像的每个像素上的特征矢量；和根据所述训练图像的所述每个像素的特征矢量，计算所述训练图像的协方差矩阵。
5.根据权利要求1所述的方法，其中计算每个所述训练图像的数值描述符包括，对于每个所述训练图像，使用一个或多个过滤器卷积所述训练图像的所述像素值，以计算所述训练图像的所述数值描述符。
6.根据权利要求1所述的方法，其中计算每个所述训练图像的数值描述符包括，对于每个所述训练图像，计算所述训练图像的像素强度值直方图，以及通过所述强度值直方图计算所述训练图像的所述数值描述符。
7.根据权利要求1所述的方法，其中自动选择所述训练图像的代表性子集包括: 使用所述评级软件处理所述训练图像的所述数值描述符以计算每个训练样品的像素强度方差；和使用所述评级软件识别具有最高像素强度方差的所述训练图像的第一子集以包括在训练图像的所述代表性子集内。
8.根据权利要求7所述的方法，其中自动选择所述训练图像的代表性子集还包括:在选择所述第一子集并且计算所述代表性子集之后，运行所述评级软件以从剩余训练图像中随机选择第二子集，以将所述训练图像的所述第二子集包括在内。
9.根据权利要求8所述的方法，还包括提供所述评级软件的用户界面以接收第一可配置参数和第二可配置参数，所述第一可配置参数指定了训练图像的所述第一子集的训练图像目标大�。龅诙膳渲貌问付搜盗吠枷竦乃龅诙蛹哪勘甏笮�。
10.根据权利要求8所述的方法，其中对于未包括在所述第一子集或所述第二子集内的每个所述训练图像而言，自动选择所述训练图像的代表性子集还包括: 使用所述评级软件在与所述数值描述符相关的特征空间中识别所述训练图像的多个最近邻数值描述符；计算到所述训练图像的所述数值描述符的每个最近邻的距离；和当到所述训练图像的所述最近邻的所有距离均超出表示所述训练图像为异常训练图像的异常阈值时，将所述训练图像包括在所述代表性子集内。
11.根据权利要求10所述的方法，还包括提供所述评级软件的用户界面以接收第一可配置参数和第二可配置参数，所述第一可配置参数在确定训练图像是否为异常训练图像时指定要识别的最近邻数量，而所述第二可配置参数指定所述异常阈值。
12.根据权利要求1所述的方法，还包括提供所述评级软件的用户界面以接收来自所述用户的输入，所述输入指定所述训练图像是否构成了大型数据集，并且引导所述评级软件自动识别所述训练图像的所述代表性子集以进行聚类。
13.根据权利要求1所述的方法，其中使用所述评级软件执行第一聚类过程包括处理所述训练图像的所述代表性子集的所述数值描述符，以计算多个所述图像集群。
14.根据权利要求13所述的方法，其中计算分层包括: 提供户界面以接收来自所述用户的输入，所述输入指定所述图像集群的所需数量；对训练图像的所述代表性子集应用自下而上聚合的聚类算法以根据所述代表性子集内的每个所述训练图像的所述数值描述符形成树；和在生成所述树时截断所述聚类过程，以产生至少符合所述用户指定的所述图像集群所需数量的多个叶节点。
15.根据权利要求13所述的方法，还包括: 根据所述图像集群的图像之间的相似性计算所述图像集群的顺序；使用所述评级软件提供用户界面，所述用户界面显示所述多个图像集群并且包括输入机制，所述输入机制允许所述用户根据所述排序浏览所述多个图像集群；和根据所述计算顺序控制所述图像集群在所述用户界面中的显示，以使得在所述用户界面上以彼此更接近的方式显示多于相异图像集群的类似图像集群。
16.根据权利要求15所述的方法，其中计算所述图像集群的顺序包括:对于每一对所述图像集群，处理所述数值描述符以计算所述对的第一图像集群中的每个图像与所述对的第二图像集群的每个图像之间的各个距离；计算所述各个距离的中值以确定每个所述图像集群对的集群间距离；和将所述顺序计算为第二树以根据成对集群间距离对所述图像集群排序。
17.根据权利要求16所述的方法，其中使用允许所述用户查看和导航所述多个图像集群的所述评级软件来提供用户界面包括:使用所述第二树的叶节点布置来控制所述多个图像集群在所述用户界面中的所述显示。
18.根据权利要求16所述的方法，其中在所述评级软件的所述用户界面中提供集群查看窗口包括: 显示来自每个集群的单个代表性图像；接收来自所述用户的输入，所述输入用于选择所述图像集群中的其中一个的所述代表性图像；和对应所述选择，更新所述用户界面以显示分配到所述相应图像集群的所述训练图像。
19.根据权利要求18所述的方法，还包括根据所述第二分层在可滚动面板中布置所述集群。
20.根据权利要求15所述的方法，还包括: 提供用户界面以包括输入机制，从而接收来自所述用户的输入，所述输入识别要合并的两个所述图像集群；对应接收输入，通过将所述用户识别的所述两个图像集群合并为单个集群来修改所述多个图像集群；和更新所述用户界面以显示所述被修改的多个图像集群。
21.根据权利要求15所述的方法，还包括: 提供所述用户界面以包括输入机制，从而接收来自所述用户的输入，所述输入识别将从所述图像集群中的第一个重新分配到所述图像集群中的第二个的所述训练图像中的一个或多个；响应于接收输入，通过将所述一个或多个训练图像重新分配到所述第二集群来修改所述多个图像集群；和更新所述用户界面以显示所述被修改的多个图像集群。
22.根据权利要求15所述的方法，还包括:执行第二聚类过程以计算图像集群的多个分层，所述分层中的每一个对所述训练图像进行聚类，所述训练图像分配有相应的一个所述缺陷类别的相应的一个所述评级标注；和提供用户界面以包括输入机制，从而接收用于选择所述缺陷类别其中一个的输入；在接收所述输入时，提供所述用户界面以显示所述已选缺陷类别的所述评级标注的所述图像集群分层，其中所述用户界面包括输入机制，所述输入机制允许所述用户导航与所述已选缺陷类别的每个所述评级标注相关的所述图像集群分层。
23.根据权利要求22所述的方法，其中执行第二聚类过程包括利用在所述第一聚类过程期间确定的所述集群分配对所述第二聚类过程的所述图像集群进行初始化。
24.—种设备,其包括: 处理器；存储器，所述存储器用于存储多个训练样品；评级软件，所述评级软件在所述处理器上运行，其中所述评级软件包括用于通过以下方式从多个训练图像的每一个中提取特征的特征提取模块:通过所述相应训练图像的像素值计算每个所述训练图像的数值描述符，并且其中所述评级软件执行第一聚类过程以处理所述训练图像的所述数值描述符，从而自动选择所述训练图像的代表性子集并计算所述训练图像代表性子集的多个图像集群；和所述评级软件中的至少一个在所述处理器或所述评级软件提供的用户界面上运行，并提供输入机制以接收来自用户的输入，所述评级软件指定所述代表性训练图像中存在的一个或多个缺陷类别和用于每个所述缺陷类别的一组相应的评级标注，其中所述用户界面还包括输入机制以接收输入，所述输入针对每个所指定的缺陷类别将相应的评级标注分配到每个所述图像集群，并且可任选的是，其中在所述处理器上运行的所述评级软件指定所述代表性训练图像中存在的多个缺陷类别，并针对每个所指定的缺陷类别将严重级别标注分配到所述多个图像集群中的每一个；和其中针对每个所述图像集群，所述评级软件将已分配到所述图像集群的所述缺陷类别的每个相应的评级标注自动传送到相应图像集群中的所有所述训练图像。
25.根据权利要求24所述的设备，其中所述评级软件将评级标注自动分配到未包括在每个所述缺陷类别的所述训练图像的所述代表性子集内的训练图像的所有剩余图像。
26.根据权利要求24所述的设备，其中分配到每个所述训练样品的每个评级标注对应于特定缺陷的严重级别。
27.根据权利要求24所述的设备，其中所述训练样品为已制造材料的数字图像，并且所述缺陷为不均一缺陷，包括颤动、杂色、条带和条纹。
28.根据权利要求24所述的设备，其中所述评级标注相对于相应缺陷将每个所述训练样品分类为可接受或不可接受。
29.根据权利要求24所述的设备，其中所述评级标注相对于相应缺陷将每个所述训练样品分类为多个等级水平中的其中一个。
30.根据权利要求24所述的设备，其中所述评级软件执行训练阶段以根据分配到所述训练样品的所述评级标注计算分类模型。
31.根据权利要求30 所述的设备，还包括计算机化检测系统以应用分类器，从而根据所述分类模型将评级标注分配到从已制造材料中获取的多个样品中的每一个。
32.—种系统,包括: 运行评级软件的服务器，其中所述服务器包括: 处理器；存储器，所述存储器用于存储多个训练样品；评级软件，所述评级软件在所述处理器上运行，其中所述评级软件包括用于通过以下方式从多个训练图像的每一个中提取特征的特征提取�？�:通过所述相应训练图像的像素值计算每个所述训练图像的数值描述符，并且其中所述评级软件执行第一聚类过程以处理所述训练图像的所述数值描述符，从而自动选择所述训练图像的代表性子集并计算所述训练图像代表性子集的多个图像集群；其中在所述处理器或所述评级软件提供的用户界面上运行的所述评级软件中的至少一个指定所述代表性训练图像中存在的一个或多个缺陷类别和用于每个所述缺陷类别的一组相应的评级标注，其中所述用户界面还包括输入机制以接收来自用户的输入，所述输入针对每个所指定的缺陷类别将相应的评级标注分配到每个所述图像集群，并且可任选的是，其中在所述处理器上运行的所述评级软件指定所述代表性训练图像中存在的多个缺陷类别，并针对每个所指定的缺陷类别将严重级别标注分配到所述多个图像集群中的每一个，其中针对每个所述图像集群，所述评级软件将已分配到所述图像集群的所述缺陷类别的每个所述相应的评级标注自动传送到相应图像集群中的所有所述训练图像，并且其中所述评级软件还执行训练阶段以根据分配到所述训练图像的所述评级标注计算分类模型；和计算机化检测系统，所述计算机化检测系统用于扫描幅材的连续部分以采集样品，其中所述计算机化检测系统应用分类器以根据所述分类模型将评级分配到每个所述样品。
33.非临时性计算机可读介质，所述非临时性计算机可读介质包括软件指令以促使计算机处理器执行以下操作: 在计算机上运行评级软件以通过以下方式从多个训练图像的每一个中提取特征:通过所述相应训练图像的像素值计算每个所述训练图像的数值描述符；使用所述评级软件处理所述数训练图像的所述数值描述符以自动选择所述训练图像的代表性子集；使用所述评级软件执行第一聚类过程以处理所述训练图像的所述代表性子集的所述数值描述符，并且计算所述训练图像代表性子集的多个图像集群；接收来自至少一个用户或所述计算机的输入，所述输入针对每个指定的缺陷类别将相应的评级标注分配到所述多个图像集群中的每一个，其中接收来自所述用户的输入还包括:使用所述评级软件提供用户界面以接收来自所述用户的输入，所述输入指定训练图像的所述代表性子集中存在的一个或多个缺陷类别和用于每个所述缺陷类别的一组评级标注，可任选的是，其中接收来自所述计算机的输入还包括使用所述计算机确定所述代表性训练图像中存在的多个缺陷类别，以及针对每个所指定的缺陷类别将严重级别标注分配到所述多个图像集群中的每一个；和针对每个所述图像集群，使用所述评级软件将已分配到所述图像集群的所述缺陷类别的每个所述相应的评级标注自动传送到相应图像集群中的所有所述训练图像。
全文摘要
本发明描述了一种计算机化评级工具，所述计算机化评级工具帮助用户有效和一致地为代表给定产品样品的大型训练图像集合分配专家评级(即标注)。所述评级工具提供了用于以直观和可配置的方式可视化训练图像的机制，包括对所述训练图像进行聚类和排序。在一些实施例中，所述评级工具提供了易用界面，所述易用界面用于探究所述数据中表示的多种缺陷类型，以及用于有效地分配专家评级。在其他实施例中，所述计算机自动为所述相应的集群分配评级(即标注)，所述集群包含代表所述样品的大型数字图像集合。此外，所述计算机化工具有适用于为非常大的数据集标注的能力，包括能够自动识别并选择所述图像最相关子集的缺陷，以及能够将标注从所述子集自动传送到剩余图像，而无需进一步的用户交互。
文档编号G01N21/89GK103168227SQ201180050416
公开日2013年6月19日申请日期2011年10月14日优先权日2010年10月19日
发明者E·J·里布尼克, K·G·布里泰恩, G·D·科斯塔施, C·P·塔诺维斯基, D·H·贾斯泰斯, G·萨皮罗, S·D·赫伯特, D·L·霍菲尔特申请人:3M创新有限公司

亚星游戏官网-www.yaxin868.com

已制造幅材产品数字样品的计算机辅助评级分配的制作方法