专利名称：影像差异部位标注系统及方法
技术领域：
本发明涉及一种影像处理系统及方法，特别是关于一种两张影像的差异部位标注系统及方法。
背景技术：
在一般外界光源照射的条件下，在拍摄被测物体(例如主板)的影像时，由于光源可能由一盏日光灯变为两盏灯造成光线亮度变化干扰而导致拍摄影像与实际影像产生差异。因此，工业上需要利用光学自动检测(Automatic Optic Inspection，AOI)设备对被测物体的拍摄影像进行光学自动检测，来找出拍摄影像与实际影像的差异部位。在待测影像与实际影像做比较和输出时，业界通常采用迭代求值逐点分析来求解两张影像不同部位的中心点。然而，采用迭代求值逐点分析法分析大图片，比如CPUSocket 4102x3384的影像时，常常需要几分钟才得出分析出影像的差异部位，其分析效率较低，其分析成本较高。
发明内容
鉴于以上内容，有必要提供一种影像差异部位标注系统及方法，能够将外界光源变化造成光影干扰时所拍摄待测物件的拍摄影像不同于实际影像的差异部位进行标注。所述的影像差异部位标注系统，安装并运行于计算机中，该计算机连接有影像摄取设备。该系统包括影像获取�？椋糜谕ü跋裆闳∩璞干闳〈馕锛呐纳阌跋瘢蛹扑慊拇娲⑵髦谢袢〈馕锛谋曜加跋瘢ü冉吓纳阌跋窈捅曜加跋竦挠跋衿骄芰棵芏鹊玫礁昧秸庞跋竦牟钜煊跋瘢约敖貌钜煊跋癜凑誖GB三通道分离成R灰度影像、 G灰度影像以及B灰度影像；矩阵构造�？椋糜诟軷灰度影像中的每一像素点及其周围像素点的亮度值构造R通道矩阵群，根据G灰度影像中的每一像素点及其周围像素点的亮度值构造G通道矩阵群，根据B灰度影像中的每一像素点及其周围像素点的亮度值构造B 通道矩阵群，以及从R通道矩阵群中选取负定的R通道矩阵，从G通道矩阵群中选取负定的 G通道矩阵，从B通道矩阵群中选取负定的B通道矩阵；矩阵计算�？椋糜谠诟憾ǖ腞通道矩阵中求解局部极大值所对应的由像素点构成的第一像素点集合，在负定的G通道矩阵中求解局部极大值所对应的由像素点构成的第二像素点集合，在负定的B通道矩阵中求解局部极大值所对应的由像素点构成的第三像素点集合，以及求解所述三个像素点集合的交集得到所需标注位置的像素点序列；影像标注�？椋糜谝运鱿袼氐阈蛄兄械拿恳桓鱿袼氐阄行脑谄渲芪母龇较蛩阉髁炼戎滴愕南袼氐悖昧炼戎滴愕南袼氐阌胫行南袼氐阒涞木嗬胱魑弥行南袼氐愕谋曜刖叮运鱿袼氐阈蛄兄忻恳桓鱿袼氐阄行牟⒁云涠杂Φ谋曜刖段曜⒎段г谂纳阌跋裰斜曜⒊霾煌诒曜加跋竦牟钜觳课�。所述的影像差异部位标注方法包括步骤通过影像摄取设备摄取待测物件的拍摄影像，从存储器中获取待测物件的标准影像；通过比较拍摄影像和标准影像的影像平均能量密度得到该两张影像的差异影像；将该差异影像按照RGB三通道分离成R灰度影像、G灰度影像以及B灰度影像；根据R灰度影像中的每一像素点及其周围像素点的亮度值构造R通道矩阵群，根据6灰度影像中的每一像素点及其周围像素点的亮度值构造6通道矩阵群， 以及根据8灰度影像中的每一像素点及其周围像素点的亮度值构造8通道矩阵群；从尺通 道矩阵群中选取负定的0通道矩阵，从6通道矩阵群中选取负定的6通道矩阵，以及从8通 道矩阵群中选取负定的8通道矩阵；在负定的I？通道矩阵中求解局部极大值所对应的由像 素点构成的第一像素点集合，在负定的6通道矩阵中求解局部极大值所对应的由像素点构 成的第二像素点集合，以及在负定的8通道矩阵中求解局部极大值所对应的由像素点构成 的第三像素点集合；求解所述三个像素点集合的交集得到所需标注位置的像素点序列；以 所述像素点序列中每一个像素点为中心在其周围四个方向搜索亮度值为零的像素点，并将 该亮度值为零的像素点与中心像素点之间的距离作为该中心像素点的标注半径；以所述像 素点序列中每一个像素点为中心并以其对应的标注半径为标注范围在拍摄影像中标注出 不同于标准影像的差异部位。
〔0006〕 相较于现有技术，本发明所述的影像差异部位标注系统及方法，能够通过计算机 软件将外界光源变化造成光影干扰时所拍摄待测物件的拍摄影像不同于实际影像的差异 部位进行标注，从而提高分析效率，降低分析成本。
〔0007〕图1是本发明影像差异部位标注系统较佳实施例的架构图。
〔0008〕图2是本发明影像差异部位标注方法较佳实施例的流程图。
〔0009〕图3是在拍摄影像中标注出不同于标准影像的差异部位的示意图。
^00103主要元件符号说明
〔0011〕计算机1
〔0012〕影像差异部位标注系统 11
〔0013〕影像获取�？�111
〔0014〕矩阵构造�？�112
^00153矩阵计算�？�113
^001影像标注�？�114
〔0017〕存储器12
〔0018〕中央处理器13
〔0019〕显示器14
^00203影像摄取设备2
〔0021〕待测物件具体实施例方式
〔0022〕 如图1所示，是本发明影像差异部位标注系统11较佳实施例的架构图。在本实施 例中，所述的影像差异部位标注系统11安装并运行于计算机1中，能够将外界光源变化造 成光影干扰时所拍摄待测物件3的拍摄影像不同于无外界光影干扰时所拍摄待测物件3的 实际影像的差异部位进行标注。所述的计算机1连接有影像摄取设备2，该影像摄取设备2 用于摄取待测物件3的拍摄影像，例如图3所示的拍摄影像。在一般外界光源照射的条件 下，在拍摄待测物件3〈例如主板、的影像时，由于光源可能由一盏日光灯变为两盏灯造成光线亮度变化而导致拍摄影像与实际影像产生差异，例如图3所示的差异部位al、a2及a3。所述的计算机1包括存储器12、中央处理器13以及显示器14。存储器12存储有与拍摄影像作比较的标准影像，例如图3所示的标准影像b。中央处理器13用于执行影像差异部位标注系统11自动找出待测物件3的拍摄影像与标准影像的差异部位，并将该差异部位在拍摄影像中标注出来。显示器14用于显示已经标注了差异部位的影像。所述的影像差异部位标注系统11包括影像获取�？�111、矩阵构造模块112、矩阵计算�？�113以及影像标注�？�114。本发明所称的�？槭怯梢幌盗屑扑阒噶钭槌傻募扑慊绦蚨�。在本实施例中，所述的�？槭且恢帜芄槐恢醒氪砥�13所执行并且能够完成固定功能的计算机程序段，其存储在所述的存储器12中。所述的影像获取�？�111用于通过影像摄取设备2摄取待测物件3的拍摄影像， 并从存储器12中获取待测物件3的标准影像。该拍摄影像是一种在外界光源变化造成光影干扰时所拍摄待测物件3的影像，该标准影像是一种在无外界光影干扰时所拍摄待测物件3的实际影像。所述的影像获取模块111还用于通过比较拍摄影像和标准影像的影像平均能量密度(Image Average Energy Density, IAED)值得到该两张影像的差异影像，例如图3所示的差异影像c，以及将该差异影像按照RGB三通道分离成R灰度影像、G灰度影像以及B 灰度影像。所述的RGB三通道包括影像的R灰度通道、G灰度通道以及B灰度通道。所述的IAED是指分辨率为NXN影像中每一个像素的平均能量密度，用于衡量影像的像素能量的基准，其按照公式IAED = (R+G+B)/N/N来计算该影像的像素平均能量密度，在这个公式中的R代表所述影像中所有像素点的R亮度值总和，G代表所述影像中所有像素点的G亮度总和，及B代表所述影像中所有像素点的B亮度总和。所述的矩阵构造模块112用于根据R灰度影像中的每一像素点及其周围像素点的亮度值构造R通道矩阵群，根据G灰度影像中的每一像素点及其周围像素点的亮度值构造 G通道矩阵群，以及根据将B灰度影像中的每一像素点及其周围像素点的亮度值构造B通道矩阵群。所述的R通道矩阵群具有与R灰度影像中像素点数目等同数量的R通道矩阵， 所述的G通道矩阵群具有与G灰度影像中像素点数目等同数量的G通道矩阵，所述的B通道矩阵群具有与B灰度影像中像素点数目等同数量的B通道矩阵。在本实施例中，所述的 RGB通道矩阵均可采用一种名称为海瑟矩阵构造得到。每一通道矩阵群中均包含正定的矩阵以及负定的矩阵，每一矩阵是一种由像素的亮度值构成的多维变量函数的二阶偏导数矩阵。所述的矩阵构造�？�112还用于分别从R通道矩阵群中选取负定的R通道矩阵， 从G通道矩阵群中选取负定的G通道矩阵，从B通道矩阵群中选取负定的B通道矩阵。在本实施例中，假如某一像素点的位置坐标表示为(X，Y)，该像素点的亮度值表示为E (X，Y)， 则矩阵构造�？�112以该像素点为中心逐步判断其周围的像素点的亮度值，当E0Cn-l，Ym) < E (Xn, Ym)及 E (Xn, Ym) > E (Xn+1, Ym)，且同时满足 E (Xn, Ym-1) < E (Xn, Ym)并且 E (Xn, Ym) >E(Xn,Ym+l)的像素点，则像素点(X，Y)及其周围点构成的矩阵即满足负定的矩阵。所述的矩阵计算�？�113用于在负定的R通道矩阵中求解局部极大值所对应的由P个像素点构成的第一像素点集合{R(X1，Yl)，R(X2，Y2)，· · · R(Xp, YpM，在负定的G通道矩阵中求解局部极大值所对应的由q个像素点构成的第二像素点集合{G(Ml，m)，G(M2，N2)，. . .G (Mq, Nq)}，在负定的B通道矩阵中求解局部极大值所对应的由r个像素点构成的第三像素点集合{B (Tl, Si)，B(T2，S2)，. . .B (Tr, Sr)}。在本实施例中，矩阵计算�？�113 通过判定负定的R、G、B通道矩阵内变量的二阶偏导数是否等于零来确定各自通道矩阵内像素点亮度值的局部极大值，每一个R、G、B通道矩阵内的局部极大值所对应的像素点即为构成上述各自像素点集合。所述的矩阵计算�？�113还用于求解上述三个像素点集合的交集得到所需标注位置的标注像素点序列{(X1，Y1)，(X2，Y2)，...(Xi，Yj)}，其中i及j小于P、q、r的最小值。在本实施例中，矩阵计算�？�113通过上述三个像素点集合内搜索所需标注位置的像素点，当X = M = T并且Y = N = S时的像素点即为所需标注位置的中心像素点(Xi，Yj)。所述的影像标注�？�114用于在每一个中心像素点(Xi，Yj)的周围四个方向搜索亮度值全部为零的像素点，并将亮度值为零的像素点与中心像素点(Xi，Yj)之间的最远距离作为该中心像素点(Xi，Yj)的标注半径。在本实施例中，影像标注�？�114搜索中心像素点(Xi，Yj)周围四个方向的亮度值为零的像素点，通过中心像素点(Xi，Yj)与亮度值为零的像素点之间的距离得到标注半径。所述的影像标注�？�114还用于以每一个像素点(Xi，Yi)为中心，并以其对应的标注半径为标注范围在拍摄影像中标注出不同于标准影像的差异部位。在本实施例中，差异部位可以采用区别于拍摄影像的颜色的红色矩形或圆形来标注，例如图3中标注的差异部位al、a2及a3。如图2所示，是本发明影像差异部位标注方法较佳实施例的流程图。在本实施例中，该方法能够将外界光源变化造成光影干扰时所拍摄待测物件3的拍摄影像不同于无外界光影干扰时所拍摄待测物件3的实际影像的差异部位进行标注。步骤S20，影像获取�？�111通过影像摄取设备2摄取待测物件3的拍摄影像，并从存储器12中获取待测物件3的标准影像。该拍摄影像是一种在外界光源变化造成光影干扰时所拍摄待测物件3的影像，该标准影像是一种在无外界光影干扰时所拍摄待测物件 3的实际影像。步骤S21，影像获取�？�111通过比较拍摄影像和标准影像的影像平均能量密度 IAED值得到该两张影像的差异影像，例如图3所示的差异影像C。所述的IAED是指分辨率为NXN影像中每一个像素的平均能量密度，用于衡量影像的像素能量的基准，其按照公式 IAED = (R+G+B)/N/N来计算该影像的像素平均能量密度，步骤S22，影像获取�？�111将该差异影像按照RGB三通道分离成R灰度影像、G 灰度影像以及B灰度影像。在本实施例中，所述的RGB三通道包括影像的R灰度通道、G灰度通道以及B灰度通道。所述的RGB值采用影像像素点的亮度值来表示。步骤S23，矩阵构造模块112根据R灰度影像中的每一像素点及其周围像素点的亮度值构造R通道矩阵群，根据G灰度影像中的每一像素点及其周围像素点的亮度值构造G 通道矩阵群，以及根据将B灰度影像中的每一像素点及其周围像素点的亮度值构造B通道矩阵群。所述的RGB通道矩阵群中的矩阵均可采用一种名称为海瑟矩阵构造得到。在本实施例中，每一通道矩阵群中均包含正定的矩阵以及负定的矩阵，每一矩阵是一种由像素的亮度值构成的多维变量函数的二阶偏导数矩阵。步骤S24，矩阵构造�？�112分别从R通道矩阵群中选取负定的R通道矩阵，从G通道矩阵群中选取负定的G通道矩阵，从B通道矩阵群中选取负定的B通道矩阵。在本实施例中，假如某一像素点的位置坐标表示为(X，Y)，该像素点的亮度值表示为E (X，Y)，则矩阵构造�？�112以该像素点为中心逐步判断其周围的像素点的亮度值，当E(Xn-l，Ym) <E(Xn, Ym)及 E(Xn, Ym) > E(Xn+l, Ym),且同时满足 E (Xn, Ym-1) < E(Xn, Ym)并且 E(Xn, Ym) > E(Xn,Ym+l)的像素点，则像素点(X，Y)及其周围点构成的矩阵即满足负定的矩阵。步骤S25，矩阵计算�？�113在负定的R通道矩阵中求解局部极大值所对应的由 P个像素点构成的第一像素点集合{R(X1，Yl)，R(X2，Y2)，· · · R(Xp, YpM，在负定的G通道矩阵中求解局部极大值所对应的由q个像素点构成的第二像素点集合{G(M1，Ni), G(M2, N2)，. . . G(Mq，Nq)}，在负定的B通道矩阵中求解局部极大值所对应的由r个像素点构成的第三像素点集合{B (Tl, Si)，B(T2，S2)，. . .B (Tr, Sr)}。在本实施例中，矩阵计算模块113 通过判定负定的R、G、B通道矩阵内变量的二阶偏导数是否等于零来确定各自通道矩阵内像素点亮度值的局部极大值，每一个R、G、B通道矩阵内的局部极大值所对应的像素点即为构成上述各自像素点集合。步骤S26，矩阵计算模块113求解上述三个像素点集合的交集得到所需标注位置的像素点序列{(X1，Y1)，(Χ2, Υ2), ... (Xi，Yj)}，其中i及j小于P、q、r的最小值。在本实施例中，矩阵计算�？�113通过上述三个像素点集合内搜索所需标注位置的像素点，当X = M = T并且Y = N = S时的像素点即为所需标注位置的像素点。步骤S27，影像标注�？�114在每一个中心像素点(Xi，Yj)的周围四个方向搜索亮度值全部为零的像素点，并将亮度值为零的像素点与中心像素点之间的最远距离作为该中心像素点(Xi，Yj)的标注半径。在本实施例中，影像标注�？�114搜索中心像素点(Xi， Yj)周围四个方向的亮度值为零的像素点，通过计算中心像素点(Xi，Yj)与亮度值为零的像素点之间的距离得到标注半径。步骤S28，影像标注�？�114以每一个像素点(Xi，Yi)为中心，并以其对应的标注半径为标注范围在拍摄影像中标注出不同于标准影像的差异部位。在本实施例中，差异部位可以采用区别于拍摄影像的颜色的红色矩形或圆形来标注，例如图3中标注的差异部位以上实施例仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换都不应脱离本发明技术方案的精神和范围。
权利要求
1.一种影像差异部位标注系统，安装并运行于计算机中，该计算机连接有影像摄取设备，其特征在于，所述的影像差异部位标注系统包括影像获取�？椋糜谕ü跋裆闳∩璞干闳〈馕锛呐纳阌跋瘢蛹扑慊拇娲⑵髦谢袢〈馕锛谋曜加跋瘢ü冉吓纳阌跋窈捅曜加跋竦挠跋衿骄芰棵芏鹊玫礁昧秸庞跋竦牟钜煊跋瘢约敖貌钜煊跋癜凑誖GB三通道分离成R灰度影像、G灰度影像以及 B灰度影像；矩阵构造�？椋糜诟軷灰度影像中的每一像素点及其周围像素点的亮度值构造R 通道矩阵群，根据G灰度影像中的每一像素点及其周围像素点的亮度值构造G通道矩阵群， 根据B灰度影像中的每一像素点及其周围像素点的亮度值构造B通道矩阵群，以及从R通道矩阵群中选取负定的R通道矩阵，从G通道矩阵群中选取负定的G通道矩阵，从B通道矩阵群中选取负定的B通道矩阵；矩阵计算�？椋糜谠诟憾ǖ腞通道矩阵中求解局部极大值所对应的由像素点构成的第一像素点集合，在负定的G通道矩阵中求解局部极大值所对应的由像素点构成的第二像素点集合，在负定的B通道矩阵中求解局部极大值所对应的由像素点构成的第三像素点集合，以及求解所述三个像素点集合的交集得到所需标注位置的像素点序列；以及影像标注模块，用于以所述像素点序列中的每一个像素点为中心在其周围四个方向搜索亮度值全部为零的像素点，并将亮度值为零的像素点与中心像素点之间的最远距离作为该中心像素点的标注半径，以及以所述像素点序列中每一个像素点为中心并以其对应的标注半径为标注范围在拍摄影像中标注出不同于标准影像的差异部位。
2.如权利要求1所述的影像差异部位标注系统，其特征在于，所述的影像平均能量密度是指分辨率为NXN影像中每一个像素的平均能量密度，其按照算式(R+G+B)/N/N来计算得到，其中R为所述影像中所有像素点的R亮度值总和，G为所述影像中所有像素点的G亮度值总和，以及B为所述影像中所有像素点的B亮度值总和。
3.如权利要求1所述的影像差异部位标注系统，其特征在于，所述的R通道矩阵群、G 通道矩阵群和B通道矩阵群中均包含正定的矩阵以及负定的矩阵。
4.如权利要求1所述的影像差异部位标注系统，其特征在于，所述的R通道矩阵、G通道矩阵和B通道矩阵分别为一种由各自灰度影像中所有像素点的亮度值构成的多维变量函数的二阶偏导数矩阵。
5.如权利要求4所述的影像差异部位标注系统，其特征在于，所述的局部极大值是通过判定负定的RGB三通道矩阵内变量的二阶偏导数是否等于零来确定的。
6.一种影像差异部位标注方法，利用计算机将待测物件的拍摄影像不同于实际影像的差异部位进行标注，该计算机连接有影像摄取设备，其特征在于，该方法包括步骤通过影像摄取设备摄取待测物件的拍摄影像，从计算机的存储器中获取待测物件的标准影像；通过比较拍摄影像和标准影像的影像平均能量密度得到该两张影像的差异影像；将该差异影像按照RGB三通道分离成R灰度影像、G灰度影像以及B灰度影像；根据R灰度影像中的每一像素点及其周围像素点的亮度值构造R通道矩阵群，根据G 灰度影像中的每一像素点及其周围像素点的亮度值构造G通道矩阵群，以及根据B灰度影像中的每一像素点及其周围像素点的亮度值构造B通道矩阵群；从R通道矩阵群中选取负定的R通道矩阵，从G通道矩阵群中选取负定的G通道矩阵， 以及从B通道矩阵群中选取负定的B通道矩阵；在负定的R通道矩阵中求解局部极大值所对应的由像素点构成的第一像素点集合，在负定的G通道矩阵中求解局部极大值所对应的由像素点构成的第二像素点集合，以及在负定的B通道矩阵中求解局部极大值所对应的由像素点构成的第三像素点集合；求解所述三个像素点集合的交集得到所需标注位置的像素点序列；以所述像素点序列中每一个像素点为中心在其周围四个方向搜索亮度值全部为零的像素点，并将亮度值为零的像素点与中心像素点之间的最远距离作为该中心像素点的标注半径；以及以所述像素点序列中每一个像素点为中心并以其对应的标注半径为标注范围在拍摄影像中标注出不同于标准影像的差异部位。
7.如权利要求6所述的影像差异部位标注方法，其特征在于，所述的影像平均能量密度是指分辨率为NXN影像中每一个像素的平均能量密度，其按照算式(R+G+B)/N/N来计算得到，其中R为所述影像中所有像素点的R亮度值总和，G为所述影像中所有像素点的G亮度值总和，以及B为所述影像中所有像素点的B亮度值总和。
8.如权利要求6所述的影像差异部位标注方法，其特征在于，所述的R通道矩阵群、G 通道矩阵群和B通道矩阵群中均包含正定的矩阵以及负定的矩阵。
9.如权利要求6所述的影像差异部位标注方法，其特征在于，所述的R通道矩阵、G通道矩阵和B通道矩阵分别为一种由各自灰度影像中所有像素点的亮度值构成的多维变量函数的二阶偏导数矩阵。
10.如权利要求9所述的影像差异部位标注方法，其特征在于，所述的局部极大值是通过判定负定的RGB三通道矩阵内变量的二阶偏导数是否等于零来确定的。
全文摘要
一种影像差异部位标注系统及方法，该方法包括步骤计算拍摄影像和实际影像的差异影像；将该差异影像进行RGB三通道分离；利用RGB三通道灰度影像分别构建RGB三通矩阵；在负定的RGB三通道矩阵中分别求解RGB三通道像素点集合；求解上述RGB三通道像素点集合的交集得到所需标注位置的像素点序列；以所述像素点序列中每一个像素点为中心在其周围四个方向搜索亮度值为零的像素点，并将该亮度值为零的像素点与中心像素点之间的距离作为该中心像素点的标注半径在拍摄影像中标注出不同于标准影像的差异部位。实施本发明，能够利用计算机对待测物件的拍摄影像区别于实际影像的差异部位进行自动标注。
文档编号G01C11/06GK102486376SQ20101057328
公开日2012年6月6日 申请日期2010年12月4日 优先权日2010年12月4日
发明者刘小梅, 张代纲, 王光建, 赵衿蓉 申请人:鸿富锦精密工业(深圳)有限公司, 鸿海精密工业股份有限公司
专业数控铣床产品供应商
20年生产经验，实力工厂，精工品质，质量有保障
