专利名称：：基于三个摄像系统在线水果品质检测分级的装置与方法
技术领域：
：本发明涉及一种按照物品的特性进行实时在线检测和分级的机器视觉检测装置和方法，特指一种用于水果高速检测线上的基于三个摄像系统在线水果品质检测分级的方法与装置。
背景技术：
：随着计算机技术、图像处理技术、模式识别技术、电子技术的飞速发展，利用机器视觉技术进行水果的分级得到广泛的研究。国外从20世纪90年代初就开始研究基于计算机视觉技术的水果分级系统，到现在已有部分实用的产品，如美国的OSCARTM型和MERLIN型高速水果分级生产线，用于苹果、梨、橘子、桃子等水果的分等定级和品质检测。相关美国专利有，YangTao等人的美国专利“Methodandapparatusforsortingobjectsbycolor(通过颜色对物品进行分级的方法和装置)申请号5339963”，用一个彩色摄像头对输送链上的物品进行快速检测与分级，主要用HIS颜色系统中的色度(H)进行分类计算。YangTao等人的美国专利“Methodandapparatusforsortingobjectsbycolorincludingstablecolortansformation(用颜色对物品进行分级的方法和装置包括一种静态图像的转换方法)申请号5533628”，描述了一种基于单个摄像头的水果分级系统。国内，有应义斌等人在他们所申请的多个相关中国专利(申请号02136377.3，02266031.3，02160193.302295073.7，02295073.7)中也描述了一种基于单个摄像头的水果分级系统。这些系统由水果输送翻转系统、计算机视觉识别系统、分级系统组成。水果在输送装置上以一定速度向前输送，并使水果绕水平轴自由转动，摄像头摄取水果表面的图像信息。通过计算机视觉系统的视觉智能识别，综合判断每一水果的等级，并确定每个水果的位置信息，由计算机识别系统的控制�？榻噶畲涓旨断低常瓿伤姆旨�。以上所有公开文件对一个水果都是用单个摄像头进行拍摄，虽然对某些特定水果检测时能达到要求，但误差比较大，主要存在以下问题，1)机器视觉系统只能检测到水果90％左右的表面；2)对缺陷检测时怎样区分它们与果梗与果萼的差别；3)由于水果大都是非规则物体，当在线检测时要求水果既要以一定速度向前输送，又要使水果绕水平轴自由转动，这样水果很难以适当的姿态呈现在单个摄像机的视场内，这样给形状和大小的检测结果带来误差；4)所用的摄像系统多为普通数据采集卡和摄像头组成，如应义斌等人研制的水果品质实时检测和分级机器人系统中摄像系统采用的就是MATROX公司生产的MatroxMe-teorII/Standard卡和东芝公司生成的PanasonicCP410彩色摄像机组成的(《浙江大学学报(农业与生命科学版)》第30卷第2期，2004年)，由于所拍摄的水果是高速运动的，这样的系统采集的水果动态图像是�：模簿褪峭枷裼械阈椋窃谕枷翊碇行枰由贤枷裥Ｕ庖徊嚼唇蟹茨：怂悖庋岣低炒次蟛�。水果缺陷的检测，是一个世界性的难题，但又是水果分选分级中必须检测的一项，因为如果腐烂的水果没有检测出来，它在运输和贮藏的过程中会造成周围的水果都腐烂，造成的经济损失会很大。因此许多研究者都在研究这一问题，解决得比较好的有YangTao等人的美国专利“Itemdefectdetectionapparatusandmethod(一种缺陷检测的方法和装置)”申请号6.271520，该发明在水果检测线上平行布置两个红外摄像系统来在线检测水果缺陷的装置和方法，其中一个为近红外摄像系统，另一个为中红外摄像系统，能够方便的将果梗、国萼与缺陷区分出来和YangTao等人的美国专利“Defectiveobjectinspectionandseparationsystemusingimageanalysisandcurvaturetransformation(用图像处理技术和曲面变换检测和区分缺陷物品”)申请号5732147，发明了一种体成像技术使水果的缺陷更容易在线检测的方法。但这两种方法都存在检测成本太高，且检测数据不够精确，以及未能解决果梗与果萼识别的问题。
发明内容为克服上述现有技术的不足，本发明提供了一种基于三个摄像系统在线水果品质检测分级的装置与方法，可以准确、有效、全面地获取那些在输送线上高速运动并均匀的翻动的水果外部品质特征信息，能快速地找到果梗与果萼，并在此基础上完成水果形状、大小、颜色、缺陷等外观品质指标地准确检测，实现水果的实时检测与分级。本发明的技术方案如下本发明所述检测分级装置由水果输送翻转部分、计算机视觉识别部分和水果分级动作部分组成。计算机视觉识别部分安装在水果输送翻转部分上，水果分级动作部分安装在水果输送翻转部分的后面。所述的水果输送翻转部分与应义斌等人的实用新型专利“水果品质智能化检测与分级生产线”(申请号02266034.8)中的水果输送翻转部分类似。即设置通过链条带动的双锥滚子前进的水果输送翻转装置，且滚子可以绕水平小轴自由转动，水果必须以3～5个/秒的速度高速前进，并且保证在通过计算机视觉识别部分时能转动一周，把整个表面呈现给计算机识别部分。所述的水果分级部分可以采用应义斌等人的实用新型专利“水果品质智能化检测与分级生产线”(申请号02266034.8)中的分级动作部分，也可以采用张聪等人的实用新型专利“一种水果分级机”(申请号03273524.3)中的喷气选别装置，要求它们能根据计算机视觉部分提供的分级信号产生分级动作，把不同级别的水果分开分装到不同收集箱内，准确的完成水果分级。本发明装置的特征在于所述的计算机视觉识别部分，其是本发明的核心部分，由三个逐行扫描彩色摄像系统、一个光照箱、两个光电传感器、一个同步器、高速数据通讯�？�、控制�？楹拖嘤Φ娜砑槌�。其中三个逐行扫描彩色摄系统中每个系统中由一个逐行扫彩描色数字摄像头、一块高速数字图像采集卡、一台计算机顺序连接而成。两个光电传感器安装在水果输送翻转装置上，通过线路分别与同步器相连，同步器通过线路分别与三台计算机中的高速数字图像采集卡和控制�？橄嗔峁┩枷衽纳愕拇シ⑿藕藕兔扛鏊奈恢茫还庹障浒沧霸谒渌头糠值纳戏剑锩姘仓糜卸嗾涤獾疲谒砻娌鹊穆瓷涔猓鲋鹦猩璨噬稚阆裢钒沧霸诠庹障淠冢⒋怪庇谒渌头较虻耐黄矫婺冢渲幸桓錾阆裢钒沧霸谑渌拖叩纳戏剑渌礁霭沧霸谑渌拖叩牧讲啵芡脚纳愕酵晃恢玫娜鏊枷瘢錾阆裢肪呗贩直鹩肴扑慊诘母咚偈滞枷癫杉ㄏ嗔纳愕耐枷翊嫒爰扑慊黄渲幸惶扑慊ü菹哂肟刂颇？橄嗔刂颇？榉⒊鲂藕趴刂葡嘤Φ姆旨吨葱谢购头旨肚菇偷较嘤Φ氖占淠�。本发明所述的检测分级方法，其特征在于(1).水果输送翻转部分使水果以一定的速度向前自动成单列以3～5个/秒的速度高速输送并绕水平小轴自由转动，保证在通过计算机视觉识别部分时能翻转240度左右，把水果整个表面呈现给计算机识别部分；(2).计算机视觉识别部分通过安装在垂直于水果输送方向同一个平面内的三个逐行扫描彩色数字摄像系统，对每一个水果采集9幅图像；(3).融合这9幅图像的信息完成水果形状、大小、颜色、缺陷等全部外观品质的检测，综合得到每一水果的等级，进行处理，并从中提取品质特征信息，再采用智能识别软件结合由已有的标准和水果数据库生成的知识库完成水果形状、大小、颜色、缺陷等全部外观品质的检测，并通过控制�？榻旨吨噶罘⑺偷剿旨抖鞑糠郑痪咛宥�1).当一个水果在边翻转边高速前进的过程中，当达到计算机视觉识别部分第一拍摄位置时，通过触发传感器和同步器同时触发三个逐行扫描彩色数字摄像系统，三个逐行扫描彩色数字摄像系统获取该水果和前面两个水果的上表面和两个侧面的图像，并迅速对所得的图像进行分析处理，且在水果达到第二个拍摄位置时完成图像分析处理；2).该水果达到第二拍摄位置时，由于水果时边翻转边高速前进，水果已翻转了120度左右的角度，再次触发传感器和同步器同时触发三个逐行扫描彩色数字摄像系统，按上述工作步骤获取图像，完成图像分析处理，并在水果达到第三个拍摄位置时完成图像分析处理；3).水果达到第三拍摄位置时，水果又翻转120度左右的角度，并再次按上述工作步骤获取图像，并完成图像分析处理。所述的序列图像处理中包括每一幅图像获取、去背景、滤波、三个水果图像分割、对每个水果的图像分别进行特征提取。所述的特征提取包括水果边沿信息的提取、颜色特征的提取，以及在此基础上对该幅水果图像的果梗、果萼、缺陷、形状、大小的初步判断。所述的高速数据通讯�？橐蟀讶扑慊淼男畔⒓笆毖杆俚娜诤系揭惶扑慊冢ㄍㄑ端玫挠布腿砑匦朐诤芏�(毫秒级)的时间内完成三台计算机间的通讯。采用相应识别软件结合水果分级标准和水果数据库生成的知识库对前面三台计算机所提取的特征和初步判断的信息进行融合，完成水果形状、大小、颜色、缺陷等全部外观品质的检测，得到每一水果的等级。光照箱中的光源可以针对不同的水果对象进行选择和位置调整，选取合适的光源频谱和空间位置，并使三个摄像头的视场内的光照均匀一致，三个摄像头在光源箱中的位置也可以根据水果对象进行调整，使三个摄像头可以获得三个水果图像。工作时，水果在输送翻转装置上一边随着链条带动的双锥滚子前进，一边在滚子的作用下绕水平小轴自由转动，在计算机视觉识别部分内的沿输送方向的三个等距位置，三次触动光电传感器，每次触发光电传感器，光电传感器通过同步器将水果位置发送给控制�？楹图扑慊⑼ü狡魍贝シ⑷扑慊诘母咚偈滞枷癫杉ǎ尤霾煌较蛲讲杉耐枷瘢捎谌錾阆裢纺芡贝铀纳戏胶土讲嗯纳愕酵晃恢玫娜鏊枷瘢簿褪撬谇敖墓讨谢岜煌桓錾阆裢放纳闳危庋酝桓鏊玫�9幅图像，保证水果的整个表面都能被摄像系统采集到，三台计算机在每次拍摄完后，及时对所拍摄的序列图像进行处理，并通过高速数据通讯�？槿诤厦扛鏊�9幅图像的信息，通过识别软件完成水果形状、大小、颜色、缺陷等全部外观品质的检测，综合得到每一水果的等级。最后通过控制�？榻旨吨噶罘⑺偷剿远旨抖鞑糠郑伤远旨抖鞑糠肿詈笸瓿伤旨�。本发明的效果是(1)本发明的三个摄像系统均采用逐行扫描的数字彩色摄像头和高速数字图像采集卡，这样不论水果运动多复杂、多快都能获得清晰的水果图像；(2)本发明采用三个摄像系统同步采集在线检测是以往文件中没有涉及的，本发明中对同一个水果可以得到9幅图像，从而保证水果的表面都能被采集到，与一个或两个摄像系统相比，不会遗漏任何信息，若采用三个以上摄像系统，则冗余信息过多，增加了后面软件数据处理和通讯的难度，并且处理速度变慢；(3)通过高速数据通讯�？榻錾阆裣低乘玫降�9幅图像信息融合，可以很方便的区分水果的果梗与果萼，从而提高了水果的形状和大小的检测精度，以及提高了缺陷检测的精度；(4)本发明通过高速数据通讯�？楹透咚俚拇砣砑錾阆裣低车男畔⒓笆比诤掀鹄矗Ｖさハ咚旨端俣任�3～5个/秒，就苹果来说分选能力可达到3～4吨/小时。图1本发明的结构示意图；图2计算机视觉识别部分结构框图；图3同一个水果fi在光照箱内三个不同时刻在同一个摄像头内呈现的三幅图像；图4三个摄像头从三个不同方向拍摄到同一位置的三个水果图像；图5计算机视觉识别部分工作过程示意图；1-光照箱，2-水果输送翻转部分，3-同步器，4-逐行扫描彩色数字摄像头a，5-高速数字图像采集卡a，6-计算机a，7-逐行扫描彩色数字摄像头b，8-高速数字图像采集卡b，9-计算机b，10-高速数据通讯模块，11-逐行扫描彩色数字摄像头c，12-高速数字图像采集卡c，13-计算机c，14-控制�？椋�15-水果自动分级动作部分，16-光电传感器，17-光源，18-水果具体实施方式如图1所示，本发明由水果输送翻转部分2、计算机视觉识别部分和水果自动分级动作部分15组成，水果输送翻转部分2和水果自动分级动作部分15的结构同相关专利“水果品质实时检测和分级的机器人系统”(申请号02136377.3)中的图2、图4、图5所示，设置通过链条带动的双锥滚子前进，且滚子可以绕水平小轴自由转动的水果输送翻转装置。水果自动分级动作部分15可选用的装置很多，如应义斌等人的实用新型专利“水果品质智能化检测与分级生产线”(申请号02266034.8)中的分级动作部分，和张聪等人的实用新型专利“一种水果分级机”(申请号03273524.3)中的喷气选别装置，本专利中选用前者，即申请号为02266034.8中的分级动作部分。如图1、图2所示，计算机视觉识别部分由三个逐行扫描彩色摄像系统、一个光照箱1、两个光电传感器16、一个同步器3、高速数据通讯�？�10、控制模块组成14，其中第一个逐行扫描彩色摄系统由逐行扫描彩色数字摄像头4a、高速数字图像采集卡5a、计算机6a顺序连接而成。第二个逐行扫描彩色摄系统为逐行扫描彩色数字摄像头7b、高速数字图像采集卡8b、计算机9b顺序连接而成。第三个逐行扫描彩色摄系统为逐行扫描彩色数字摄像头11c、高速数字图像采集卡12c、计算机13c顺序连接而成。两个光电传感器16安装在水果输送翻转部分2上，通过线路分别与同步器3相连，同步器3通过线路分别与高速数字图像采集卡5a、8b、12c相连，以及和控制�？�14相连，提供图像拍摄的触发信号和每个水果18的位置；光照箱1安装在水果输送翻转部分2的上方，里面安置有多盏荧光灯光源17，在水果18表面产生均匀的漫反射光，在光照箱1内的三个逐行扫描彩色数字摄像头4a、7b、11c分别从顶部和两侧安装在垂直于水果输送方向的平面内，并保证在这三个摄像头4a、7b、11c能从两侧和顶部同步拍摄到同一位置的三个水果图像，三个摄像头4a、7b、11c经线路分别与高速数字图像采集卡5a、8b、12c，高速数字图像采集卡5a、8b、12c分别与三台计算机相连6a、9b、13c；三台计算机6a、9b、13c间通过高速数据通讯�？�10相连，随时融合所拍摄的信息；其中一台计算机13c通过数据线与控制�？�14相连，控制�？�14发出信号给水果自动分级动作部分15控制相应的分级执行机构和分级驱动机构将水果送到相应的收集箱内。根据所检测的水果，选择适当频谱的光源18安装在光照箱1中，并确定光源18的位置，使三个摄像头的视场内的光照均匀一致。同时调整三个4a、7b、11c摄像头在光源箱中的位置，使每个摄像头可以获得多个水果的图像。如图5所示，工作时，水果在输送翻转装置2上一边随着链条带动的双锥滚子前进，一边在滚子的作用下绕水平小轴自由转动，当达到光照箱1内的拍摄位置时，触动光电传感器16，光电传感器16通过同步器3将水果位置发送给控制�？�14和计算机13，并通过同步器3同时触发高速数字图像采集卡5a、8b、12c，高速数字图像采集卡5a、8b、12c将水果图像传入三台计算机内。从三个不同方向同步采集水果的图像，由于三个逐行扫描彩色数字摄像头4a、7b、11c能同时从三个不同方向拍摄到如图4所示的同一位置的三个水果图像，也就是水果18在前进的过程中会被同一个摄像头拍摄三次，这样对同一个水果将得到九幅图像，保证水果18的整个表面都能被摄像系统采集到，三台计算机6a、9b、13c通过高速数据通讯10�？槿诤险饩欧枷竦男畔⒔写恚⒋又刑崛∑分侍卣餍畔ⅲü悄苁侗鹑砑岷嫌梢延械谋曜己退菘馍傻闹犊馔瓿伤巫�、大小、颜色、缺陷等全部外观品质的检测，综合得到每一水果的等级，并通过控制�？�14将分级指令发送到水果自动分级动作部分15，由水果自动分级动作部分15最后完成水果分级。所述的水果18在前进的过程中被同一个摄像头拍摄三次是这样实现的，如图3所示，水果转动着经过光照箱内的三个位置在其中一个摄像头内所呈现的图像，图3中水果fi在3个时刻t0到t2的三个位置。这样，对每一个水果从同一个摄像头中就可以得到3幅图像，则三个摄像头可以得到9幅图像，从而保证水果所有表面的信息都可以采集到。权利要求1.基于三个摄像系统在线水果品质检测分级装置，由水果输送翻转部分、计算机视觉识别部分和水果分级动作部分组成，计算机视觉识别部分安装在水果输送翻转部分上，水果分级动作部分安装在水果输送翻转部分的后面；所述的水果输送翻转部分为通过链条带动的双锥滚子前进的水果输送翻转装置，且滚子可以绕水平小轴自由转动；所述的水果分级部分采用能根据计算机视觉部分提供的分级信号产生分级动作的由分级执行机构和分级驱动机构组成的分级动作部分或喷气选别装置；其特征在于所述的计算机视觉识别部分由三个逐行扫描彩色摄像系统、一个光照箱(1)、两个光电传感器(16)、一个同步器(3)、高速数据通讯�？�(10)、控制�？�(14)和相应的软件组成，其中三个逐行扫描彩色摄系统中每个系统中由一个逐行扫彩描色数字摄像头(7)、一块高速数字图像采集卡(5)、一台计算机(6)顺序连接而成，两个光电传感器(16)安装在水果输送翻转装置(2)上，通过线路分别与同步器(3)相连，同步器(3)通过线路分别与三台计算机(6a、9b、13c)中的高速数字图像采集卡(5a、8b、12c)和控制�？�(14)相连；光照箱(1)安装在水果输送翻转部分(2)的上方，里面安置有多盏荧光灯组成的光源(17)，三个逐行扫描彩色数字摄像头(4a、7b、11c)安装在光照箱(1)内，并垂直于水果输送方向的同一平面内，其中一个摄像头(4a)安装在输送线的上方，其它两个(7b、11c)安装在输送线的两侧，三个摄像头(4a、7b、11c)经线路分别与三台计算机(6a、9b、13c)内的高速数字图像采集卡(5a、8b、12c)相连；其中一台计算机(12c)通过数据线与控制�？�(14)相连，控制�？�(14)与相应的分级执行机构和分级驱动机构(15)相连。2.基于三个摄像系统在线水果品质检测分级装置的检测方法，其特征在于(1).水果输送翻转部分使水果以一定的速度向前自动成单列以3～5个/秒的速度高速输送并绕水平小轴自由转动；(2).计算机视觉识别部分通过安装在垂直于水果输送方向同一个平面内的三个逐行扫描彩色数字摄像系统，对每一个水果采集9幅图像；(3).融合这9幅图像的信息完成水果形状、大小、颜色、缺陷等全部外观品质的检测，综合得到每一水果的等级，进行处理，并从中提取品质特征信息，再采用智能识别软件结合由已有的标准和水果数据库生成的知识库完成水果形状、大小、颜色、缺陷等全部外观品质的检测，并通过控制�？榻旨吨噶罘⑺偷剿旨抖鞑糠�。3.根据权利要求2所述的检测方法，其特征在于(1).当一个水果在边翻转边高速前进的过程中，当达到计算机视觉识别部分第一拍摄位置时，通过触发传感器和同步器同时触发三个逐行扫描彩色数字摄像系统，三个逐行扫描彩色数字摄像系统获取该水果和前面两个水果的上表面和两个侧面的图像，并迅速对所得的图像进行分析处理，要在水果达到第二个拍摄位置时处理完；(2).该水果达到第二拍摄位置时，由于水果时边翻转边高速前进，水果已翻转了120度左右的角度，再次触发传感器和同步器同时触发三个逐行扫描彩色数字摄像系统，按上述工作步骤获取图像，完成图像分析处理，并在水果达到第三个拍摄位置时完成图像分析处理；(3).水果达到第三拍摄位置时，水果又翻转120度左右的角度，并再次按上述工作步骤获取图像，并完成图像分析处理。4.根据权利要求2所述的检测方法，其特征在于所述的序列图像处理中包括每一幅图像获取、去背景、滤波、三个水果图像分割、对每个水果的图像分别进行特征提取。5.根据权利要求2所述的检测方法，其特征在于所述的特征提取包括水果边沿信息的提取、颜色特征的提取，以及在此基础上对该幅水果图像的果梗果萼、缺陷、形状、大小的初步判断。6.根据权利要求2所述的检测方法，其特征在于所述的高速数据通讯模块包括通讯所用的硬件和软件，把三台计算机所处理的信息及时迅速的融合到一台计算机内，在毫秒级的时间内完成三台计算机间的通讯。全文摘要本发明涉及水果检测装置和方法，其由水果输送翻转部分、计算机视觉识别部分和水果分级动作部分组成。其特征在于计算机视觉识别部分，由三个逐行扫描彩色摄像系统、一个光照箱、两个光电传感器、一个同步器、高速数据通讯模块、控制�？楹拖嘤Φ娜砑槌�。水果高速输送并绕水平小轴自由转动，保证通过计算机视觉识别部分时能翻转240度左右；计算机视觉识别部分通过三个摄像系统，对每个水果采集9幅图像，融合这些图像的信息，提取品质特征信息，再采用识别软件结合知识库完成水果形状、大小、颜色、缺陷等全部外观品质的检测，并通过控制�？榭刂扑旨抖鞑糠�。其可以很方便的区分水果的果梗与果萼，提高了水果的形状和大小和缺陷检测的精度。文档编号G01N33/02GK1603013SQ20041006521公开日2005年4月6日申请日期2004年11月2日优先权日2004年11月2日发明者赵杰文,黄星奕,邹小波,蔡健荣申请人:江苏大学
专业数控铣床产品供应商
20年生产经验，实力工厂，精工品质，质量有保障
