亚星游戏官网-www.yaxin868.com

基于单目视觉和惯性导航单元的实时车道线检测系统的制作方法
【专利摘要】本发明公开了一种基于单目视觉和惯性导航单元的实时车道线检测系统，该系统主要包括离线标定和在线投影变化模块、惯性导航单元模块、单帧车道线检测模块和基于惯性导航单元的多帧车道线关联校验模块，实现对城区环境的路面多车道地实时精确的检测，该车道线检测系统，可适应于光照变化、障碍物遮挡、大曲率、虚实线、多车道等不同路况和道路类型，实现多种环境下的车道线稳定且长距离的检测感知。本系统采用的低成本低功耗的导航设备、图像采集设备及计算平台，可广泛应用于无人驾驶汽车视觉导航、智能车视觉辅助驾驶等领域。
【专利说明】基于单目视觉和惯性导航单元的实时车道线检测系统
【技术领域】
[0001]本发明属计算机视觉与智能交通领域，涉及一种城区环境下车道线检测系统，尤其是一种基于单目视觉和惯性导航单元开发的实时城区多车道车道线检测系统。
【背景技术】
[0002]智能车辆(Intelligent Vehicle, IV)是一个集环境感知、动态决策与规划、智能控制与执行等多功能于一体的综合系统，是衡量一个国家整体科研实力和工业水平的重要标志。作为智能车三大关键技术之一的环境感知技术，现阶段以主动传感激光、雷达及结构光为主的传感系统，已经取得了部分成功的应用，但该类传感器存在功耗大、体积大、造价昂贵等问题，制约了其在智能车技术研发和应用上的推广。而被动可见光传感，即相机，则在功耗、体积、造价方面具有显著优势。近年来，大量研究团队和机构在利用可见光传感完成交通场景感知方面做出了很多卓有成效的研究，基于视觉的车道和障碍物感知成为该领域的研究热点。
[0003]常见的基于相机的车道线检测系统，因为仅利用图像信息，无法解决在光照突变、障碍物近距离遮挡、车道换道等过程中，相机无法采集到包含足够车道信息的图像时而出现的漏检、误检等问题，难以具备长时间长距离稳定运行性能，限制该类系统仅在特定环境下具备应用可能性。因此，如何设计实现一套能尽可能充分利用图像信息、适应系统的各类外部环境变化和车体姿态变化，能长时间长距离稳定运行，同时又具有低成本、低功耗、高移植性的车道线检测系统以满足无人驾驶、汽车辅助驾驶等领域应用需求已成为实时车道检测的研究热点之一。

【发明内容】

[0004]本发明的目的在于提供一种基于单目视觉和惯性导航单元的实时车道线检测系统。
[0005]为了实现上述目的，本发明采取了如下的技术方案:
[0006]基于单目视觉和惯性导航单元的实时城区多车道车道线检测系统，其特征在于:该实时车道线检测系统包括离线标定及在线投影变化模块Ml、惯性导航单元模块M2、单帧车道线检测模块M3、多帧车道线关联校验模块M4 ;离线标定及在线投影变化模块Ml用于采集图像信号，并完成相对于车前平面的单应性投影变化，获取车前图像俯视图；惯性导航单元模块M2用于测量车体相对于初始位置的姿态变化；单帧车道线检测模块M3用于进行单帧图像的车道线检测；多帧车道线关联校验模块M4用于关联当前帧和历史帧车道线数据，对当前检测结果进行校验，并提供预测，给出准确的当前时刻多车道检测可视化结果和参数描述方程。
[0007]所述离线标定及在线投影变化模块Ml包括进行相机内参和外参的离线标定模块Mll和平面投影变换模块M12 ;离线标定模块Mll利用特征标记点求取相机摄像头内部属性参数和相机相对于车体坐标的外部位置参数；平面投影变换模块M12在线采集RGB图像，并利用计算得到的相机内部参数和外部参数，将图像转变为俯视平面图(IPM，InversePerspective Mapping),并进行色度空间转换后获取灰度图。
[0008]所述的惯性导航单元模块M2根据速度传感器和光纤陀螺测量车体在当前时刻的速度脉冲和转向角，利用融合滤波输出的速度、航向和航迹位置推算算法，估计基于该惯性导航单元(INU, Inertial Navigation Unit)定义的局部坐标下的车体位姿,提供了高精度的平滑的连续局部车体位姿估计。
[0009]所述的单帧车道线检测模块M3基于车道线部分图像像素高于路面区域的基本假设提取出可能的车道线信息；利用多条车道线之间的平行性，以及多帧图像间的关联，以及历史帧检测结果提供的兴趣区域，剔除非车道线信息，完成单帧图像中的车道线检测。
[0010]所述的多帧车道线关联校验模块M4利用连续的前一时刻和当前时刻两个感知时刻的车体位姿测量信息，和对应的车道线检测结果，判断两帧结果在空间位置关系上是否符合两帧车体位姿测量信息描述的变化关系，即将历史帧检测结果按照两帧的车体位姿变化关系变化到当前时刻，得到其在当前车体位姿下的参数形式，再与当前帧车道线检测结果进行匹配，若符合，则判定当前帧检测结果可接受，否则，抛弃当前帧结果，以转换后的历史帧结果作为当前时刻的检测结果，并用该最终结果生成下一时刻的预测兴趣区域；同时，利用多帧检测结果和三车道语义模型，完善检测结果的语义信息，提供车道线的虚实线、车体相对位置等信息。
[0011]通过以上四大模块，本发明基于单目视觉和惯性导航单元的实时车道线检测系统实现对城区环境下的路面车道线的检测，利用车体位姿信息关联校验连续多帧车道线检测结果，完善车道的语义信息描述，并提供下一时刻的兴趣区域，实现连续稳定的多车道检测。
[0012]该系统主要包括离线标定及在线投影变化模块、惯性导航单元模块、单帧车道线检测模块和基于惯性导航单元的多帧车道线关联校验模块，实现对城区环境的路面多车道进行实时精确的检测。该车道线检测系统，可适应于光照变化、障碍物遮挡、大曲率、虚实线、多车道等不同路况和道路类型，实现多种环境下的车道线稳定且长距离的检测感知。该系统包括如下部分:可见光传感器为Basler Scout sca640_74gc以太网接口数字相机,配备ComputarSmm定焦手动光圈百万像素镜头；惯性导航单元包括光纤陀螺和速度传感器；系统计算负载在车载的刀片服务器cPC1-6910上进行；所有模块间通过千兆以太网，以UDP数据包方式进行通信。系统能够以每秒IOHZ的频率稳定提供车载相机前50m (>=50m)范围内的三车道(左侧车道、当前车道、右侧车道)的车道线检测结果，并给出车道线的虚实线属性，满足系统的多车道检测和实时检测性能要求。系统成本低廉、功耗低，且具有较高的整体移植性，适合批量推广应用。
[0013]该车道线检测系统工作原理:离线标定及在线投影变化模块，利用三线标定法和加州大学标定工具箱完成相机的外参和内参标定，通过Basler Scout sca640_74gc数字相机实时采集当前道路图像，并依据内外参数进行逆投影变化(Inverse PerspectiveMapping, IPM)，获取路面的俯视图像；惯性导航单元模块，实时获取光纤陀螺的角度测量，以及速度传感器的转向脉冲测量，以滤波融合算法和航迹位置推算算法估计出车辆当前的姿态和位置(相对于系统初始时刻)；单帧车道线检测模块，基于车道线的局部高亮特性和平行性约束，并进行图像空间的帧间关联，获取当前帧的车道线检测结果；多帧车道线关联校验模块，接收单帧车道线检测模块结果和惯性导航单元模块的连续多帧车体位姿测量结果，利用历史帧及当前帧车道线检测结果和两帧对应的车体位姿测量，将历史帧结果与当前帧结果进行校验，获取得到校验过的最终车道线检测结果，并将校验后的结果用于生成下一时刻的预测区域。
[0014]本发明的特点是采用Basler工业相机和光纤陀螺及速度传感器构成的低成本高精度的车道线检测系统，实现对城区环境的多车道检测。
[0015]与已有技术相比，本发明的技术效果体现在:
[0016]1.与传统的车道线检测系统相比，本发明充分利用了图像数据和车体位姿数据信息，利用车体位姿数据与图像数据的时间对准，完成多帧车道线之间的空间对准，有效解决了在高速转向、光照突变等极端环境下车道线丢失或短时无车道线观测时的稳定检测，极大地提高了系统的适应性。
[0017]2.本发明开发了一套低成本高精度的车体局部位姿测量系统，利用融合滤波和航迹推算原理，剔除观测测量中的噪声数据，减小推算累积误差，提供连续平滑的局部车体定位。
[0018]3.本发明由Basler工业相机、速度传感器和光纤陀螺构成，具有低成本的特点。【专利附图】

【附图说明】
[0019]图1为本发明的系统硬件关系图。
[0020]图2为本发明的软件系统框架图。
[0021]图3为本发明定义的三车道模型图。
[0022]图4为本发明的基于惯性导航单元的局部位姿测量系统框架图。
[0023]图5为本发明定义的车体模型和航迹推算原理图。
[0024]图6为本发明的基于惯性导航单元的局部位姿测量系统的测量精度与差分GPS精度的对比。
[0025]图7为本发明定义的局部坐标系与车体坐标系关系。
[0026]图8为本发明采用的线性插值位姿对准算法框图。
[0027]图9为本发明的单帧车道线检测模块和多帧车道线关联校验模块系统框架图。
[0028]图10为本发明的车道线检测结果显示图和对应兴趣区域。
[0029]图11为本发明的单帧车道线检测和多帧车道线关联校验检测中间结果图。
[0030]图12为本发明的单帧车道线检测部分的车道线平行性筛选规则说明图。
[0031]图13为本发明的兴趣区域拓展规则说明图。
【具体实施方式】
[0032]以下结合附图对本发明作详细说明。
[0033]参见图1，基于单目视觉和惯性导航单元的实时城区多车道的传感配置及安装在西安交通大学夸父一号智能车的整体硬件连接关系图如图所示。系统由如下几类子系统构成:1.电源系统:由Yamaha发电机提供220V交流电源，从UPS中转输出，除传感器本身需要使用额外电源模块完成变压外，其他设备均具有配套独立的变压设备；2.传感系统:单目相机配置为:德产Basler数字相机，型号:SCA640-74gC，;镜头为日产Computar百万像素固定焦距镜头，型号:M0814-MP ;惯性导航单元配置为车载速度传感器和光纤陀螺DSP3000 ；
3.通信系统:当前系统的通信数据包括1.输入:图像数据，同步时间戳数据(规划刀片发送)、同步车体位姿数据(位姿刀片发送);2.输出:图像处理结果。除图像数据外，所有其他的数据均是无连接的UDP数据包。为避免大量图像数据的传输阻塞整体的通信链路、加重通信负荷，图像数据的传输采用单独的通信链路，以DLink交换机进行图像数据的交换，依据不同的网段决定Basler相机与对应刀片服务器的连接，速度传感器和光纤陀螺的数据以UDP包形式，通过串口发送至位姿模块刀片服务器，其余UDP包均通过华为24 口交换机S1024R-CN通信；4.计算平台，所有计算工作均在型号为cPC1-6910的CORE XEON DUAL级处理器刀片服务器运行。
[0034]系统整体安装在丰田汉兰达(Toyota，Highlander)SUV原型车上。其中，该单目相机sca640-74gc安装在车顶,位于车驾驶室上方,并安装有UV滤光片和防雨罩；速度传感器为汉兰达出厂自带原车传感器，光纤陀螺DSP3000安装在车后座中间；刀片cPC1-6910安装在车主驾驶后方的整体机柜上。
[0035]参见图2，系统的软件系统框架整体包括所述的4个主要功能模块。离线标定及在线投影变化模块Ml包括进行相机内参和外参的离线标定部分M11，和平面投影变换部分M12;离线标定部分利用特征标记点求取相机摄像头内部属性参数，和三线标定法求取摄像机相对于车体坐标的外部位置参数；在线投影变换部分在线采集RGB图像，并利用计算得到的内部参数和外部参数，将图像转变为俯视平面图(IPM, Inverse PerspectiveMapping)，并进行色度空间转换后获取灰度图。惯性导航单元模块M2根据速度传感器和光纤陀螺测量的车体在当前时刻的速度脉冲和转向角，利用融合滤波估计基于该惯性导航单元(INU, Inertial Navigation Unit)定义的局部坐标下的车体位姿，并配合ICP(iterative closet point)算法融合车体局部位姿和GPS坐标下的全局位姿,提供了高精度的平滑的连续车体位姿估计。单帧车道线检测模块M3基于车道线部分图像像素高于路面区域的基本假设提取出可能的车道线信息；利用多条车道线之间的平行性，以及多帧图像间的关联，以及历史帧检测结果提供的兴趣区域，剔除非车道线信息，完成单帧图像中的车道线检测。多帧车道线关联校验模块M4利用连续的前一时刻和当前时刻两个感知时刻的车体位姿测量信息，和对应的车道线检测结果，判断两帧结果在空间位置关系上是否符合两帧车体位姿测量信息描述的变化关系，即将历史帧检测结果按照两帧的车体位姿变化关系变化到当前时刻，得到其在当前车体位姿下的参数形式，再与当前帧车道线检测结果进行匹配，若符合，则判定当前帧检测结果可接受，否则，抛弃当前帧结果，以转换后的历史帧结果作为当前时刻的检测结果，并用该最终结果生成下一时刻的预测兴趣区域；同时，利用多帧检测结果和三车道车道语义模型，完善检测结果的语义信息，提供车道线的虚实线、车体相对位置等信息。
[0036]参见图3，为简化车道线检测，本发明需满足如下基本假设:1)平坦路面假设:该假设保证了 IPM的可行性，同时将INU原本的6D测量(X，y，Z, θ，α，β )简化为3D测量(x, Y, Θ)，其中(x，y，z)代表了 GPS定义的全局坐标的车体位置测量，Θ代表相机的方向角，α代表俯仰角，β代表滚动角；2)任一两条车道线保持基本平行，且其车道宽度变化缓慢；3) INU模块具备满足车道线检测的精度；4)车道模型符合假定的3车道模型，LI代表车体当前所在车道的左侧车道线，Rl代表当前所在车道的右侧车道线，L2和R2以此类推，同时每根车道线具有虚实线属性。
[0037]参见图4，位姿测量系统框图如图。该惯性导航单元的局部位姿测量系统基于航迹推算算法设计，利用实时的速度和航向推算出载体的局部位姿信息。里程计的原始速度输出和陀螺的原始航向输出在位置推算前先进行预处理，消除速度和航向的测量误差，从而提高航迹推算的精度。
[0038]参见图5,航迹推算(Dead Reckoning)原理如图所示。航迹推算利用车载传感器提供的速度和姿态信息，根据载体前一时刻的位置来推算当前时刻的位置。航迹推算定位完全依靠载体内部传感器输出的信息进行位置推算，是一种完全独立的局部定位系统。假设车体在二维平面内运动，速度传感器读取的是车体前轮转速信息，选取车体坐标系原点位于车体后轴中心，车转弯时后轮速度是前轮速度沿车体方向的分量。由传感器信息可以读取车前轮转角S。考虑车前轮转角后，速度输出在车体坐标系下分解为:
[0039]1；/) =[i;/)sinc> vn cosd'j^
[0040]车体实时位置信息根据前后两帧的速度传感器和陀螺航向角求均值后实时累加积分获得。[k_l，k]时间内相对位移表示为:ADk=ATtkU (VlrfCos a J^vkCOS a k)/2,航向角相对变化量为:Λ Θ k= Θ k- Θ k_1D其中由获得前后两帧数据的时间差得到，航向角Θ由陀螺实时给出，vk，VkH由速度传感器给出，前轮偏角Qk-P ak由偏角传感器给出。航迹推算公式为:
【权利要求】
1.一种基于单目视觉和惯性导航单元的实时车道线检测系统，其特征在于:该实时车道线检测系统包括离线标定及在线投影变化模块Ml、惯性导航单元模块M2、单帧车道线检测模块M3以及多帧车道线关联校验模块M4 ； 离线标定及在线投影变化模块Ml用于采集图像信号，并完成相对于车前平面的单应性投影变化，获取车前图像俯视图； 惯性导航单元模块M2用于测量车体相对于初始位置的姿态变化； 单帧车道线检测模块M3用于进行单帧图像的车道线检测； 多帧车道线关联校验模块M4用于关联当前帧和历史帧车道线数据，对当前检测结果进行校验，给出准确的当前时刻多车道检测可视化结果和参数描述方程，并提供预测。
2.根据权利要求1所述一种基于单目视觉和惯性导航单元的实时车道线检测系统，其特征在于:所述离线标定及在线投影变化模块Ml包括进行相机内参和外参的离线标定模块Mll和平面投影变换模块M12 ;离线标定模块Mll利用特征标记点求取相机摄像头内部属性参数和相机相对于车体坐标的外部位置参数；平面投影变换模块M12在线采集RGB图像，并利用计算得到的相机内部参数和外部参数，将图像转变为俯视平面图，并进行色度空间转换后获取灰度图。
3.根据权利要求1所述一种基于单目视觉和惯性导航单元的实时车道线检测系统，其特征在于:所述惯性导航单元模块M2根据速度传感器和光纤陀螺测量的车体在当前时刻的速度脉冲和转向角，利用融合滤波输出的速度、航向和航迹位置推算算法，估计惯性导航单元定义的局部坐标下的平滑的连续局部车体位姿。
4.根据权利要求1所述一种基于单目视觉和惯性导航单元的实时车道线检测系统，其特征在于:所述单帧车道线检测模块M3基于车道线部分图像像素高于路面区域的基本假设提取出可能的车道线信息；利用多条车道线之间的平行性，以及多帧图像间的关联，以及历史帧检测结果提供的兴趣区域，剔除非车道线信息，完成单帧图像中的车道线检测。
5.根据权利要求1所述一种基于单目视觉和惯性导航单元的实时车道线检测系统，其特征在于:所述多帧车道线关联校验模块M4利用连续的前一时刻和当前时刻两个感知时刻的车体位姿测量信息，和对应的车道线检测结果，判断两帧结果在空间位置关系上是否符合两帧车体位姿测量信息描述的变化关系，即将历史帧检测结果按照两帧的车体位姿变化关系变化到当前时刻，得到其在当前车体位姿下的参数形式，再与当前帧车道线检测结果进行匹配，若符合，则判定当前帧检测结果可接受，否则，抛弃当前帧结果，以转换后的历史帧结果作为当前时刻的检测结果，并用该最终结果生成下一时刻的预测兴趣区域；同时，利用多帧检测结果和三车道语义模型，完善检测结果的语义信息，提供车道线的虚实线、车体相对位置信息。
【文档编号】G01C21/28GK103940434SQ201410129551
【公开日】2014年7月23日 申请日期:2014年4月1日 优先权日:2014年4月1日
【发明者】薛建儒, 崔迪潇, 沈雅清, 宋晔, 张耿, 杜少毅 申请人:西安交通大学