基于虚拟现实技术的全景泊车系统及其扩展应用
时间：2020-09-30 20:16:47 来源：达达文档网 本文已影响 人 
文翊 丁宗阳 李泽彬 孙国正 何班本
摘要：本论文充分研究倒车摄像头图像处理上的特征原理，从基本的成像原理出发，利用图像转化方法、图像拼合算法及融合算法，实现了虚拟图像和现实图像的融合，最终完成了全景泊车系统的设计，本方案仅用单个（两个）摄像头。通过本方法极大降低了生产成本，使得全景泊车系统对后保盲区的探测能力大幅提升，并且新增非常实用的透明底盘功能。本文方案扩展至倒车雷达系统使得性能的提升，并且新增非常实用的侧方障碍物提醒功能。为今后更多传感器的在虚拟现实技术上的创新开拓了方向。
关键词：全景泊车系统;虚拟图像;图像融合;摄像头
中图分类号：U471.2 文献标识码：A 文章编号：1005-2550（2020）02-0002-08
文翊
毕业于武汉大学，电气工程与自动化专业，获得华中科技大学工商管理双学位;现就职于东风汽车集团有限公司技术中心，主要从事ADAS系统研发与推进，统筹电动车项目ADAS项目的推进等工作，曾参与L3级高等级智能驾驶项目。
1序言
虚拟和真实，我们在两个世界中徘徊和探索，汽车的世界中虚拟和真实同时出现，我们用虚拟技术去还原一个最真实的世界。汽车已在世界上创新发展前行了百余年，倒车影像已然成为成熟的技术，但是其视角的局限性，车辆近端及两侧的盲区无法消除，带来安全的风险;而采用四个摄像头的360°全景影像技术，较单摄像头的倒车影像相比增加额外的三个摄像头和一个昂贵的全景ECU外加附加的线束成本大幅增加600余元，在汽车竞争日趋白热化的今天这样的成本增加让各个主机厂望而却步。
而互联网时代的当下，各种网络算法层出不穷，而新兴的图像处理领域也取得了长足的发展，其中图像配准和图像融合技术是标志性技术。利用相邻图像的配准完成拼接全景影像也已经完成工业化生产，用于四摄像头的全景影像。若利用图像的记忆和基于图像可信度的连续拼合法，可以利用一定时间内汽车行驶过程中扫描过的图像，通过连续的拼合操作，最终完成全景俯视图的拼合。利用单个摄像头实现全景泊车系统，不仅极大的降低了成本，而且衍生出的新功能“透明底盘”亮点十足。
2基于虚拟现实技术的全景泊车系统的基本原理
2.1倒车摄像头的基本参数及标定原理
倒车摄像头通过感光元件，将识别到的光感信息转换为PAL或NTSC制式的信号，传递给车内中控系统处理，由触摸屏进行成像显示。其中摄像头有一定的视场角，能覆盖车后方绝大多数范围，但侧力‘及后保视角连线处必然会有一定盲区（图1）。
摄像头分辨率为摄像头性能的重要参数，经过等比例放大处理后的摄像的图像像素的长于宽，一般略微高于显示系统像素的长与宽，多余的部分可在车型标定中自由裁剪，这种冗余的设计多用于摄像头非居中布置（图2）的图像居中矫正，及制造公差的控制防止出现黑边。本文利用这种可自由裁剪的摄像头设计的基本标定原理，剪裁出小部分图像，作为记忆图像的基准，以便进行后期的图像拼合工作。
光轴是摄像头的重要参数，广角摄像头的原理来看，图像围绕光轴向四周发散，光轴落点可视为原始图像的光中心，此处图像最清晰畸变最小，在普通倒车影像设计中普遍将光轴落点置于15m左右的影像常用区。光轴落点（图3）为本文图像参考系的基准像素点，以此店为原地的坐标系可保证所有像素点畸变最小。
目标物的照高（图4），项目中多以2m处2m高的参照物为基准，本参数在基本摄像头标定中自由可调多用来调节占空比，已获得良好的画面配比，优化视觉显示，本文中通过调节本值，保证基于虚拟现实技术的全景泊车系统最后旱现效果为标准俯视图，客户有良好的感知。
2.2图像融合技术及原理
倒车摄像头的原始和图像记忆后的图像是两个不同制式的图像，成像效果必然，其光影造成的显示差异必然导致图像色差，前一时刻记忆的图像也和后一时刻的图像也有部分差异，所以第一步为图像的校准和拼合。
在车辆设计和标定的过程中，分别选取环境一致的像素区域作为配准区域，由于虚拟图像和真实图像必然不同，明暗及扭曲的变形是必然的，为了消除图像融合的痕迹，本文采用的加权平均值法为图像融合的传统方法，该方法实现了在95%以上的选定的重叠区域内真实图像和记忆虚拟图像的平滑过渡问题，不会出现带状锯齿，且速度快稳定性高。
在虚拟区内的前一时刻的虚拟图像，与后一时刻的虚拟图像的拼接也采用本拼合法。
2.3基于虚拟现实技术的全景泊车系统的方案设计
基于虚拟现实技术的全景泊车系统的硬件架构，主要由后视倒车摄像头，虚拟现实技术的全景泊车系统主程序（可内置于中控操作系统程序或域控制器内），触摸显示屏组成;前视摄像头为功能扩展模块，可实现双摄像头的图像拼合;透明底盘为其扩展功能，满足特殊场景下的泊车需求;虚拟现实技术的全景泊车系统架构图如图6：
虚拟现实技术的全景泊车系统的系统架构如图7所示。在车辆静止时，进行虚拟图像和真实图像的拼合工作;在车辆在合理速度区间运动下，系统以最小信号周期为基本单位，实时进行虚拟图像融合，并累计记忆，循环往复;当倒车雷达进入30cm的标定红区时，系统还设计有自动跳转俯视图的放大试图功能，突出车位与障碍物的位置关系;若支持前摄像头扩展模块则可从上下两个方向进行图像融合工作。
基于虚拟现实技术的全景泊车系统的HMI方案設计如图8：
3虚拟现实技术的全景泊车系统的算法
3.1摄像头图像的俯视效果的转化
后视视角为优化显示效果，视角和地面程一定夹角，以满足正常客户审美的需求，这样图像程由近及远的缩小效果，如需要将其展开为俯视图效果，首先要对图像进行处理，首先根据摄像头供应商提供的畸变参数组（图9）进行画面的拟合，其中K=[k1，k2……kn]，一系列K值代表不同区域的畸变参数，n为需要拟合的最高位置的区域。
这样处理后得到了真实图像俯视化处理后的效果（图10），可以看出本区域是很小的。
3.2图像拼合的基本算法
本文中快速融合算法采用加权平均值法，其基本原理公式可表示为：假设N、Y为真实图像和记忆虚拟图像的像素点，融合图像P-A可表示为：
其中式中d1、d2代表了其重叠区域宽度代表值，令该式中满足d1+d2=1，故d1、d2很好的代表了真实图像和记忆虚拟图像中单个像素点的权重值。在图像拼接融合的过程中，对于远端视觉不可见场景，d1渐变至0，d2渐变至1，通过加权平均值法完成了真实图像和记忆虚拟图像在选定配准区域内平滑过渡问题。
本方法在圖像完成基本的变形后，即刻完成图像的拼合工作，本步骤完成后虽然在直观图像上呈现平滑过渡，但在具有参照物的情况下会有错位现象，故后续将对拼合图像进行校正。
3.2真实的俯视图像与虚拟图像的矫正
在开始下一步计算和图像拼合前，需要对真实的俯视图像与虚拟图像区域进行标定和对中，否则会出现图像的错位缺陷。现在设有真实的俯视图像参考矩阵为N，R为虚拟图像参考矩阵，T为平移向量，xc和YG表示光轴落点的图像坐标，厂为摄像头焦距，dx、dy为单个像素的成像大小，那么可以有公式组：
提取除光轴落点外的其他参考坐标点，其坐标为（Xn，yn），其中n为重要参考点总数，本文工程应用中多采用真实的俯视图像边沿像素点为参考点。则相邻的两个像素点间的的距离为：
4虚拟现实技术的全景泊车系统的应用
4.1实际应用过程中的图像转换及融合
本文中关于虚拟现实技术的仝景泊车系统在真实场景下的转化及融合过程是这样呈现的，在车辆挂人R挡（扩展有前视摄像头系统挂入D挡前7s）车速在0-11km/h内满足要求的条件下，系统自动开肩运行。
系统运行过程中，原始真实图像会旱现在真实可视区供驾驶员查看;原始图像仅做变换处理的图像会显示在虚拟全景俯视图区域的真实图像区。变化后的效果如图所示，拿标准矩形物体来说，图像已由常规视角的梯形图像，变为俯视视角的矩形显示效果，如图13：
经过本文中方法的变换，已将正常的后视视角变化为俯视视角，且均符合正常人观察的审美。
后在对真实虚拟的图像进行拼合及矫正，最终效果如图14所示：
在图像拼合及矫正后，可见虽然仔细观察可以看到虚拟图像和真实图像的分界线，但其完全对正无错位，呈像效果较一致，满足设计要求。
4.2满足客户需求的系统工作流程
本虚拟现实技术的全景泊车系统在车速等于0时，即开始虚拟图像和真实图像的拼合工作;在车速0-11km/h内，系统以信号周期50ms为基本时间单位，进行t时刻和下一周期t+1时刻的虚拟图像融合，并累计记忆，直至下一周期t+2时刻再与t+1时刻的虚拟图像融合;但倒车雷达进入30cm的标定红区时，系统自动跳转俯视图的放大试图，突出车位与障碍物的位置关系;下图测试中本文分别采用单摄像头方案，及支持前摄像头扩展模块则可从上下两个方向进行图像融合工作的双摄像头方案进行了测试。
最终产生的标准融合俯视图及放大融合俯视图如下图15、图16：
按本流程开发的系统，已可以正常呈现全景影像的效果，从标准视图及放大图看和传统全景影像两者差异不大。
4.3系统的测试和验证
使用虚拟现实技术的全景泊车系统，进行各个角度的泊车测试，经过测试，无论驾驶员如何操作，均能完成虚拟俯视图像的重构，如图17：
重构图像精度与传统360系统差别不大。
使用虚拟现实技术的全景泊车系统，进行精确标定后，对其距离准确性进行测试，误差在2cm内，和普通倒车影像相当;且本为虚拟图像的误差，可以看到后保下方盲区，保证驾驶安全，如图18：
经过某高端SUV车型的阶段功能验证将车辆HMI界面与底线重合，可知：
使用本方案可将车辆后保下盲区由30cm左右缩减至5cm内，若使得本车图像透明化，新的透明底盘功能甚至可以完全消除盲区。
使用虚拟现实技术的全景泊车系统，对侧面障碍物进行检测，检测方法如图19所示：
最后测试结果显示，如图20，系统能有效的提醒车辆侧面1.5m内的障碍物，提高了驾驶安全的保证。
经过某高端SuV车型的阶段功能验证探测区域的验证情况可知：
通过对本系统测试表明，虚拟现实技术的全景泊车系统不仅能在仅使用单个或两个摄像头的情况下完成通常需要4个摄像头才能完成的全景泊车，极大的降低了成本，效果令人满意。而且还能实现常规全景系统无法完成的，保险杠下盲区探测及放大视图切换能力，一举多得。
5虚拟现实技术的扩展和引申
5.1双摄像头虚拟现实技术的全景泊车系统
虚拟现实技术的全景泊车系统可以扩展至双摄像，实现前方视图的显示，及更大范围的图像拼合如图21：
5.2虚拟底盘技术的应用
在使用虚拟现实技术的全景泊车系统，界面插入一个控制开关，使得车辆贴图半透明化实现透明底盘功能。
透明底盘可以方便驾驶员识别车辆下方的井盖等障碍物方便客户泊车，结果如图22：
利用本虚拟现实技术的全景泊车系统可在0成本增加的情况下，实现透明底盘功能，辅助驾驶员泊车安全，使得车辆更有竞争力。
5.3虚拟倒车雷达及侧方障碍物提醒
倒车雷达目前较为成熟，但基本探测区呈扇形，其侧后方会呈现一定的盲区。若使用虚拟现实技术，在按本文中同样的计算方法，计算出障碍物距离，使用本文3.3中技术方案，计算虚拟障碍物的距离，及时障碍物脱离雷达探测区也能给驾驶员警示。
障碍物目标如下图23，进入脱离探测区后进入虚拟目标区，可以扩展约1m的探测范围。
虚拟探测区还能进一步扩展，直至将车辆四周完全无死角覆盖，形成新的侧方障碍物提醒功能，如图24：
侧方障碍物提醒功能能有效提醒侧方障碍物，防止车辆运动或车门开启时对车门的损伤。
6结论
不忘初心，奋勇前行，本论文从基本的倒车摄像头原理出发，阐释了图像成像的原理和方法;并利用图像的拼合原理及车辆轨迹计算的方式，研究并实现了单摄像头实现全景泊车的虚拟现实技术，将车辆后保下盲区由30cm左右缩减至5cm内;并将其算法，扩展至AAS倒车雷达及透明底盘功能;其中利用虚拟技术的AAS系统可将探测区域扩展至车辆四周。虚拟技术及车辆的轨迹算法领域扩展了新的思路，为今后车企成本控制，功能性能提升，自主开发的算法积累打下了基础。
