自动驾驶多传感器融合概况

~         自动驾驶是高新科技产业发展和智能出行领域的优势行业，其中的各项技术发展迅速，取得了众多关键成就。其中感知和定位模块在自动驾驶系统中起着至关重要的作用，自动驾驶汽车必须首先明确自己在真实世界中的位置，明确车身周围的众多障碍物，包括动态障碍物和静态障碍物。其中动态障碍物包括行人、动物、车辆、其他非机动车等；静态障碍物包括路障、路标、护栏等，可在高精地图中予以标注，而且必须依赖地图更新的频率。而感知部分则充分利用各项传感器感知周围环境，并且实时将数据回传到工业电脑，通过感知模块的相应模型和算法获取障碍物的形态、速度、距离、类别等信息，以便规划和预测模块预测障碍物的轨迹，做出相应的驾驶决策。无人驾驶汽车通过车载传感系统获取道路环境信息后自动规划行驶路线并控制车辆的速度及转向，进而实现车辆在道路上安全可靠地行驶。无人驾驶汽车的关键技术主要包括对道路环境的感知、对行驶路径的规划、对车辆运动行为的智能决策及对车辆实现自适应运动控制。目前环境感知技术发展的不成熟仍旧是阻碍无人驾驶汽车总体性能提高的主要原因，也是无人驾驶汽车进行大规模产品化的最大障碍。

目前应用于自动驾驶感知模块的传感器主要有摄像头、毫米波雷达、超声波雷达、激光雷达等。摄像头有着分辨率高、速度快、传递的信息丰富、成本低等优势，依赖深度学习对复杂数据的强大学习能力能极大提高环境感知的分类能力；毫米波雷达有着反应速度快、操作简单、无视遮挡等优势，并且能在各种条件下的提供目标有效的位置和速度；激光雷达有着精确的 3D 感知能力、对光线变化不敏感、信息丰富等优势，图像数据无法提供准确的空间信息、毫米波雷达拥有极低的分辨率、激光雷达有着十分昂贵的价格。同时，随着各传感器性能的提升，单一传感器带来了更多的信息，在不丢失有效信息的情况下，提取特征的难度十分巨大。因此，如何高效的处理多传感器数据并对其进行高效的融合是一项极具挑战的任务。

       近年来，深度学习在摄像头数据上取得了惊人的成就，2D 目标检测速度和精度都得到了极大的提升，证明了深度学习是种有效的特征提取方法。卷积神经网络模型的发展，极大地提高了提取自动驾驶摄像头数据特征的速度和能力。有效利用这些高鲁棒性、高质量、高检测精度的图像特征，基于视觉的无人驾驶汽车也能在 3D 感知任务中获得不错检测结果。深度学习在处理激光雷达数据上也有着不错的效果，随着基于稀疏点云数据的网络的提出，深度学习在点云特性的学习能力上也渐渐超过了一些传统方法。然而，采用深度学习进行多传感器融合的时候，仍然存在着融合低效、数据不匹配以及容易过拟合等问题；将多传感器融合技术应用到自动驾驶障碍物检测的过程中也存在着检测精度不够、漏检错检和实时处理能力不足的情况。由于自动驾驶汽车等级的提高，传统的多传感器目标融合已经无法满足决策对感知的需求，大量感知的冗余信息也对决策带来了极大的困难。并且由于多传感器的原始数据间在信息维度、信息范信息量上有着巨大的差异，有效的融合多传感器信息变得十分困难。

       多传感器的数据融合包括多传感器的空间融合以及时间上的同步。传感器安装于汽车车身的不同位置，每个传感器定义了自己的坐标系，为了获得被测对象的一致性描述，需将不同的坐标系转换到统一的坐标系上。点云数据和图像数据的空间融合模型涉及的坐标系包括世界坐标系、激光雷达坐标系、相机坐标系、图像坐标系和像素坐标系。空间融合的主要工作是求取雷达坐标系、摄像头坐标系、图像物理坐标系、图像像素坐标系之间的转换矩阵。然而由于不同传感器的工作频率不同，数据采集无法同步，因此还需要根据工作频率的关系进行多传感器时间上的融合,通常做法是将各传感器数据统一到扫描周期较长的一个传感器数据上。

       自动驾驶感知模块信息融合又称数据融合，也可以称为传感器信息融合或多传感器融合，是一个从单个或多个信息源获取的数据和信息进行关联、相关和综合，以获得精确位置和身份估计，同时也是信息处理过程不断自我修正的一个过程，以获得结果的改善。利用多个传感器获取的关于对象和环境更丰富的信息，主要体现在融合算法上。因此，多传感器系统的核心问题是选择合适的融合算法。   

       多传感器信息融合可以简单的划分为：检测级、位置级(目标跟踪级)、属性级(目标识别级)。对于结构模型,在信息融合的不同层次上有不同的结构模型。检测级的结构模型有:并行结构、分散结构、串行结构、和树状结构。位置级的结构模型有:集中式、分布式、混合式和多级式,主要是通过多个传感器共同协作来进行状态估计。属性级的结构模型有三类：对应决策层、特征层和数据层属性融合。

       检测级融合是直接在多传感器分布检测系统中检测判决或信号层上进行的融合，对多个不同传感器的检测结果进行综合，以形成对同一目标更准确的判决，获得任意单个传感器所无法达到的检测效果，是信息融合理论中的一个重要研究内容。位置级融合是直接在传感器的观测报告或测量点迹或传感器的状态估计上进行的融合,包括时间和空间上的融合,是跟踪级的融合,属于中间层次,也是最重要的融合。多传感器检测融合系统主要可以分为集中式和分布式两种方式。集中式融合是先将各个传感器原始数据直接传输到融合中心，然后融合中心对这些所有的数据进行处理，最后生成判决。分布式融合是将各个传感数据进行预处理后，得到独立的检测结果，然后所有传感器的检测结果再传到融合中心进行假设检验，生成最终的判决。属性级融合根据多传感器融合属性层级的不同主要分为三类，分别是数据层、特征层和目标(决策)层上的融合，方法主要有基于估计、分类、推理和人工智能的方法等。

       数据层融合是对传感器采集到的原始数据进行融合处理，融合前不会对原始数据进行预处理，而先在数据上进行融合，处理融合后的数据。然后进行特征提取和判断决策，是最低层次的融合。每个传感器只是将其原始数据传输到融合模块，然后融合模块处理来自所有传感器的原始数据。然后将融合的原始数据作为输入提供相应的算法。传统方法中，Pietzsch 等利用低级测量矢量融合用于组合来自不同传感器的数据，用于预碰撞应用。随着深度学习的发展，在数据配准的情况下，也可以利用深度学习对配准后的数据进行学习。此类融合方法要求所融合的各传感器信息具有非常高的配准精度。这种融合处理方法的优点是提供其它两种融合层次所不能提供的细节信息，可以通过融合来自不同来源的原始数据在很早的阶段对数据进行分类但是所要处理的传感器数据量大，处理时间长，需要很高的数据带宽，实时性差，抗干扰能力差，并且在实践中可能很复杂，且数据融合由于原始数据采用不同格式和不同传感器类型，要求传感器是同类的。因此在架构中添加新传感器需要对融合模块进行重大更改。

       因此一些研究者开始引入了特征层融合的思想。与直接使用来自不同传感器的原始数据进行融合不同，特征级融合首先分别对各自数据进行特征提取，然后对提取的特征进行融合处理。特征级融合需要对传感器采集到的数据作提取特征处理，抽象出特征向量，然后对特征信息进行处理，最后到融合后的特征，用于决策，属于中间层次的融合。其优点在于有助于提高实时性，降低对通信宽带的要求。特征级融合提供了更多的目标特征信息，增大了特征空间维数。融合性能有所降低的原因是由于损失了一部分有用信息。特征级融合的实现技术主要有：模板匹配法、聚类算法、神经网络和支持向量机（Support Vector Machine, SVM）等。大多数基于深度学习的方法也是利用神经网络提取特征，对不同传感器提出的特征之间做级联或者加权，如 RoarNet、AVOD、MV3D、F-PointNet等。特征级融合的主要优点是它能够减少传感器数据到融合模块的带宽，并且可以通过提升特征的互补性来提升效果。特征级融合保留了低级融合的相同分类和预处理能力，允许相关数据类似地有效地集成到跟踪算法中。

       目标(决策)层融合架构与低级融合相反。每个传感器分别进行目标检测算法，并产生跟踪目标列表。然后，融合模型将这些目标与一个目标跟踪序列融合相关联。对每个传感器进行预处理、特征提取、识别或判决，最后得到的初步决策进行融合判断，因此是最高层次的融合。决策级融合可以在同质或异质传感器中进行融合。决策级融合的优点与不足恰好和数据级相反，目标级融合的主要优势在于其模块化和传感器特定细节的封装。并且通信量小，有一定的抗干扰能力，处理代价低，选用适当融合算法，可以将影响降到最低；主要缺点：预处理代价高，数据信息处理效果比较依赖于预处理阶段的性能。常用的方法有：专家系统方法、模糊集合论、贝叶斯推理、D-S 证据理论等。现阶段大多数目标层融合的目标检测方法十分低效，不适用于自动驾驶汽车对检测时间的要求。同时，特征层和数据层的融合也需要更多的考虑各自数据形式。

       目前大多数多传感器融合研究集中于图像数据与多线激光雷达，然而，只基于摄像头的自动驾驶感知系统，缺乏空间信息的维度，无法精确的恢复空间信息的位置。摄像头易受到光线、探测距离等因素的影响，当检测远距离目标的时候，只能给出分辨率极低的信息，甚至人的肉眼无法分辨，导致无法标注或错误标注的问题，无法稳定地应对复杂多变的交通环境下车辆检测任务，无法满足无人驾驶汽车稳定性的要求。因此，自动驾驶目标检测需要更多的传感器。而激光雷达具有探测距离远、不受光线影响并且能够准确获得目标距离信息等优点，能够弥补摄像头的缺点。当目标被识别时，可判断此时检测框内有无点云，来决定是否修正相应的识别置信度。雷达点云数据与图像数据的融合不仅能获得准确的目标的深度信息，还能降低图像检测时的漏检的概率，达到了融合数据以提高检测效果的目的，通过这种多视图的编码方案能够获得对稀疏3D点云更有效和紧凑的表达。

       由于视觉图像获取较易、处理方法多样，所以视觉技术是现阶段自主车辆研究中的主要获取信息手段。其中视觉技术主要分为单目视觉和双目视觉。单目视觉识别技术多采用基于车辆特征的方法，该方法主要利用车辆与背景有差异的特征，如纹理、边缘和底部阴影等。但这种方法获取的信息量不足，缺乏深度信息，而且易受外部环境的干扰，诸如光照和阴影等因素。双目视觉识别技术虽然可以取得较好的效果，但其计算量较大，算法复杂，难以保证车辆识别的实时性。激光雷达能够获得场景的距离信息，不易受光照等外部条件的影响，但其获取的外部信息不充分，易造成误判。因为图像具有较好的横向纹理特征，点云能够提供可靠的纵向空间特征，故而采用多传感器融合技术可以克服单一传感器获取信息量不足，探测范围小的缺点。随着自动驾驶和深度学习技术的发展，多传感器融合相关技术得到了极大的推动。多传感器融合技术基本可概括为：对于不同时间和空间维度的多传感器信息，依据融合准则，对这些信息进行分析，获得对被测量的目标一致性描述与解释，进而实现后续的决策和估计，使融合结果比单独获取的结果更加丰富与准确。在自动驾驶领域，卡尔曼滤波算法、D-S 证据理论等传统多传感器融合算法仍然发挥着十分重要的作用。但随着深度学习快速发展，端到端的数据融合也成为自动驾驶不可或缺的方法。

       现有的融合方案有些仅用于辅助确认目标的存在性，例如在激光雷达返回有目标的大致区域进行相应的视觉检测；有些使用了统一框架进行融合，如在基于卡尔曼滤波框架下，对于不同传感器赋予了不同的协方差，并在任意一个传感器获得目标数据后进行序贯更新。这些方案均可以实现多传感器数据融合，但由于只是将不同传感器等同看待而进行融合，方法虽然直接但低效，因而效果有较大提升空间。在基于纯视觉的 3D 目标估计中，估计的距离属性极其不稳定，而通过多传感器的融合，对视觉信息进行修正，极大的提高自动驾驶的目标检测精度。 在目标层的融合摄像头和激光雷达信息不能满足自动驾驶的要求。

参考：

        廖岳鹏（基于多传感器的自动驾驶目标检测）                       https://wenku.baidu.com/view/93e561a2fbd6195f312b3169a45177232f60e480.html                                             CVPR_2017 : Multi-view  3d  object  detection  network  for  autonomous driving；

---

虹口区19869576820： 汽车智能驾驶环境感知多传感器融合意义? - ？
皇枫硝酸： 汽车自动化的程度越高,集成在车辆中的传感器的数量和类型也越多,只有这样才能够保证信息获取充分且、有冗余保障车辆自动行驶的安全. 为了保证安全,必须对传感器进行信息融合. 多传感器融合可以显著提高系统的冗余度和容错性,从而保证决策的速度和正确性,这是自动驾驶系统向先进的自动驾驶方向发展,最终实现无人驾驶的必然趋势.

虹口区19869576820： 为什么需要多传感器融合 自动驾驶 - ？
皇枫硝酸： 利用电磁发射回传原理.雷达,是英文radar的音译,源于radio detection and ranging的缩写,意思为＂无线电探测和测距＂,即用无线电的方法发现目标并测定它们的空间位置.因此,雷达也被称为＂无线电定位＂.雷达是利用电磁波探测目标的电子设备.雷达发射电磁波对目标进行照射并接收其回波,由此获得目标至电磁波发射点的距离、距离变化率(径向速度)、方位、高度等信息.

虹口区19869576820： 不知道有人比较过小鹏P7和特斯拉的自动驾驶功能吗? - ？
皇枫硝酸： 小鹏P7这套Xpilot 3.0的硬件架构被定义为全行业最强辅助驾驶硬件架构,搭载12个超声波传感器、5个高精度毫米波雷达、13个自动驾驶摄像头、1颗智能座舱摄像头、高精度地图、高精度定位融合、英伟达Xavier自动驾驶芯片.除特斯拉外,...

虹口区19869576820： 智能驾驶系统 - ？
皇枫硝酸： 随着传感器技术、信息处理技术、测量技术与计算机技术的发展,智能驾驶系统(辅助驾驶系统—无人驾驶系统)也得到了飞速的发展.消费者越来越注重驾驶的安全性与舒适性,这就要求传感器能识别在同一车道上前方行驶的汽车,并能在有障碍时提醒驾驶员或者自动改变汽车状态,以避免事故的发生.国际上各大汽车公司也都致力于这方面的研究,并开发了一系列安全驾驶系统,如碰撞报警系统(CW)、偏向报警系统(LDW)和智能巡游系统(ICC)等.国内在这些方面也有一定的研究,但与国外相比仍存在较大的差距.本文将主要讨论多传感器信息融合技术在智能驾驶系统(ITS)中的应用 例如双目立体机器视觉为主要道路环境感知手段的汽车智能驾驶系统,基于机器视觉的智能驾驶

虹口区19869576820： 自动驾驶技术和3D传感技术结合会有怎样的应用前景? - ？
皇枫硝酸： 自动驾驶技术是基于雷达传感器、摄像头等技术,再辅以智能算法,在最短时间内计算行驶路线、躲避障碍物.从某种程度上来说,计算机的犯错几率更低,降低超速、反应慢、药物或是酒精对驾驶的影响.事实上,谷歌报告称,截止2015年7月,其自动驾驶...

虹口区19869576820： 智能网联新能源汽车的定位系统通常采用多传感器融合技术() - 上学吧？
皇枫硝酸： 我来说一下这个“融合”,就是类似于我们的大脑,它可以协调我们身体的所有器官,智能机器人也是如此,它的每一个部位的运作都需要不同的传感器,这个是互不相关的,为了能够让它协调各部位进行运作,就必须有一个总的协调控制器,这个控制器就是机器人的大脑,也就是你所问的多传感器融合技术

虹口区19869576820： 多传感器数据融合技术有哪些优点 - ？
皇枫硝酸： 多传感器数据融合比单一传感器信息有如下优点,即容错性、互补性、实时性、经济性,所以逐步得到推广应用.应用领域除军事外,已适用于自动化技术、机器人、海洋监视、地震观测、建筑、空中交通管制、医学诊断、遥感技术等方面.有鉴于传感器技术的微型化、智能化程度提高,在信息获取基础上,多种功能进一步集成以致于融合,这是必然的趋势,多传感器数据融合技术也促进了传感器技术的发展.

虹口区19869576820： 自动驾驶来了,究竟是哪些技术让汽车变聪明了 - ？
皇枫硝酸： 1、传感器技术:自动驾驶汽车上,前后左右装有认识周围环境、道路、交通状况的各种传感器.光学摄像头包括单摄像头、多摄像头,多普勒雷达包括短距离雷达、远距离雷达,还有激光雷达就是车顶上那个旋转的机器,GPS定位装置,等等...