无人驾驶车辆决策系统综述ppt课件.pptx

《无人驾驶车辆决策系统综述ppt课件.pptx》由会员分享，可在线阅读，更多相关《无人驾驶车辆决策系统综述ppt课件.pptx（34页珍藏版）》请在三一办公上搜索。

1、无人驾驶车辆决策系统综述,小组：严森炜 陈焕 余哲翔 肖成乾,汇报内容,1. 无人车决策系统概述 1.1 无人车系统架构 1.2 广义与狭义的决策系统 1.3 决策系统的设计准则 1.4 决策系统的分类,2,2. 基于专家算法的决策系统 2.1 有限状态机的四要素 2.2 有限状态机在决策系统的应用举例 2.3 国内外研究实例,3. 基于学习算法的决策系统 3.1 Nvidia 端到端决策法,无人车决策系统概述,无人车系统架构广义与狭义的决策系统决策系统的设计准则决策系统的分类,3,4,无人驾驶车辆系统架构,系统架构,广义/狭义,设计准则,系统分类,感知,决策,控制,方向盘转角,5,环境状态,

2、GPS/惯导,毫米波雷达,视觉传感器,决策系统,自车状态,超声波雷达,激光雷达,运动控制系统,底盘及附件,油门/制动踏板开度 & 方向盘转角,？,无人驾驶车辆系统架构,系统架构,广义/狭义,设计准则,系统分类,轮速传感器,感知,决策,档位控制,踏板控制,转角控制,附件控制,控制,6,环境状态,GPS/惯导,毫米波雷达,视觉传感器,决策系统(广义的决策),自车状态,超声波雷达,激光雷达,底盘及附件,广义与狭义的决策系统,广义/狭义,系统架构,设计准则,系统分类,轮速传感器,感知,决策,档位控制,踏板控制,转角控制,附件控制,控制,运动控制系统,油门/制动踏板开度 & 方向盘转角,行为决策模块 (

3、狭义的决策),路径规划模块, 当前车辆行为 车辆运动目标点 目标车速,车辆运动目标点目标车速,路径跟踪系统,狭义的行为决策系统根据传统方法划分,7,无人车决策系统的设计准则,设计准则,系统架构,广义/狭义,系统分类,无人车决策系统的最终目标： 使无人车像熟练的驾驶员一样产生安全、合理的驾驶行为。,安全最高优先级（防碰撞、避障、故障检测功能）良好的系统实时性右侧通行优先保持车道优先车速限值合理的效率优先结合用户需求的自主规划能力,8,专家算法（基于规则、知识）优点：便于建模 安全系数更高缺点：行动机械 无法处理算法未 覆盖的工况 代表方法：基于规则的有限状态机法代表应用：智能先锋II、红旗CA7

4、460、Boss、Junior、Odin、Talos、Bertha,学习算法（基于机器学习）优点：具备自学习性能 智能化更高缺点：需要大量实验数据支持 过学习、欠学习代表方法：神经网络法、ID3决策树代表应用：NVIDIA、Comma.ai、 Mobileye,无人车决策系统的分类,系统分类,系统架构,广义/狭义,设计准则,基于专家算法的决策系统,有限状态机的四要素有限状态机在决策系统的应用举例国内外研究实例,9,10,四大要素,应用举例,研究实例,有限状态机的四大要素,状态S数量有限、初始状态、子状态、原子状态事件E能够造成状态转移的特定输入集合转移状态转移的过程，与前时刻状态有关动作A即系

5、统输出，状态决定动作，en/du,11,应用举例,四大要素,有限状态机在无人车系统中的应用举例,系统输入,决策系统,Input:自车车速 自车与前车相对距离 自车与前车相对车速,决策系统模式分解,直线单车道工况下的无人车决策系统,定速巡航du:目标车速=预设车速,自适应巡航du:目标车速=前车车速 目标距离=安全距离,Output:目标车速、目标距离,车速控制 系统,Output:油门踏板开度/电机转矩,E1：检测到前车&与前车的相对距离预设距离E2：未检测到前车|检测到前车但与前车的相对距离预设距离E1= E2,E1,E2,研究实例,决策有限状态机的设计思路,12,应用举例,四大要素,研究实

6、例,13,研究实例,四大要素,应用举例,基于有限状态机决策系统的国内外研究实例,国外：串联结构：麻省理工大学 Talos 并联结构：斯坦福大学与大众公司 Junior 梅赛德斯奔驰公司 Bertha （人机切换） 混联结构：卡耐基梅隆大学与福特公司 Boss 弗吉尼亚理工大学 Odin （仲裁机制）国内：并联结构：国防科学技术大学 红旗CA7460（高速公路工况） 混联结构：中国科学技术大学 智能驾驶II号,14,研究实例,四大要素,应用举例,基于有限状态机决策系统的国内外研究实例,卡耐基梅隆大学与福特公司 Boss （混联结构）顶层基于场景行为划分，底层基于自车行为划分。三个顶层行为及其底层

7、行为：车道行驶（车道选择、场景实时报告、距离保持器、行为发生器等）、路口处理（优先级估计、转移管理等）、指定位姿。,Boss系统实时性好、智能性强，但是系统对硬件的要求极高。如系统配备11个激光雷达（包括1个Velodyne64线激光雷达），计算单元包括10台2.16GHz酷睿多核处理器等,Chris Urmson and et al. 2008. Autonomous Driving in Urban Environments: Boss and the Urban ChallengeJ. Journal of Fild Robotics, 25(8):425-466,研究实例,四大要素,应

8、用举例,基于有限状态机决策系统的国内外研究实例,国防科学技术大学 红旗CA7460 （并联结构、高速公路工况）决策器划分为自由追踪行车道、自由追踪超车道、由行车道换入超车道、由超车道换入行车道等模式。,制定了行车效率指标（行车速度与期望车速）和行车安全性指标（碰撞时间TTC），结合交通规则制定行为决策策略。在目标行为的选择决策中，行车安全性优先级高于行车效率性优先级。,孙振平. 自主驾驶汽车智能控制系统D. 国防科学技术大学，2004,15,基于学习算法的决策系统,Nvidia技术路线概述卷积神经网络介绍,16,软硬件平台,目的：用卷积神经网络（CNNs）将车前部摄像头捕捉到的原始像素图映射为

9、汽车的方向操控命令。训练：这套端到端学习系统使用了NVIDIA DevBox， 用Torch 7进行训练。操作：一台NVIDIA DRIVE PX自动驾驶汽车计算机用于判断汽车行驶的方向，工作时它每秒需要处理30帧的数据，同样使用Torch 7处理。,17,Nvidia技术路线,卷积神经网络,训练的输入,输入的训练信号：人工操控方向盘的角度设备：DAVE-2系统：数据采集车的挡风玻璃后面固定了三台摄像机，在摄像机采集视频数据的同时，此系统也记录驾驶员操控方向盘的偏转角度。不同于人工将问题拆解，比如拆解成车道线识别、决策规划、车辆控制等子任务，端到端系统同时能优化所有的操纵过程,18,神经网络基

10、础知识,19,网络结构,这个网络有2700万个连接和25万个参数。在五层卷积之后又接了三个全连接层，最后输出一个控制数字，即转弯半径的倒数。全连接层的设计意图是作为方向控制器，卷积层是用来提取特征的，前三个卷积层使用了strided卷积，其中stride是2x2，卷积核是5x5，后两层选用了non-strided卷积，卷积核是3x3。网络的第一层对输入图像做归一化。在网络模型中进行归一化可以使得归一化过程根据网络结构调整，而且能用GPU加速处理过程。,20,内容,1.卷积神经网络工作原理2.举例,21,局部感知野,22,在图像处理中，往往把图像表示为像素的向量，比如一个10001000的图像，

11、可以表示为一个1000000的向量。如果隐含层数目与输入层一样，即也是1000000时，那么输入层到隐含层的参数数据为10000001000000=1012，这样就太多了，基本没法训练。图像的空间联系是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。,全连接 局部连接,权值共享,卷积操作是提取特征的方式，该方式与位置无关。如下图所示，展示了一个33的卷积核在55的图像上做卷积的过程。,23,池化,24,在通过卷积获得了特征 (features) 之后，下一步我们希望利

12、用这些特征去做分类。理论上讲，人们可以用所有提取得到的特征去训练分类器，但这样做面临计算量的挑战。例如：对于一个 96X96 像素的图像，假设我们已经学习得到了400个定义在8X8输入上的特征，每一个特征和图像卷积都会得到一个 (96 8 + 1) (96 8 + 1) = 7921 维的卷积特征，由于有 400 个特征，所以每个样例 (example) 都会得到一个 7921 400 = 3,168,400 维的卷积特征向量。学习一个拥有超过 3 百万特征输入的分类器十分不便，并且容易出现过拟合 (over-fitting)。,因此，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人

13、们可以计算图像一个区域上的某个特定特征的平均值 (或最大值)。这些概要统计特征不仅具有低得多的维度 ，同时还不容易过拟合。这种聚合的操作就叫做池化 (pooling)。,卷积神经网络举例,通过一个图像分类问题介绍的。下面是卷积神经网络判断一个图片是否包含“儿童”的过程，包括四个步骤：,25,1.图像输入（Input Image）,这张照片被分割成了77张大小相同的小图片。,26,接下来将每一个独立小块输入小的神经网络；这个小的神经网络已经被训练用来判断一个图片是否属于“儿童”类别，它输出的是一个特征数组。,27,标准的数码相机有红、绿、蓝三个通道（Channels），每一种颜色的像素值在0-2

14、55之间，构成三个堆叠的二维矩阵；灰度图像则只有一个通道，可以用一个二维矩阵来表示。,2.卷积（Convolution）,将所有的独立小块输入小的神经网络后，再将每一个输出的特征数组按照第一步时77个独立小块的相对位置做排布，得到一个新数组。,28,这个小的神经网络对这77张大小相同的小图片都进行同样的计算，也称权重共享（Shared Weights）。,2.卷积（Convolution）,3.最大池化（Max Pooling）,卷积步骤完成后，再使用Max Pooling算法来缩减像素采样数组，按照22来分割特征矩阵，分出的每一个网格中只保留最大值数组，丢弃其它数组，得到最大池化数组（Max

15、-Pooled Array）。,29,接下来将最大池化数组作为另一个神经网络的输入，这个全连接神经网络会最终计算出此图是否符合预期的判断。,30,4.全连接神经网络计算（Fully-Connected Neural Network）,训练系统,训练数据包括从视频中采样得到的单帧视频，以及对应的方向控制命令。网络模型还需要学习如何纠正错误的操作。于是训练数据额外补充了大量图像，包括汽车从车道中心的各种偏移。预测的方向控制命令与理想的控制命令相比较，然后调整CNN模型的权值使得预测值尽可能接近理想值。,31,训练后模型的使用,32,训练得到的模型可以用正前方的单个摄像机的数据生成方向控制命令。,数据采集,33,训练数据是在各种路段和不同灯光和天气条件下采集得到：道路：街道路面，高速公路其它道路类别包括两车道道路（有车道标志或者没有标志）路边有车停放的居民区道路隧道和不平整道路天气状况：晴天、多云、雾天、雪天、雨天 时间：白天、晚上在某些情况下，太阳接近地平线，导致有路面反射的光线和挡风玻璃的散射。系统不依赖与任何的汽车制造商或是型号。我们要求驾驶员尽可能地集中注意力。共采集了72小时的行驶数据。,谢谢！,34,