自动驾驶BEV感知算法指南

　　本书由智能汽车领域实践型专家联合撰写，带你一次性学透BEV，实现快速落地与创新。在内容设计上，本书以BEV主流技术与工程实践为主线，系统分析介绍BEV算法的基本原理、关键技术和源码级实现方法，助你掌握自动驾驶感知系统的整体架构和设计理念。本书共9章。第1章介绍BEV感知算法的核心概念和框架，强调其独特优势及挑战。第2章概述关键数据集，如KITTI、nuScenes和Waymo，并解释了评估算法性能的指标。第3章深入介绍特征提取技术，涵盖图像和激光雷达数据的提取方法。第4章探讨视角转换、注意力机制及Transformer在BEV感知算法中的应用。第5章和第6章分别讲解显式和隐式视角转换下的BEV感知算法，如BEVDet系列和BEVFormer等。第7章和第8章通过实例介绍BEV感知算法的实现过程。第9章讨论大模型在自动驾驶领域的应用及面临的挑战。

　　易显维：易智数维的创始人、中国地质大学硕士。10余年研发经验，曾先后任职于建行数据中心、科大讯飞研究院以及百分点科技集团认知智能实验室。长期为东风集团提供技术支持与方案咨询，在实车感知算法与机器人视觉项目方面拥有丰富且宝贵的经验。其研究方向涵盖机器视觉、自然语言处理、结构化数据挖掘等多个领域。曾在各种竞赛中获奖20余次。虞凡：东风畅行公司首席出行官、西安交通大学计算机软件科学技术博士。拥有10余年工作经验，曾于清华大学软件学院进行博士后研究工作，现负责东风畅行公司的Robotaxi商业探索、平台软件工程效率提升、网络出行平台算法设计等工作，也曾联合创建网约车平台公司。他发表高水平论文10余篇，获得发明专利授权10余项，获得武汉市车谷英才称号。其研究方向包括软件工程中的形式化方法和AI算法，专注于大数据分析、知识图谱、网络出行平台和出行算法设计。

前　言第1章　快速了解BEV感知
算法1　1.1　BEV感知算法解决的问题1
　1.2　BEV感知算法的常见范式7
　1.3　BEV感知算法的分类9
1.3.1　基于单应性的方法9
1.3.2　基于深度估计的方法10
1.3.3　基于多层感知器的
方法12
1.3.4　基于Transformer的
方法13
　1.4　BEV感知算法的不足14
　1.5　本章小结16第2章　BEV感知算法的
数据集17　2.1　KITTI数据集18
　2.2　nuScenes数据集25
　2.3　nuScenes数据集常用的评测
指标及计算方法39
2.3.1　检测任务评测指标计算
公式40
2.3.2　跟踪任务评测指标计算
公式42
2.3.3　其他辅助指标计算公式42
　2.4　Waymo数据集46
　2.5　不同数据集之间的对比47
　2.6　本章小结48第3章　BEV感知算法的特征
提取49　3.1　图像模态49
3.1.1　相机的内外参数49
3.1.2　图像特征提取和ResNet
原理54
　3.2　激光雷达模态中点云目标
检测的代表算法55
3.2.1　PointPillar算法55
3.2.2　PV-RCNN算法58
　3.3　本章小结61第4章　BEV感知算法的基本
模块62　4.1　视角转换模块62
4.1.1　自动驾驶中的坐标系63
4.1.2　坐标系转换与视角转换
模块65
4.1.3　LSS原理69
4.1.4　LSS代码实现与模型
运行71
　4.2　BEV感知算法中的注意力
机制82
4.2.1　通道注意力机制82
4.2.2　空间注意力机制83
4.2.3　混合注意力机制83
4.2.4　BEV感知算法中的时序
融合83
　4.3　本章小结86第5章　显式视角转换的BEV
感知算法87　5.1　基于LSS方法的显式视角转换的
BEV感知算法89
5.1.1　BEVDet89
5.1.2　BEVDet4D91
　5.2　BEVDet中的视角转换过程91
　5.3　BEVDet4D中的时序对齐93
　5.4　本章小结94第6章　隐式视角转换的BEV
感知算法95　6.1　传统目标检测方法与DETR
类方法95
6.1.1　传统目标检测方法的
局限性96
6.1.2　DETR类方法的优点97
　6.2　主要的隐式视角转换的BEV
感知算法98
6.2.1　BEVFormer98
6.2.2　DETR3D102
6.2.3　PETR103
　6.3　DETR3D计算过程106
6.3.1　图像特征提取106
6.3.2　特征查询模块107
6.3.3　二分图匹配108
6.3.4　DETR和DETR3D的
异同108
　6.4　隐式转换DETR、DETR3D和
PETR的主要差别109
　6.5　本章小结110第7章　BEVFusion实践111　7.1　原理详解111
7.1.1　网络架构112
7.1.2　图像支路113
7.1.3　点云支路114
7.1.4　融合模块115
　7.2　代码详解116
7.2.1　nuScenes数据集
处理116
7.2.2　模型训练过程131
　7.3　环境搭建149
7.3.1　搭建PyTorch环境149
7.3.2　安装 *BEVFusion150
7.3.3　编译BEVFusion
环境151
7.3.4　训练和测试
BEVFusion152
　7.4　本章小结153第8章　BEVFormer实践154　8.1　代码详解154
8.1.1　数据处理155
8.1.2　模型训练过程156
　8.2　环境搭建190
8.2.1　创建虚拟环境190
8.2.2　安装*BEVFormer191
　8.3　模型部署192
　8.4　本章小结192第9章　大模型在自动驾驶领域
的应用193　9.1　端到端的自动驾驶系统
UniAD194
9.1.1　UniAD的提出背景194
9.1.2　UniAD架构196
　9.2　赋能自动驾驶数据生产和
模型训练197
9.2.1　辅助标注数据198
9.2.2　模型蒸馏给小模型
赋能200
9.2.3　将多个小模型合并成
大模型201
9.2.4　自动驾驶的重建和数据
生成201
　9.3　视觉大模型的难点202
9.3.1　视觉大模型发展相对落后
的原因202
9.3.2　视觉大模型的技术挑战与
实践难点203
　9.4　本章小结204