交通数据科学：编程实践指南

　　交通信息是交通决策的关键，如果我们采用合理的技术，交通信息就可以帮助我们节约大量成本，并提高工作效率。更重要的是，研发适当的技术还可以使我们理解并掌握所有的信息流。《交通数据科学：编程实践指南》为处理大量交通相关的多种形式数据提供基础，并且在各种数据集组合在一起时提供更多的见解和合作的可能。如果我们要实现“大数据”“物联网”“智慧城市”等交通领域当前的重要目标，那么这些便是新兴数据科学领域的基础。 \n本书可作为相关专业本科生和研究生学习智能交通系统数据分析的教材，也适用于从事智能交通行业的研发人员阅读使用。

　　马晓磊，2013年博士毕业于美国华盛顿大学，现任北航交通科学与工程学院副教授，博士生导师。主要研究领域包括公共交通系统优化、交通大数据分析及大规模交通网络建模。目前已在交通领域顶级期刊以及国际顶级会议上发表论文100余篇，授权专利20项，获省部级特等奖等奖项4项。担任权威SCI/SSCI期刊IEEE Transactions on ITS、IET ITS、Transportation Research Part C等副主编及编委。入选中国科协青年人才托举工程，北京市优秀青年，北京市科技新星，担任第十三届全国青联委员。

作者简介

\n

译者简介

\n

序

\n

前言

\n

读者推荐

\n

第1章“数据科学”与“大数据”1

\n

1.1交通数据科学示例1

\n

1.1.1伦敦轨道高速公路的起点-终点分析1

\n

1.1.2航空公司定价与套利3

\n

1.1.3凹坑检测4

\n

1.1.4Foursquare4

\n

1.1.5自动驾驶汽车4

\n

1.1.6出租车服务5

\n

1.2综述5

\n

1.3定义6

\n

1.4与其他领域的关系7

\n

1.5道德和法律9

\n

1.6批评观点9

\n

1.7练习：itsleeds虚拟桌面设置10

\n

1.8延伸阅读12

\n

1.9附录：本地安装13

\n

第2章基于交通数据科学的Python入门14

\n

2.1编程技能测试14

\n

2.2编程语言16

\n

2.3编程环境16

\n

2.4语言核心17

\n

2.4.1列表18

\n

2.4.2字典18

\n

2.4.3控制结构19

\n

2.4.4文件19

\n

2.4.5函数20

\n

2.5库20

\n

2.5.1模块20

\n

2.5.2数学公式21

\n

2.5.3绘图21

\n

2.5.4数据框22

\n

2.5.5调试23

\n

2.6延伸阅读23

\n

第3章数据库设计25

\n

3.1关系模型基础25

\n

3.2描绘世界26

\n

3.2.1本体论27

\n

3.2.2哲学本体论27

\n

3.2.3数据本体论30

\n

3.2.4SQL33

\n

3.3练习33

\n

3.3.1设置PostgreSQL33

\n

3.3.2SQL创建语言33

\n

3.3.3SQL查询语言34

\n

3.3.4SQL和Python的连接36

\n

3.3.5导入车载蓝牙数据37

\n

3.4延伸阅读37

\n

第4章数据准备39

\n

4.1数据获取39

\n

4.2基本文本处理40

\n

4.3格式语法：乔姆斯基层次结构40

\n

4.3.1正则语言（类型3）41

\n

4.3.2上下文无关语言（类型2）42

\n

4.3.3CFG以外的类型（类型1和类型0）43

\n

4.4特殊类型43

\n

4.4.1字符串和数值43

\n

4.4.2日期和时间44

\n

4.4.3美国国家海洋电子协会（NMEA）格式45

\n

4.5通用格式46

\n

4.6数据清洗47

\n

4.7B+树的实现47

\n

4.8练习48

\n

4.8.1用Pandas读取数据库48

\n

4.8.2printf表示法48

\n

4.8.3DateTimes49

\n

4.8.4时间的偏差与校正49

\n

4.8.5数据匹配50

\n

4.8.6车载蓝牙50

\n

4.9延伸阅读51

\n

第5章空间数据52

\n

5.1大地测量学52

\n

5.2全球导航卫星系统（GNSS）53

\n

5.3地理信息系统（GIS）55

\n

5.3.1GIS的作用55

\n

5.3.2空间本体论56

\n

5.3.3空间数据结构57

\n

5.4实施58

\n

5.4.1空间文件58

\n

5.4.2空间数据源59

\n

5.4.3空间数据库59

\n

5.4.4空间数据框59

\n

5.5练习59

\n

5.5.1GPS投影59

\n

5.5.2PostGIS60

\n

5.5.3GeoPandas61

\n

5.5.4QGIS路线图62

\n

5.5.5绘制开放式街道地图（OSM）道路62

\n

5.5.6获取OSM数据63

\n

5.5.7蓝牙车辆传感器站点64

\n

5.6延伸阅读65

\n

第6章贝叶斯推断68

\n

6.1贝叶斯推断与“统计”68

\n

6.2高速公路行程时间69

\n

6.3贝叶斯推断70

\n

6.3.1贝叶斯定理70

\n

6.3.2法律判定：车辆撞人事故71

\n

6.3.3先验和后验72

\n

6.3.4道路用户跟踪72

\n

6.4贝叶斯网络73

\n

6.4.1红绿灯贝叶斯网络73

\n

6.4.2交通事故贝叶斯网络74

\n

6.4.3事故报告75

\n

6.4.4汽车保险76

\n

6.5先验和偏见77

\n

6.6因果关系77

\n

6.7模型的比较与组合80

\n

6.8练习81

\n

6.8.1用PyMC3推断交通信号灯81

\n

6.8.2用PyMC3推断事故道路状态变化81

\n

6.8.3切换泊松动态82

\n

6.9延伸阅读82

\n

第7章机器学习83

\n

7.1产生性与区分性汽车排放83

\n

7.2简单分类85

\n

7.2.1线性判别分析（LDA）85

\n

7.2.2最邻近分析85

\n

7.2.3模块匹配85

\n

7.2.4朴素贝叶斯分类86

\n

7.2.5决策树86

\n

7.3神经网络和“深度学习”87

\n

7.4局限与拓展90

\n

7.5练习92

\n

7.6延伸阅读94

\n

第8章空间分析95

\n

8.1空间数据96

\n

8.2贝叶斯空间模型97

\n

8.2.1马尔可夫随机场（MRF）97

\n

8.2.2高斯过程（克里金法）99

\n

8.3车辆路线100

\n

8.4空间特征101

\n

8.5探索性分析101

\n

8.6问题扩展103

\n

8.7练习104

\n

8.7.1GPy中的高斯过程104

\n

8.7.2高斯过程车辆密度106

\n

8.7.3使用PostGIS的车辆路线选择106

\n

8.7.4查找路边传感器站点107

\n

8.8延伸阅读107

\n

第9章数据可视化108

\n

9.1视觉感知108

\n

9.1.1颜色108

\n

9.1.2视觉注意110

\n

9.2地理可视化（地图）113

\n

9.2.1交通流图116

\n

9.2.2滑图117

\n

9.2.3信息图117

\n

9.3练习120

\n

9.3.1带有Leaflet的网络地图120

\n

9.3.2蓝牙起止点路线流122

\n

9.3.3大型项目建议123

\n

9.4延伸阅读124

\n

第10章大数据125

\n

10.1中型数据加速126

\n

10.2企业数据拓展127

\n

10.3CAP定理129

\n

10.4大数据扩展130

\n

10.4.1数据“湖”130

\n

10.4.2网格计算130

\n

10.4.3Map-Reduce和云计算132

\n

10.4.4Hadoop生态系统133

\n

10.4.5非关系数据库（NoSQL）133

\n

10.4.6分布式关系数据库（NewSQL）135

\n

10.5练习135

\n

10.5.1PrologAI汽车保险查询135

\n

10.5.2车载蓝牙数据的Mapper-Reduce136

\n

10.5.3设置Hadoop和Spark137

\n

10.5.4在Hadoop中查找车辆匹配项138

\n

10.5.5用Spark预测交通流139

\n

10.5.6大型项目建议141

\n

10.6延伸阅读142

\n

第11章专业问题143

\n

11.1道德、伦理和法律143

\n

11.2伦理问题144

\n

11.2.1隐私144

\n

11.2.2去匿名化（Doxing）145

\n

11.2.3预测分析146

\n

11.2.4社会和个人的平衡146

\n

11.2.5货币化147

\n

11.2.6本体偏差148

\n

11.2.7p值操纵149

\n

11.2.8代码质量150

\n

11.2.9代理冲突151

\n

11.2.10服务器管辖权151

\n

11.2.11安全服务152

\n

11.3英国法律框架152

\n

11.3.11988年《数据保护法》152

\n

11.3.2通用数据保护法规（GPDR）153

\n

11.4数据科学家的角色154

\n

11.5练习155

\n

11.6延伸阅读155

\n