大数据导论

　　本书围绕新工科背景下大数据人才培养需求编写，系统介绍了大数据采集与预处理、大数据存储与管理、大数据处理与分析、大数据可视化处理流程；重点分析了科大讯飞大数据平台在政务、交通、金融和用户画像等实际场景中的应用，还介绍了大数据实验环境的详细搭建步骤；最后介绍了大数据治理中法律政策、行业标准建设的最新进展，分析了大数据可能带来的伦理风险和应对策略。本书将大数据基础理论与实际案例结合，辅以编程实践和有针对性的课后习题，可作为高等院校相关专业的导论课教材，也可作为大数据相关从业人员技术参考书。

　　于俊伟，博士，河南工业大学硕士生导师，从事计算机视觉、机器学习和数据科学等方面的研究与教学工作，主持和参与国家自然科学基金、河南省重点研发与推广专项等项目7项，发表学术论文10余篇，翻译及编著数据科学方面图书5部。母亚双，博士，河南工业大学硕士生导师，从事机器学习、大数据分析与处理等方向的研究与教学工作，主持和参与国家自然科学基金、河南省科技攻关等项目6项，发表学术论文12篇，申请国家发明专利2项。闫秋玲，女，博士，主要从事机器学习、大数据分析等方向的研究与教学工作，主持河南省科技攻关项目、河南省教育厅项目、大学生创新创业训练项目等教科研项目多项，发表学术论文7篇，获得国家发明专利1项，主编教材1部，翻译著作2部。

第 1 章  大数据概述  1
1.1 大数据的产生及其特征  2
1.1.1 大数据的产生  2
1.1.2 大数据的特征  2
1.2 大数据发展  5
1.2.1 大数据发展历程  5
1.2.2 国外大数据战略  6
1.2.3 中国大数据战略与政策  7
1.2.4 大数据立法和标准  8
1.3 大数据思维  9
1.3.1 大数据的价值  9
1.3.2 大数据的思维变革  10
1.4 大数据应用  12
1.4.1 大数据应用层次  12
1.4.2 大数据应用领域  13
1.5 大数据技术与工具  15
1.5.1 大数据处理流程  15
1.5.2 大数据行业全景图  15
1.5.3 大数据分析平台  17
1.5.4 大数据编程语言  18
1.6 本章小结  20
1.7 习题  20
第 2 章  大数据采集与预处理  21
2.1 概述  22
2.2 大数据的来源  23
2.3 大数据的采集方法  24
2.3.1 数据库采集  25
2.3.2 系统日志采集  25
2.3.3 网络数据采集  25
2.3.4 其他数据采集  26
2.4 大数据预处理方法  27
2.4.1 数据清洗  27
2.4.2 数据集成  30
2.4.3 数据变换  30
2.5 大数据采集与预处理工具  32
2.5.1 网络爬虫 Scrapy  32
2.5.2 流数据采集 Kafka  36
2.5.3 ETL 工具 Kettle  38
2.6 本章小结  43
2.7 习题  44
第 3 章  大数据存储与管理技术  45
3.1 大数据存储与管理技术概述  46
3.2 分布式文件系统  46
3.2.1 HDFS  47
3.2.2 Ceph  53
3.2.3 GlusterFS  55
3.3 NoSQL 数据库  57
3.3.1 键值数据库  58
3.3.2 列族数据库  59
3.3.3 文档数据库  62
3.3.4 图数据库  62
3.4 大数据查询系统  63
3.4.1 大数据查询系统概述  63
3.4.2 Dremel  64
3.5 数据仓库  65
3.5.1 数据仓库的特点  65
3.5.2 关系型数据仓库体系结构  67
3.5.3 数据仓库 Hive  68
3.5.4 数据仓库 Impala  70
3.6 本章小结  72
3.7 习题  72
第 4 章  大数据处理与分析系统  73
4.1 概述  74
4.2 谷歌大数据处理系统  74
4.2.1 GFS 74
4.2.2 MapReduce  76
4.2.3 BigTable  76
4.3 分布式计算框架 Hadoop MapReduce  77
4.3.1 Hadoop MapReduce 概述  77
4.3.2 Hadoop MapReduce 应用举例  79
4.4 快速计算框架 Spark  83
4.4.1 Spark 简介  83
4.4.2 Spark 运行架构  86
4.4.3 Spark 的部署方式  86
4.4.4 Spark 的数据抽象 RDD  87
4.4.5 Spark MLlib  88
4.4.6 Spark Streaming  89
4.4.7 Spark SQL  91
4.4.8 Spark GraphX  92
4.5 其他大数据分析系统  94
4.5.1 图计算系统 Pregel 95
4.5.2 流处理系统 Flink  96
4.6 本章小结  97
4.7 习题  97
第 5 章  大数据机器学习  98
5.1 机器学习简介  99
5.1.1 机器学习的定义  99
5.1.2 机器学习的分类  99
5.1.3 机器学习的历史  102
5.1.4 机器学习与数据挖掘的关系  106
5.2 数据  107
5.2.1 数据概述  107
5.2.2 带有标签的数据和不带标签的数据  107
5.2.3 训练数据、测试数据、验证数据  108
5.3 有监督学习  109
5.3.1 有监督学习简介  109
5.3.2 回归  109
5.3.3 分类  112
5.3.4 常见的有监督学习方法  114
5.4 无监督学习  119
5.4.1 无监督学习简介  119
5.4.2 聚类  119
5.4.3 关联分析  122
5.5 强化学习  123
5.5.1 强化学习简介  123
5.5.2 强化学习主流算法  125
5.5.3 强化学习的使用场景  126
5.6 弱监督学习  127
5.6.1 弱监督学习简介  127
5.6.2 弱监督学习的分类  127
5.7 机器学习的相关资源与工具  128
5.8 本章小结  130
5.9 习题  131
第 6 章  数据可视化  132
6.1 可视化概述  133
6.1.1 可视化的含义  133
6.1.2 可视化的发展历程  133
6.1.3 可视化的作用  134
6.2 数据可视化及其分类  135
6.2.1 科学可视化  135
6.2.2 信息可视化  136
6.2.3 可视化分析学  137
6.3 数据可视化工具  138
6.3.1 入门级工具  138
6.3.2 信息图表工具  138
6.3.3 地图工具  141
6.3.4 基于编程语言的可视化库  142
6.4 本章小结  144
6.5 习题  144
第 7 章  大数据行业应用案例  145
7.1 大数据行业应用概述  146
7.2 政务大数据  146
7.3 交通大数据  150
7.3.1 人群生活模式划分  151
7.3.2 道路拥堵模式预测  156
7.4 征信大数据  160
7.4.1 企业征信大数据应用  160
7.4.2 企业法人资产建模实践  168
7.5 画像大数据  171
7.5.1 用户画像概述  171
7.5.2 构建用户画像流程  172
7.5.3 构建用户画像  175
7.5.4 用户画像评估和使用  181
7.6 本章小结  182
7.7 习题  182
第 8 章  大数据平台与实验环境  183
8.1 大数据平台与环境概述  184
8.1.1 大数据平台简介  184
8.1.2 搭建环境简介  186
8.2 安装虚拟机  186
8.3 在虚拟机中安装 Linux 系统  189
8.4 为 Ubuntu 系统配置 Java 开发环境  191
8.5 在 Ubuntu 系统中安装 Hadoop  197
8.5.1 查询和更改主机名  198
8.5.2 更改 host 文件  199
8.5.3 认证 SSH 实现无密码登录  200
8.5.4 复制 Hadoop 2.6.0 到指定目录并解压  202
8.5.5 配置文件  203
8.5.7 启动、验证和关闭 Hadoop  211
8.6 安装 Eclipse 和 Eclipse-hadoop-plugin  214
8.6.1 安装 Eclipse  214
8.6.2 配置 Eclipse-hadoop-plugin 214
8.7 新建、导入、运行与调试 Hadoop 工程 216
8.7.1 新建 Hadoop 工程 216
8.7.2 导入已有的 Hadoop 工程 217
8.7.3 运行 Hadoop 工程 219
8.7.4 调试 Hadoop 工程 223
8.8 本章小结  226
8.9 习题  226
第 9 章  大数据治理  227
9.1 大数据治理体系  228
9.2 大数据法律政策  229
9.3 大数据行业标准  231
9.4 大数据治理内容  234
9.5 大数据伦理风险  237
9.6 本章小结  240
9.7 习题  240
主要参考文献 241