大数据技术原理与实践（第二版）

　　本书将围绕大数据技术的基本原理与实践，介绍了大数据获取、存储、分析、数据挖掘和机器学习。内容涵盖以下主题：Hadoop、Mapreduce、关联规则、大规模监督机器学习、数据流、集群、NoSQL系统（Pig、Hive），以及包括推荐系统、Web和安全性的应用程序。第1章重点阐述了大数据驱动的商业模式、技术生态体系，大数据的类型、特点、获取技术。第2章概要介绍了大数据的软硬件架构，包括大数据技术基础与软硬件设施、大数据存储与管理技术、大数据的分布式处理技术平台等，包括MapReduce编程框架原理、Spark结构与原理、基于Storm的大规模数据流的分布式处理技术等。第3章介绍了Python编程基础，包括基本数据类型、基本控制流程、Numpy、Scipy、Pandas等。第4章介绍了大数据分析技术，包括基于MapReduce基础编程、文本大数据分析与处理技术、大数据关联分析、相似项的发现、基于大数据的推荐系统、基于大数据的图与网络分析、大数据聚类分析、时空大数据分析、非结构化大数据分析与处理、基于Storm的流数据分析技术等。第5章介绍了基于SparkMLlib/Mahout的大数据机器学习，包括机器学习基础、典型机器学习问题、机器学习评价方法、并行机器学习算法，并进行了利用MLlib解决大数据并行分类问题、利用Mahout解决大数据推荐优化问题实践。第6章介绍了基于大数据的深度学习技术，包括深度学习基本原理、深度学习典型应用、Keras 基础入门及应用案例。第7章介绍了材料大数据材料热导率预测、旅游大数据分析、交通大数据分析、工业大数据分析、产品创新大数据分析等带代码、数据的案例。本书内容深入浅出，具有很强的理论与实践指导作用，可作为数据科学与技术、人工智能、计算机科学、制造科学、机械工程等学科相关专业的本科生、研究生的教材或课程教学参考书，也是对工程技术人员、科研人员而言非常实用的工具书。

　　贵州大学机械工程学院院长，博士生导师，教授，2005年入选“西部之光”优秀人才，2008年入选贵州省优秀青年科技人才，2009年入选教育部新世纪优秀人才、贵州省省管专家、享受政府特殊津贴专家，2014年评聘为三级教授，入选贵州省首批高层次创新型人才（百层次）。是贵州大学学术学科带头人，机械制造及其自动化、机械电子工程专业博士生导师，中国科学院大学兼职博士生导师。是“十二五”贵州省制造业信息化专家组组长，中国图学学会理事，贵州省装备行业协会常务理事，贵阳军民结合（装备制造）产业技术创新战略联盟副秘书长，贵州省智能电网产业技术创新战略联盟副理事长，贵州省计算机学会常务副理事长，《计算机集成制造系统—CIMS》理事会理事，《中国制造业信息化》、《机械设计与制造工程》理事会常务理事，贵州省服务决策专家智库专家，贵州省青年科技工作者协会常务理事、信息科学与机电工程专业委员会主任委员，贵阳市网络信息安全协会副会长，《计算机集成系统-CIMS》、《四川大学学报（工程科学版）》、《计算机应用》等期刊的审稿人等。已发表论文130余篇，SCI/EI/ISTP收录60余篇次，出版专著2部，译著1部，软件著作权登记8项、专利7件（其中发明3件）。被鉴定为国际先进、国内领先的成果8项。主持国家自然科学基金、国家863计划重点项目、国家科技支撑计划等科研项目30余项。获省部级科技进步二等奖2次、三等奖2次，贵阳市科技进步特等奖1次、二等奖2次、三等奖1次。

第1章大数据技术概览（1）
1.1数据发展历史（1）
1.2什么是大数据（5）
1.3大数据的生命周期（8）
第2章Python编程基础（28）
2.1基本数据类型（28）
2.2基本控制流程（38）
2.3Python的面向对象机制（43）
2.4Numpy、Scipy和Pandas（47）
2.5Matplotlib软件包（56）
本章小结（60）
习题（60）
第3章大数据的软硬件架构（61）
3.1大数据技术基础与软硬件设施概述（61）
3.2大数据存储与管理技术（65）
3.3大数据的分布式处理平台（72）
本章小结（88）
习题（90）
第4章基于Spark MLlib/Mahout的大数据机器学习（91）
4.1机器学习基础（91）
4.2典型机器学习问题（92）
4.3机器学习评价方法（99）
4.4并行机器学习算法（102）
4.5利用Mahout解决大数据推荐优化问题实践（104）
本章小结（107）
习题（108）
第5章大数据分析技术（109）
5.1MapReduce编程基础（109）
5.2基于Storm的流数据分析（119）
5.3文本大数据分析与处理（128）
5.4大数据关联分析（131）
5.5相似项的发现（134）
5.6基于大数据的推荐技术（138）
5.7基于大数据的图与网络分析（142）
5.8大数据聚类分析（150）
5.9时空大数据分析（158）
5.10非结构化大数据分析与处理（164）
5.11利用MLlib解决大数据并行分类问题实践（169）
本章小结（173）
习题（173）
第6章大数据流式处理（175）
6.1流式处理概述（175）
6.2流式处理模型（183）
6.3流式处理引擎Apache Spark（190）
6.4新一代流式处理引擎 Apach Flink（200）
6.5基于Flink的人体生命体征数据分析与告警（218）
6.6本章小结（229）
6.7习题（230）
第7章基于大数据的深度学习技术与应用（231）
7.1深度学习基本原理（231）
7.2深度学习典型应用（233）
7.3Keras基础入门（239）
7.4应 用 案 例（241）
本章小结（248）
习题（248）
第8章大数据安全与隐私保护关键技术（250）
8.1大数据安全（250）
8.1.2大数据时代的隐私安全挑战（251）
8.2大数据安全隐私保护（252）
8.3大数据安全与隐私保护的关键技术（254）
8.3.1匿名化处理技术（255）
8.3.2加密存储技术（257）
8.3.4访问控制技术（260）
8.4大数据安全与隐私保护展望（262）
8.4.1网络态势感知：助力大数据发展（262）
8.4.2人工智能：为大数据发展护航（263）
8.5本章小结（263）
习题（264）
第9章带代码、数据的案例研究（265）
9.1材料大数据与材料热导率预测（265）
9.2旅游大数据分析（275）
9.3交通大数据分析（284）
9.4工业大数据分析（289）
9.4.5模型部署及可视化（313）
9.5产品创新大数据分析（322）
9.6基于医药网站数据的医疗知识图谱（328）
9.7车间生产安全监测（337）
9.8人工智能安全案例（350）
9.9司法大数据分析案例（355）
本章小结（382）
习题（382）
参考文献（383）