大数据应用部署与调优

　　\n本书主要面向从事数据应用系统规划、部署、配置、实施、维护、优化升级以及数据应用系统监控、 管理、资源协调等相关工作的人员。其中，大数据应用部分介绍了云计算基础架构（包括公有云和私有云 架构）、数据应用的典型业务流程（包括数据采集、预处理、存储和处理、挖掘等方面）以及各种行业数 据场景应用；数据应用系统运维部分包括系统安装部署、基础系统运维、高级系统运维，其中系统安装部 署包括数据应用系统的部署安装、测试及变更管理，基础系统运维涵盖日常维护、性能监控、故障管理和 资源管理，高级系统运维涉及安全管理、系统优化和高可用架构介绍；应用开发入门部分以 Python 分析 和可视化应用项目开发为例，介绍应用开发所涉及的操作系统、数据库和开发环境、Python 编程、数据挖 掘及可视化的相关理论与实践。 \n 本书注重知识的系统性和实践指导性，主要作为培养系统运维方向高、中、低不同层次的“1+X”应 用型人才的课程教材，也同样适合有意从事 IT 系统运维工作的学习者和爱好者以及广大从业者。 \n

　　刘鹏，清华大学博士毕业，现任南京云创大数据科技股份有限公司总经理，兼任中国大数据应用联盟人工智能专家委员会主任、中国信息协会教育分会人工智能专家委员会主任、教育部全国普通高校毕业生就业创业指导委员会委员、第45届世界技能大赛中国区云计算选拔赛裁判长/专家指导组组长、2019年全国大学生数据建模比赛命题人、工信部云计算研究中心专家。 \n李肖俊，管理学博士，软件工程师，CCF专业会员，参与国家自然基金3项，陕西省自然基金1项。近两年发表研究论文3篇，主编教材2部。《计算机学报》《系统工程理论与实践》审稿专家。 \n肖晨，资深软件研发工程师，从事软件开发9年，现负责数据挖掘平台研发与大数据/人工智能/融合实验平台产品线研发。 \n

目 录

\n

第1 章 大数据导论 

\n

1.1 大数据的概念 ·

\n

1.1.1 大数据的来源 

\n

1.1.2 大数据的分类 

\n

1.2 大数据的特征 

\n

1.2.1 数量（volume） 

\n

1.2.2 多样性（variety） 

\n

1.2.3 速度（velocity） 

\n

1.2.4 价值（value） 

\n

1.3 大数据关键技术 

\n

1.3.1 大数据存储技术 

\n

1.3.2 并行计算技术 

\n

1.3.3 数据分析技术 

\n

1.3.4 数据可视化技术 

\n

1.3.5 数据挖掘技术 

\n

1.4 大数据应用场景 

\n

1.4.1 电商行业大数据应用 

\n

1.4.2 金融行业大数据应用 

\n

1.4.3 医疗行业大数据应用 

\n

1.4.4 教育行业大数据应用 

\n

1.4.5 工业大数据应用 

\n

1.4.6 农业大数据应用 

\n

1.4.7 环境大数据应用 

\n

1.4.8 智慧城市大数据应用 

\n

习题 

\n

参考文献 

\n

第2 章 基础云架构 

\n

2.1 云计算简介 

\n

X 大数据应用部署与调优

\n

2.1.1 云计算的概念 

\n

2.1.2 云计算发展现状 

\n

2.1.3 云计算实现机制 

\n

2.1.4 云计算部署模型 

\n

2.2 云计算与大数据 

\n

2.2.1 云计算与大数据的关系 

\n

2.2.2 云计算与大数据相结合的优势 

\n

2.3 私有云平台OpenStack 

\n

2.3.1 OpenStack 背景介绍 

\n

2.3.2 计算服务Nova 

\n

2.3.3 对象存储服务Swift ·

\n

2.3.4 镜像服务Glance 

\n

2.4 公有云平台阿里云 

\n

2.4.1 阿里云简介 

\n

2.4.2 计算服务ECS 

\n

2.4.3 存储服务 

\n

2.4.4 网络服务VPC 

\n

习题 

\n

参考文献 

\n

第3 章 大数据业务流程 

\n

3.1 数据采集 

\n

3.1.1 数据采集的概念 

\n

3.1.2 数据采集的工具 

\n

3.1.3 数据采集的方法 

\n

3.2 数据预处理ETL 

\n

3.2.1 数据清洗 

\n

3.2.2 数据集成 

\n

3.2.3 数据转换 

\n

3.2.4 数据归约 

\n

3.2.5 常用ETL 工具 

\n

3.3 大数据存储 

\n

3.3.1 大数据存储困境 

\n

3.3.2 大数据存储中的数据结构处理样例 ·

\n

目录 XI

\n

3.3.3 分布式系统 ·

\n

3.3.4 Hadoop 框架 

\n

3.3.5 NoSQL 数据库 

\n

3.3.6 云存储 

\n

3.4 大数据处理 

\n

3.4.1 大数据处理框架 

\n

3.4.2 批处理系统 ·

\n

3.4.3 流处理系统 ·

\n

3.4.4 混合处理系统 

\n

3.4.5 大数据处理框架的选择 

\n

3.5 环境监控大数据应用实例 

\n

习题 

\n

参考文献 

\n

第4 章 系统安装部署 ·

\n

4.1 安装部署的概念 

\n

4.1.1 软件安装概述 

\n

4.1.2 大数据部署概述 

\n

4.2 安装部署分布式系统 

\n

4.2.1 Hadoop 安装部署 ·

\n

4.2.2 Spark 部署 

\n

4.3 升级管理 

\n

4.3.1 系统升级的概念 

\n

4.3.2 Hadoop 升级管理 

\n

4.3.3 Spark 升级管理 ·

\n

习题 

\n

参考文献 

\n

第5 章 日常维护管理 

\n

5.1 系统管理对象 ·

\n

5.1.1 系统软件 

\n

5.1.2 系统硬件 

\n

5.1.3 系统数据 

\n

XII 大数据应用部署与调优

\n

5.2 系统管理的内容 

\n

5.2.1 事件管理 

\n

5.2.2 问题管理 

\n

5.2.3 故障管理 

\n

5.2.4 性能管理 

\n

5.2.5 配置管理 

\n

5.2.6 日志管理 

\n

5.2.7 备份管理 

\n

5.3 故障管理 

\n

5.3.1 集群结构 

\n

5.3.2 故障报告 

\n

5.3.3 故障处理 

\n

5.3.4 故障后期管理 

\n

5.4 性能管理 

\n

5.4.1 性能监控 

\n

5.4.2 性能分析 

\n

5.5 日志管理 

\n

5.5.1 平台及组件相关命令行 ·

\n

5.5.2 日志和告警监控 

\n

5.6 日常巡检 

\n

5.6.1 检查内容分类 

\n

5.6.2 巡检方法分类 

\n

5.6.3 巡检流程 

\n

5.7 系统管理制度规范 

\n

5.7.1 系统管理标准 

\n

5.7.2 系统管理制度 

\n

5.7.3 系统管理规范 

\n

习题 

\n

参考文献 

\n

第6 章 高级系统运维 

\n

6.1 安全管理 

\n

6.1.1 资产安全 

\n

6.1.2 应用安全 

\n

目录 XIII

\n

6.1.3 安全威胁 

\n

6.1.4 安全措施 

\n

6.2 系统优化 

\n

6.2.1 Hadoop 配置优化 

\n

6.2.2 Hadoop 性能优化 

\n

6.2.3 作业优化 

\n

6.3 高可用 

\n

6.3.1 高可用概述 

\n

6.3.2 高可用技术 

\n

6.3.3 业务连续性 

\n

习题 

\n

参考文献 

\n

第7 章 基础应用开发 

\n

7.1 Python 简介 

\n

7.1.1 Python 的前世今生 

\n

7.1.2 Python 的应用场合 

\n

7.1.3 Python 的特性 

\n

7.2 Python 语法 

\n

7.2.1 Python 赋值语句 

\n

7.2.2 顺序结构 

\n

7.2.3 选择结构 

\n

7.2.4 循环结构 

\n

7.2.5 绘图（用matplotlib 等新库） 

\n

7.2.6 函数 

\n

7.2.7 常用模块 

\n

7.3 Python 程序调试 

\n

7.3.1 拼接字符串 

\n

7.3.2 使用 generator 

\n

7.3.3 死循环 

\n

7.3.4 巧用多重赋值 

\n

7.3.5 使用C 扩展（extension） 

\n

7.3.6 并行编程 

\n

习题 

\n

XIV 大数据应用部署与调优

\n

参考文献 

\n

第8 章 大数据应用开发 

\n

8.1 数据获取 

\n

8.1.1 通过传感器采集数据 

\n

8.1.2 通过API 获取数据 

\n

8.1.3 网络信息抓取 

\n

8.1.4 通过网络信息系统获取数据 ·

\n

8.2 数据分析 

\n

8.2.1 数据分析概念和分类 

\n

8.2.2 数据分析方法 

\n

8.3 数据可视化

\n

8.3.1 数据可视化基础 

\n

8.3.2 大数据可视化方法 

\n

8.4 应用案例开发

\n

8.4.1 案例一 Python 数据分析：商圈分析 ·

\n

8.4.2 案例二 Python 数据分析：招聘信息可视化案例 

\n

习题 

\n

参考文献 

\n

附录A 大数据和人工智能实验环境 

\n