大数据运维图解教程

　　大数据平台运维是大数据应用人才培养的基本技能之一。本书讲解了大数据平台运维过程中的各个主要阶段及其任务，主要包括安装部署、优化监控、架构原理、生态系统、运维工具等。本书内容全面，涵盖了 Hadoop 生态绝大部分组件的运维，兼顾基础理论与运维实践经验。主要特色是将知识点凝练到图形中，通过视觉记忆，看图联想，理解知识点的含义和知识点之间的联系，以达到长时记忆、学以致用的目的。通过 800 多道习题，加强系统性和实践指导性。本书按照国家“1+X”大数据平台运维职业技能等级标准编写，可作为“1+X”职业技能等级证书配套教材，可作为《大数据导论》《大数据运维》的课程教材，同时也适合有意向从事大数据应用工作的广大学习者和爱好者阅读。

　　程显毅 工学博士，南通大学教授。硅湖职业技术学院特聘教授。江苏省人工智能学会监事，江苏省微电脑学会人工智能专委会副主任委员。长期从事人工智能、自然语言理解领域的教学研究工作。发表论文100多篇，出版教材6部、专著5部。 孙丽丽 硕士，硅湖职业技术学院计算机科学与技术学院副教授。江苏省高校“青蓝工程”优秀青年骨干教师培养对象，黑龙江省计算机科学与技术专业学科评估专家，黑龙江省计算机指导委员会委员，哈尔滨市优秀教师，师德优秀先进个人，国家职业技能鉴定中心高级考评员，黑龙江省网络与通信委员会委员，省重点专业计算机网络技术负责人。宋伟 高级工程师， 硕士，南通市226工程培养对象，江苏省计算机学会委员，全国高等院校计算机基础教育研究会青少年编程教育专业委员会委员，无损检测学会TC56分委员会委员，南通理工学院软件系主任，主要研究方向为无损检测成像算法与软件技术。

第1 章 大数据运维概述

1.1 从大数据说起  1

1.1.1 大数据产生、影响及挑战  1

1.1.2 大数据概念、特征及价值  14

1.1.3 大数据技术、产业及应用  18

1.2 大数据技术生态  24

1.2.1 分布式集群概述  24

1.2.2 Hadoop 生态系统  30

1.3 大数据运维  37

第2 章 集群基础环境搭建与运维

2.1 集群规划  41

2.2 虚拟机与Linux  44

2.3 网络配置与时钟同步  55

2.4 免密  60

2.5 JDK 和MySQL 部署  62

第3 章 分布式集群Hadoop 运维

3.1 Hadoop 平台安装与部署  69

3.1.1 Hadoop 安装准备  69

3.1.2 Hadoop 安装与部署  71

3.2 分布式存储组件HDFS  75

3.2.1 HDFS 结构  75

3.2.2 HDFS 读写原理  83

3.2.3 HDFS 操作与监控  86

3.3 离线分布式计算引擎MapReduce  90

3.3.1 MapReduce 结构与原理  90

3.3.2 MapReduce 部署与优化  100

3.4 集群资源管理YARN  101

3.4.1 YARN 的结构与原理  101

3.4.2 YARN 部署、优化与监控  105

第4 章 分布式系统协调器Zookeeper

4.1 Zookeeper 结构  108

IV 大数据运维图解教程

4.2 Zookeeper 原理  111

4.3 Zookeeper 部署与优化  117

第5 章 数据采集组件运维

5.1 日志采集组件Flume  121

5.2 数据迁移组件Sqoop  128

5.3 发布订阅消息组件Kafka  132

第6 章 数据处理组件运维

6.1 NoSQL 数据库HBase  137

6.1.1 NoSQL  137

6.1.2 HBase 架构与原理  141

6.1.3 HBase 部署与优化  148

6.2 数据仓库引擎Hive  153

6.2.1 Hive 架构与原理  154

6.2.2 Hive 部署与优化  166

6.3 内存计算引擎Spark  169

6.3.1 Spark 生态  169

6.3.2 Spark 架构与原理  173

6.3.3 Spark 部署与优化  179

第7 章 大数据平台运维工具

7.1 Ambari 大数据环境搭建利器  187

7.1.1 安装  187

7.1.2 使用  192

7.2 Hive SQL 监控系统—Hive Falcon  198

7.2.1 安装  198

7.2.2 使用  199

7.3 统一日志监控系统EKL  202

7.3.1 安装  202

7.3.2 使用  207

参考文献

附录A Web 监控端口

附录B 大数据平台运维任务

附录C 大数据运维三十六计