Hadoop专家：管理、调优与Spark|YARN|HDFS安全

　　本书翻译自Sam R. Alapati 的Expert Hadoop Administration。Sam R. Alapati 是Sabre 公司的首席Hadoop 管理员，具有多年的Hadoop 运维管理经验。他希望通过本书，为Hadoop 集群开发与管理人员提供一些有益指导。从事Hadoop 的管理工作，首先要了解Hadoop 的架构，只进行单纯的操作并不能被称为合格的管理员。基于此，本书在介绍Hadoop 及其生态组件时，都会首先介绍其架构，以期读者能够在更高的层次认识管理工作。本书首先介绍了Hadoop 的整体架构及其部署与使用；然后着重介绍了两个重要的计算引擎MapReduce 与Spark ；接着介绍了Hadoop 的数据存储与安全、数据均衡等特性；最后则介绍了如何进行参数调优与故障排除。整个流程下来，读者能够建立起完整的关于Hadoop 管理的体系架构。

　　Sam R. Alapati，从事Hadoop相关工作6年。目前在Sabre任Principal Hadoop Administrator，负责大规模Hadoop集群的日常管理工作，主要对多个关键数据科学、数据分析Hadoop作业工作流进行管理。Sam R. Alapati还是一位Oracle DBA专家，在过去14年间出版了18部广受好评的Oracle技术著作。贝壳大数据架构团队，负责公司大数据存储平台、计算平台、实时数据流平台的架构、性能调优、研发等，提供高效的大数据olap引擎，以及大数据工具链组件研发，为公司提供稳定、高效、开放的大数据基础组件与基础平台。

第Ⅰ部分　Hadoop架构与Hadoop集群介绍
第1章　Hadoop与Hadoop环境介绍............................................................................... 3
Hadoop简介.........................................................................................................................4
Hadoop 的特性............................................................................................................5
Hadoop 与大数据........................................................................................................5
Hadoop 的典型应用场景............................................................................................6
传统数据库系统..........................................................................................................7
数据湖..........................................................................................................................9
大数据、数据科学和Hadoop ..................................................................................10
Hadoop集群与集群计算................................................................................................... 11
集群计算.................................................................................................................... 11
Hadoop 集群..............................................................................................................12
Hadoop组件和Hadoop生态..............................................................................................14
Hadoop管理员需要做些什么...........................................................................................16
Hadoop 管理—新的范式......................................................................................17
关于Hadoop 管理你需要知道的.............................................................................18
Hadoop 管理员的工具集..........................................................................................19
Hadoop 1和Hadoop 2的关键区别....................................................................................19
架构区别....................................................................................................................20
高可用性....................................................................................................................20
多计算引擎................................................................................................................21
xiv 目录
分离处理和调度........................................................................................................21
Hadoop 1 和Hadoop 2 中的资源分配.....................................................................22
分布式数据处理：MapReduce和Spark、Hive、Pig ......................................................22
MapReduce ................................................................................................................22
Apache Spark .............................................................................................................23
Apache Hive ...............................................................................................................24
Apache Pig .................................................................................................................24
数据整合：Apache Sqoop、Apache Flume和Apache Kafka ..........................................25
Hadoop管理中的关键领域...............................................................................................26
集群存储管理............................................................................................................26
集群资源分配............................................................................................................26
作业调度....................................................................................................................27
Hadoop 数据安全......................................................................................................27
总结....................................................................................................................................28
第2章　Hadoop架构介绍............................................................................................. 31
Hadoop与分布式计算..................................