大数据平台部署与运维

　　本书围绕 Hadoop 大数据平台及其生态系统组件的部署与运维，采用 “任务驱动＋知识准备＋任务实施＋考核评价＂ 的项目化模式组织各单元的内容。全书分为 11 个单元，主要内容包括大数据简介、Hadoop伪分布式安装部署、Hadoop 集群部署与监控、HDFS 分布式存储、使用 MapReduce 实现电商销售数据的统计、Hadoop 高可用集群规划部署、分布式数据库 HBase 部署与应用、数据仓库 Hive 部署与应用、Spark计算框架部署、Flink流式计算框架部署与操作、020外卖服务大数据平台部署运维综合实训。本书可作为高等职业院校大数据及计算机相关专业的专业课教材， 也可作为大数据培训班的辅导教材， 还可供从事大数据技术及应用的专业人员和广大大数据平台爱好者自学选用参考。

　　郭建磊，女，高级信息系统项目管理师，曾在国内大型IT企业具有九年多的工作经验，实战经验丰富。进入高职院校工作后担任大数据技术专业负责人，荣获全国职业院校技能大赛"大数据技术与应用”赛项优秀指导教师。指导学生获得大数据国赛一等奖1项、国赛二等奖1项，省赛一等奖2项，近三年以来，指导学生在省级以上大数据技能竞赛共获奖18项。本书作者也是高职专科大数据技术专业国家教学标准主要执笔人之一。

单元1 大数据简介
任务 认识大数据 .
1.1.1 大数据的概念及特点
1.1.2 大数据的发展背景
1.1.3 大数据技术的发展历程
1.1.4 大数据的意义和应用现状
1.1.5 大数据的未来
1.1.6 大数据人才需求与岗位介绍
单元 2 Hadoop 伪分布式安装部署
任务2.1 搭建Hadoop伪分布式
2.1.1 Hadoop的发展 历程 与应用现状
2.1.2 Hadoop 的优 点与核心 组成
2.1.3 Hadoop 的安装方式
2.1.4 Hadoop 各版本选择
2.1.5 Hadoop 伪分布式搭建的基本流程.
任务 2.2 启动与访问 Hadoop
2.2.1 Hadoop 启动／停止 的操作命令
2.2.2 基于 Web UI 监控 Hadoop 平 台
单元 3 Hadoop 集群部署与监控
任务3.1 搭建Hadoop集群
3.1.1 集群概述
3 .1.2 Hadoop 集群的 特点
3.1.3 H adoop 集群规 划
3.1.4 Hadoop 集群部署 的过程 ..
任务 3.2 监控 Hadoop 集群..
单元 4 HDFS 分布式存储
任务4.1 认识HDFS
4.1.1 HDFS的原理
4.1.2 HDFS 读写文件 的流程
4.1.3 HDFS 的特点及其不适合的 应用场景
任务 4.2 HDFS 的文件 系统操作
任务 4.3 HDFS 的系统管理操作
4.3.1 HDFS 的安全模 式操作
4.3.2 HDFS 增加扩容操作..............
4.3.3 HDFS 数据平衡
4.3.4 HDFS 存储策略..
4.3.5 HDFS 快照
任务4.4 部署本地开发环境
4.4.1 认识JDK
4.4.2 认 识 Maven
4.4.3 认 识 IDEA
任务 4.5 HDFS 的 Java API 操作
单元5 使用MapReduce 实现电商销售数据的统计
任务 5.1 认识 MapReduce
5.1.1 MapReduce 的概 念与原理
5.1.2 MapReduce 的体 系 架构
5.1.3 MapReduce 的发展现状
5.1.4 YARN 的运行机制
任务 5.2 使用 MapReduce 实现词频的统计
5.2.1 MapReduce 数据处理的流程.
5.2.2 MapReduce 相关 Java API 及应用
5.2.3 MapReduce 驱动类
任务 5.3 使用 MapReduce 完成电商销售数据的统计
5.3.1 MapReduce 完成电 商销售数 据统计的 流程
5.3.2 自定义分区
5.3.3 自 定 义 数 据 类 型
任务 5.4 MapReduce 任务监控..
5.4.1 MapReduce 任务监控的方式
5.4.2 任务失败的几种情况
5.4.3 MapReduce日志文件
单元 6 Hadoop 高可用集群规划部署
任务 6.1 部署与访问 ZooKeeper
6.1.1 ZooKeeper 概述及其特性
6.1.2 ZooKeeper 的应 用场 景
6.1.3 ZooKeeper 的工作原理
6.1.4 ZooKeeper 的部 署方式
任务 6.2 部署 Hadoop 高可用集群
6.2.1 Hadoop 高可 用集群的 工作原理..
6.2.2 Hadoop 高可用集 群的主要配置项及含义.
单元 7 分布式数据库HBase 部署与应用
任务 7.1 搭建伪分布式 HBase
7.1.1 HBase 的原理
7.1.2 HBase 的体系架构
7.1.3 HBase 与 JDK、Hadoop 版本的兼容关系
7.1.4 HBase 伪分布式部署准备 ...
任务 7.2 部署 HBase 完全分布式集群
7.2.1 HBase 集群规划
7.2.2 HBase 的主要配置项及含义.
7.2.3 HBase 访问命令
7.2.4 基于 Web UI 监控 HBase 的 状 态
任务 7.3 HBase 集群运维
7.3.1 HBase 监控工具介绍
7.3.2 HBase 集群优化
单元 8 数据仓库Hive 部署与应用
任务 8.1 部署 Hive 本地模式
8.1.1 Hive 介绍
8.1.2 Hive 的安装方式
任务 8.2 部署 Hive 远程模式·....
单元 9 Spark 计算框架部署..
任务 9.1 部署与操作 Spark Local
任务 9.2 部署与操作 Spark Standalone
9.2.1 Spark 运行流程
9.2.2 Spark 配置文件与配置参数
任务 9.3 部署与操作 Spark on YARN
单元 10 Flink 流式计算框架部署与操作.
任务 10.1 部署本地模式 Flink
10.1.1 Flink 介绍
10.1.2 Flink 的部署模式
任务 10.2 部署独立模式Flink集群
10.2.1 Flink的体系架构
10.2.2 Flink 集群的运行模式
任务 10.3 部署并运行 Flink on YARN 集群
10.3.1 Flink on YARN 的运行方法
10.3.2 故 障调试与恢复
单元 11 0 20 外卖服务大数据平台部署运维综合实训...