Ceph企业级分布式存储：原理与工程实践

　　内容简介 这是一本从工程角度讲解Ceph原理、实战和应用的著作，得到了近10家企业的高管和技术专家一致推荐。三位作者是RedHat和平安科技的资深技术专家，在分布式存储领域积累了丰富的经验。 虽然本书对Ceph的原理和架构做了详细的讲解，但这不是目的，本书希望读者在充分理解Ceph的原理的基础上，能够将Ceph正确、高效地应用于工程实践，在实践的过程中持续对Ceph进行优化和运维，z终实现Ceph的落地。 全书一共16章，围绕原理、实战、应用3个维度展开。 第1部分 Ceph原理（第1~4章） 这部分首先介绍了Ceph的必备常识，然后系统讲解了Ceph的架构设计，z后分析了Ceph的核心技术组件和客户端组件的原理。 第二部分 Ceph实战（第5~13章） 从实战的角度讲解了Ceph集群的规划、部署、管理，以及Ceph的对象存储、文件存储、块存储、容灾、故障定位和性能调优。这部分内容是本书的重点，决定了Ceph落地后的性能、容量、未来的运维便捷度和可扩展性等，想采用Ceph作为数据中心分布式存储方案的读者应重点关注。 第三部分 Ceph应用（第14~16章） 通过企业网盘搭建，以及与OpenStack和OpenShift等平台对接等典型应用场景相关的案例，讲解了Ceph的工程实践。

　　作者简介 景显强 红帽软件（北京）有限公司（RedHat）资深解决方案架构师，拥有10余年IT从业经验。在Linux内核开发及运维、分布式存储建设、IaaS云平台建设、PaaS云平台建设、企业自动化运维建设等方向拥有丰富的经验，曾帮助国内众多金融和制造业企业实现数字化转型。 龚向宇 红帽软件（北京）有限公司副首席咨询顾问，拥有近15年Linux开发与咨询经验。对Linux内核、云基础网络、存储均有较深入的理解，曾帮助国内众多企业落地基础架构平台相关软件，在项目落地中积累了丰富的经验。 黄军宝 平安科技云架构专家，曾任红帽软件（北京）有限公司首席讲师和解决方案架构师，拥有10余年IT行业经验。深入理解Linux操作系统，擅长开源架构方案设计，如OpenStack架构设计、基于OpenShift和Kubernetes的容器云架构设计、软件定义存储方案设计。多次主导运营商和金融企业私有云平台IaaS/PaaS方案落地。

推荐序
前　言
第一部分　Ceph原理
第1章　Ceph概述2
1.1　软件定义存储2
1.1.1　基本概念介绍2
1.1.2　软件定义存储工作机制3
1.1.3　软件定义存储的优势4
1.2　Ceph的发展史5
1.2.1　研究阶段5
1.2.2　孵化阶段6
1.2.3　商业化阶段7
1.2.4　成熟阶段8
1.3　Ceph的市场分析9
1.3.1　存储形态的转型9
1.3.2　存储形态演变的特点10
1.3.3　软件定义存储的市场分析11
1.4　Ceph的适用场景12
1.4.1　分析类应用场景举例13
1.4.2　IaaS云平台应用场景举例14
1.4.3　富媒体和归档应用场景举例15
1.4.4　企业文件同步和共享应用场景举例16
1.4.5　服务器和应用程序存储场景举例17
1.5　软件定义存储的商业产品18
1.6　本章小结20
第2章　Ceph架构分析21
2.1　Ceph集群的组成架构21
2.2　Monitor节点分析23
2.2.1　Ceph Cluster Map25
2.2.2　Ceph Monitor的Quorum机制25
2.2.3　Ceph Monitor一致性25
2.3　OSD节点分析26
2.3.1　运行OSD所需服务器配置推荐26
2.3.2　OSD的Scrub29
2.3.3　回填OSD30
2.3.4　OSD恢复30
2.4　Manager节点分析30
2.5　Ceph对象存储和对象网关31
2.5.1　对象存储31
2.5.2　对象网关32
2.6　文件存储元数据节点分析33
2.6.1　Ceph文件存储34
2.6.2　CephFS限制因素34
2.7　iSCSI网关节点分析36
2.8　本章小结36
第3章　Ceph核心技术组件37
3.1　Ceph的关键特性37
3.2　存储池39
3.2.1　Ceph技术组件的全景架构39
3.2.2　存储池定义的内容40
3.3　Ceph认证41
3.4　Ceph放置组42
3.4.1　PG基本概念42
3.4.2　放置组的计算方法43
3.4.3　PG和PGP的区别45
3.5　CRUSH算法46
3.6　Ceph数据副本49
3.7　Ceph纠删码49
3.8　Ceph对象存储技术51
3.8.1　FileStore技术52
3.8.2　BlueStore技术54
3.9　Ceph心跳检查55
3.10　Ceph Peering56
3.11　Ceph数据再平衡56
3.12　Ceph数据完整性57
3.13　本章小结58
第4章　Ceph客户端组件59
4.1　Ceph支持的客户端类型59
4.2　Ceph客户端的Watch/Notify机制60
4.3　Ceph客户端的独占锁61
4.4　Ceph客户端的对象映射62
4.5　Ceph客户端的数据条带化63
4.6　本章小结65
第二部分　Ceph实战
第5章　Ceph集群规划68
5.1　版本规划68
5.2　基础环境规划69
5.2.1　推荐使用的操作系统69
5.2.2　限制条件70
5.2.3　主要支持的特性71
5.3　服务器规划71
5.3.1　追求良好的IOPS的场景71
5.3.2　追求良好的吞吐量场景72
5.3.3　追求低成本、高容量的场景73
5.3.4　实验环境下服务器的最小配置73
5.4　组网规划74
5.4.1　组网规划建议74
5.4.2　Ceph消息通信框架76
5.4.3　防火墙规划76
5.5　本章小结77
第6章　Ceph集群安装部署78
6.1　基础环境准备78
6.1.1　创建虚拟机79
6.1.2　配置服务器80
6.2　准备安装介质81
6.3　安装前检查82
6.4　安装Ceph85
6.5　集群检查92
6.6　本章小结101
第7章　使用Ceph对象存储102
7.1　部署对象网关102
7.2　通过S3接口使用对象存储105
7.3　本章小结109
第8章　使用Ceph块存储110
8.1　创建和删除池110
8.2　RBD设备的配置及使用112
8.3　RBD快照114
8.4　RBD Image克隆116
8.5　RBD Image数据的导入/导出117
8.6　本章小结117
第9章　使用Ceph文件存储118
9.1　部署MDS118
9.2　使用CephFS120
9.3　CephFS扩展属性121
9.4　本章小结123
第10章　管理Ceph集群124
10.1　Ceph的常用命令124
10.2　配置CRUSH Map129
10.3　添加磁盘134
10.4　删除磁盘137
10.5　本章小结138
第11章　Ceph容灾140
11.1　对象存储容灾 141
11.1.1　对象存储容灾概述141
11.1.2　Ceph对象网关多站点介绍141
11.1.3　配置多站点对象网关实现容灾142
11.2　RBD块存储容灾157
11.2.1　数据复制方向157
11.2.2　数据复制模式159
11.2.3　配置RBD Mirror159
11.3　文件存储容灾164
11.4　本章小结164
第12章　调优方法165
12.1　性能测试工具166
12.2　测试用例167
12.2.1　RBD测试用例167
12.2.2　网络测试用例170
12.2.3　对象存储测试171
12.2.4　RADOS测试用例172
12.3　推荐的调优方向174
12.3.1　硬件调优174
12.3.2　网络调优176
12.3.3　内存调优178
12.3.4　Scrub179
12.3.5　Ceph配置参数调优179
12.4　本章小结180
第13章　故障定位方法181
13.1　获取集群状态181
13.2　诊断Monitor问题183
13.3　诊断对象问题184
13.4　数据平衡185
13.5　重要文件目录185
13.6　使用Ceph集群的注意事