写给架构师的Linux实践：设计并实现基于Linux的IT解决方案

　　本书是一本帮你全面掌握各种Linux组件与功能，以及相关技术的实用指南。书中分别从存储、可用性、数据监控和系统管理四方面详细介绍如何设计并实现基于Linux的解决方案。 在面对具体的问题时，作者首先指出有助于解决该问题的几项指标，然后介绍可供选择的各种工具与做法并分析优劣，最后通过详细的配置文件、程序代码及控制台命令帮助给出较为恰当的解决方案。 全书共15章，分为四部分。 ●第一部分（第1~5章）介绍使用GlusterFS部署高性能的存储解决方案时，应该如何做出必要的决策； ●第二部分（第6~9章）讲解Kubernetes的优势，说明怎样用它来编排容器化应用程序的部署与管理工作，并演示解决方案的部署过程； ●第三部分（第10~12章）讲解如何实现ELK stack（ELK栈），通过其中的Elasticsearch、Logstash与Kibana可以把环境日志管理好； ●第四部分（第13~15章）介绍IaC（Infrastructure as Code）的工作原理，以及用Saltstack来管理系统有哪些好处，并且讨论一些设计经验。 本书适合Linux 系统管理员、Linux支持工程师、DevOps工程师、Linux顾问，以及使用各种开源技术的专业工作者阅读参考，以帮助其学习基于Linux及开源软件的解决方案，并提高架构、设计与实现水平。

　　★丹尼斯·萨拉曼卡（Denis Salamanca）从20岁起就从事IT工作，并在VMware、Microsoft、Hewlett-Packard Enterprise等多家知名企业就职。他目前在云端、存储、Linux、Docker及虚拟化等不同领域，获得了共计十多项技术认证，此外还参与了Linux认证的制定工作，该认证是CompTIA（Computing Technology Industry Association，美国计算机行业协会）Linux Subject Matter Experts and Technical Advisory Committee 的一部分。 ★埃斯特班·弗洛雷斯（Esteban Flores）从8岁起就开始摆弄电脑。他曾供职于Hewlett-Packard Enterprise、VMware、Akamai及 Microsoft等多家知名企业。他有十年工作经验，而且喜欢尝试新技术，这促使他在工作过程中体验不同的职位。存储技术一直都是他的强项，他尤其关注性能调整与优化。

【第一部分　用GlusterFS 制定高性能的存储解决方案】

●第1章　设计方法简介 …… 2

1.1　定义解决方案设计的多个阶段及其意义 …… 2

1.2　分析问题并准确地提出问题 …… 3

1.2.1　技术角度 …… 4

1.2.2　业务角度 …… 5

1.2.3　功能角度 …… 6

1.3　考虑可行的解决方案 …… 6

1.4　把解决方案实现出来 …… 9

●第2章　定义 GlusterFS 存储 …… 11

2.1　技术需求 …… 11

2.2　什么是集群 …… 11

2.2.1　用集群处理计算任务 …… 11

2.2.2　存储集群 …… 13

2.3　什么是 GlusterFS …… 13

2.4　块存储、文件存储与对象存储 …… 15

2.4.1　块存储 …… 16

2.4.2　文件存储 …… 17

2.4.3　对象存储 …… 18

2.5　为什么选择 GlusterFS …… 20

2.5.1　GlusterFS 的特性 …… 21

2.5.2　Gluster 存储卷的类型 …… 22

2.6　对高冗余存储的需求 …… 25

2.7　对高性能存储的需求 …… 27

2.8　并行 I/O …… 28

●第3章　架构存储集群 …… 30

3.1　技术需求 …… 30

3.2　GlusterFS 对计算机的要求 …… 30

3.2.1　RAM …… 31

3.2.2　CPU …… 31

3.3　需要多大的存储空间 …… 32

3.3.1　GlusterFS的卷类型 …… 32

3.3.2　应用程序所需的空间 …… 33

3.3.3　项目的增长情况 …… 33

3.4　性能方面的注意事项 …… 34

3.4.1　吞吐量 …… 34

3.4.2　延迟 …… 34

3.4.3　IOPS …… 35

3.4.4　I/O 的大小 …… 35

3.4.5　GlusterFS 的性能 …… 35

3.5　确保高可用性的最佳方法 …… 37

3.5.1　用复制卷确保高可用性 …… 37

3.5.2　用分散卷确保高可用性 …… 38

3.5.3　地域复制 …… 38

3.6　根据工作类型来确定需求 …… 39

3.6.1　文档 …… 39

3.6.2　系统工具 …… 39

3.6.3　文件的类型与大小 …… 39

3.6.4　提出正确的问题 …… 40

 

●第4章　在云基础设施上使用 GlusterFS …… 43

4.1　技术需求 …… 43

4.2　设定后端存储所需的 brick …… 44

4.2.1　部署 Azure …… 44

4.2.2　用 ZFS 做 brick 的后端 …… 45

4.3　在节点上安装 GlusterFS …… 49

4.3.1　安装必要的软件包 …… 49

4.3.2　创建 trusted pool …… 50

4.4　创建存储卷 …… 51

4.4.1　创建分散式的存储卷 …… 51

4.4.2　挂载存储卷 …… 52

4.5　优化性能 …… 52

4.5.1　调整 GlusterFS …… 52

4.5.2　调整 ZFS …… 53

 

●第5章　分析 Gluster 系统的性能 …… 56

5.1　技术需求 …… 56

5.2　概述目前的实现方案 …… 56

5.3　性能测试 …… 57

5.3.1　理论上的性能 …… 57

5.3.2　性能工具 …… 58

5.4　可用性测试 …… 63

5.5　扩展 …… 63

 

【第二部分　用Kubernetes制作可用性高的Nginx Web应用程序】

●第6章　创建可用性高的自我修复架构 …… 66

6.1　微服务 …… 66

6.2　创建容器镜像 …… 69

6.2.1　FROM 指令 …… 70

6.2.2　LABEL 指令 …… 70

6.2.3　RUN 指令 …… 71

6.2.4　ENV指令 …… 71

6.2.5　COPY指令 …… 72

6.2.6　EXPOSE指令 …… 73

6.2.7　CMD与ENTRYPOINT指令 …… 73

6.3　构建容器镜像时的经验 …… 76

6.4　容器编排 …… 80

6.5　Kubernetes …… 81

●第7章　了解 Kubernetes 集群的核心组件 …… 84

7.1　控制面的各种 Kubernetes 组件 …… 84

7.1.1　kube-apiserver …… 85

7.1.2　kube-controller-manager …… 85

7.1.3　kube-scheduler …… 85

7.1.4　etcd 数据库 …… 85

7.2　Kubernetes 的工作节点 …… 86

7.2.1　容器运行时 …… 86

7.2.2　kubelet …… 86

7.2.3　kube-proxy …… 87

7.3　Kubernetes 的对象 …… 87

7.3.1　Kubernetes 的基本对象：pod …… 89

7.3.2　deployment 对象 …… 91

7.3.3　服务 …… 93

7.3.4　Kubernetes 与持久存储 …… 95

 

●第8章　架构 Kubernetes 集群 …… 100

8.1　各种 Kubernetes 组件的规模与尺寸问题 …… 100

8.1.1　etcd 方面的问题 …… 100

8.1.2　kube-apiserver 的数量与规格 …… 101

8.1.3　工作节点 …… 101

8.1.4　负载均衡器方面的问题 …… 102

8.2　存储方面的问题 …… 103

8.3　网络方面的需求 …… 104

8.4　定制 kube 对象 …… 106

8.4.1　名称空间 …… 106

8.4.2　对名称空间所能使用的资源做出限制 …… 107

8.4.3　定制 pod …… 108

 

●第9章　配置并部署 Kubernetes …… 114

9.1　部署基础设施 …… 114

9.1.1　安装 Azure CLI …… 114

9.1.2　宏观设计概述 …… 115

9.1.3　配置网络资源 …… 116

9.1.4　配置计算资源 …… 117

9.1.5　把 management VM 准备好 …… 119

9.1.6　Kubeconfig …… 127

9.1.7　为控制面的各组件安装必要的二进制文件 …… 130

9.1.8　为 kubelet 设定 RBAC 权限 …… 137

9.1.9　设置负载均衡器 …… 138

9.1.10　设置工作节点 …… 144

9.1.11　配置 Kubernetes 的网络 …… 148

9.1.12　DNS 服务器 …… 150

9.1.13　云平台所提供的托管式 Kubernetes 解决方案 …… 150

 

【第三部分　Elastic Stack（ELK Stack）】

●第10章　用 ELK Stack 进行监控 …… 154

10.1　技术需求 …… 154

10.2　为什么要做数据监测 …… 154

10.2.1　通过历史数据制定决策 …… 155

10.2.2　主动探查有可能出现的问题 …… 156

10.2.3　了解整套产品的性能 …… 156

10.2.4　合理制定预算计划 …… 157

10.3　集中式的日志 …… 157

10.4　Elasticsearch 概述 …… 159

10.4.1　迅速 …… 159

10.4.2　易于扩展 …… 159

10.4.3　可用性高 …… 159

10.5　Logstash …… 159

10.5.1　Grok …… 160

10.5.2　定制的模式 …… 160

10.6　用 Kibana 进行整合 …… 161

●第11章　设计 ELK Stack …… 164

11.1　技术要求 …… 164

11.2　Elasticsearch 对 CPU 的要求 …… 165

11.2.1　CPU 的数量 …… 165

11.2.2　CPU 的速度 …… 165

11.2.3　CPU 对性能的影响 …… 165

11.2.4　与 CPU 规格有关的建议 …… 167

11.3　Elasticsearch 对内存的要求 …… 167

11.3.1　文件系统的缓存 …… 168

11.3.2　禁用 swap …… 169

11.3.3　因内存不足而导致的问题 …… 169

11.3.4　与内存有关的建议 …… 171

11.4　Elasticsearch 对存储设备的要求 …… 172

11.4.1　对存储容量的要求 …… 172

11.4.2　对存储性能的要求 …… 172

11.4.3　与存储设备有关的一些建议 …… 172

11.5　Logstash 与 Kibana 的要求 …… 173

11.5.1　Logstash …… 173

11.5.2　Kibana …… 173

 

●第12章　用 Elasticsearch、Logstash 与 Kibana管理日志 …… 176

12.1　技术需求 …… 176

12.2　概述 Elastic Stack 的部署工作 …… 177

12.3　安装 Elasticsearch …… 178

12.3.1　配置 RPM 软件仓库 …… 178

12.3.2　Elasticsearch 的数据目录 …… 179

12.4　配置 Elasticsearch …… 182

12.4.1　修改 Elasticsearch 的 YAML 配置文件 …… 182

12.4.2　启动 Elasticsearch …… 185

12.4.3　添加 Elasticsearch 节点 …… 186

12.5　安装Logstash与Kibana …… 187

12.6　配置 Kibana …… 192

12.6.1　 修改 Kibana 的 YAML 文件 …… 192

12.6.2　起到协调作用的 Elasticsearch 节点 …… 192

12.7　启动 Logstash 与 Kibana …… 193

12.8　什么是 Beats …… 194

12.8.1　Filebeat …… 194

12.8.2　Metricbeat …… 195

12.9　把必要的 Beats 安装好 …… 195

12.10　配置 Beats 客户端 …… 196

12.10.1　修改 Filebeat 的 YAML 文件 …… 196

12.10.2　修改 Metricbeat 的 YAML 文件 …… 198

12.11　后续步骤 …… 199

 

【第四部分　用 Saltstack 管理系统】

●第13章　用 Salt方案解决管理问题 …… 204

13.1　把系统管理工作集中到同一个地方 …… 204

13.2　理解NaCI …… 208

●第14章　实践Salt方案 …… 218

14.1　正式接触Salt …… 218

14.2　用包管理器安装Salt …… 229

 

●第15章　设计经验 …… 246

15.1　根据项目所在的环境进行设计 …… 246

15.2　怎样设计本地项目 …… 247

15.3　怎样设计云端环境中的项目 …… 249

15.4　将项目迁移到云端 …… 249