数据中心一体化最佳实践：设计仓储级计算机（原书第3版）

　　本书介绍了仓储级计算机（WSC）的设计。这种计算平台是云计算的核心，支撑着我们每天都在使用的各种强大的互联网服务。书中讨论了此类新型系统如何将数据中心本身当作一台超大规模的仓储级计算机来使用，同时又能使软硬件充分协同并提供高性能的互联网服务。每一章都涵盖多个真实世界的案例，其中包括详尽的谷歌在线服务的基础设施信息 全书共分8章。第1章为绪论，概述仓储级计算机及其架构；第2章首先总体介绍WSC中运行的应用，以及包括平台层软件、集群层基础软件、监控和管理软件在内的系统基础设施技术栈；第3章涵盖关键的硬件组件，重点讨论服务器和加速器组件、存储架构和数据中心网络设计，以及计算、存储和网络之间的相互作用；第4章着眼于更底层的系统设计，重点关注数据中心电力、冷却基础设施和建筑的设计；第5章讨论能耗和能效相关的话题，包括稳定测定能效的挑战、衡量数据中心能效的电力使用效率以及电力超额配置的设计和好处；第6章讲解如何对WSC的TCO进行建模，其中包括资本支出和运营支出，并通过案例比较传统计算机和WSC计算机；第7章讨论正常运行时间和可用性，包括如何对故障进行分类以及故障处理、维修优化的方法；第8章总结历史趋势并展望未来——WSC和云计算将成为主流和中心。本书主要面向当今WSC系统的架构师和程序开发人员，希望能为有志于在此重要领域发展的人员打下一个坚实的基础，同时相关的内容也适用于那些仅想了解互联网基础设施信息的人群。

　　作者简介 路易斯·安德烈·巴罗索（Luiz André Barroso）谷歌研究员、ACM会士，也是AAAS会士。目前领导着谷歌地图的工程基础设施工作，曾是谷歌平台工程团队的*一任经理，负责设计公司的计算平台。在网页搜索、基础软件、存储可用性、能效和硬件设计多个工程领域都有涉猎。 乌尔斯·霍尔兹勒（Urs Hölzle）谷歌首位工程副总裁，自1999年以来一直领导着谷歌技术基础设施的开发。他目前的职责包括服务器、网络、数据中心以及基础软件的设计与运维，以支持谷歌内部和对外的云平台。他是ACM和AAAS会士、瑞士技术科学院和国家工程院的成员，并在美国的世界自然基金会的董事会任职。 帕塔萨拉蒂·兰加纳坦（Parthasarathy Ranganathan） 谷歌计算和数据中心硬件领域的技术带头人。此前，他曾是惠普实验室的研究员和首席技术专家，领导着系统和数据中心的研究。他发表了大量的论文，作为共同发明人的专利超过100项。他还是ACM SIGARCH Maurice Wilkes奖的获得者以及莱斯大学杰出青年工程校友奖得主。Partha目前是谷歌的杰出工程师、IEEE和ACM会士。译者简介徐凌杰，阿里云资深技术专家，负责包括GPU和AI芯片在内的数据中心异构计算基础设施，专注于架构与应用的软硬件协同。在加入阿里巴巴之前，他曾在NVIDIA、AMD和三星担任过多个大型GPU芯片项目的高级管理和架构师职位。他本科就读于上海交通大学信息工程专业，后赴美在德州大学奥斯汀分校获计算机体系结构硕士学位，并拥有加州大学伯克利分校的MBA学位。

译者序
致谢
作者简介
译者简介
第1章　绪论1
1.1　仓储级计算机2
1.2　规模化下的成本效益3
1.3　不仅是服务器的简单堆砌4
1.4　单个数据中心与多个数据中心4
1.5　为什么WSC对你至关重要5
1.6　WSC架构概述6
1.6.1　服务器6
1.6.2　存储7
1.6.3　网络结构8
1.6.4　建筑与基础设施9
1.6.5　电力使用11
1.6.6　故障与维修处理12
1.7　本书概述12
第2章　工作负载与基础软件15
2.1　WSC系统栈15
2.2　平台层软件16
2.3　集群层基础软件17
2.3.1　资源管理17
2.3.2　集群基础软件18
2.3.3　应用框架18
2.4　应用层软件19
2.4.1　工作负载多样性19
2.4.2　网页搜索20
2.4.3　视频服务22
2.4.4　学术文章相似度搜索23
2.4.5　机器学习24
2.5　监控基础设施27
2.5.1　服务层仪表盘27
2.5.2　性能诊断工具27
2.5.3　平台层健康监控28
2.6　WSC软件的权衡29
2.6.1　数据中心和台式机29
2.6.2　性能与可用性工具箱30
2.6.3　购买还是自建32
2.6.4　长尾容忍33
2.6.5　工程师应该知道的延迟数据33
2.7　云计算35
2.7.1　面向公有云服务的WSC和对内服务的WSC36
2.7.2　云原生软件36
2.8　仓储级信息安全37
第３章　WSC硬件组件39
3.1　服务器硬件39
3.1.1　服务器和机架概述40
3.1.2　大型SMP通信效率的影响43
3.1.3　高性能服务器和低性能服务器45
3.2　计算加速器48
3.2.1　图形处理器49
3.2.2　张量处理器50
3.3　网络52
3.3.1　集群网络52
3.3.2　主机网络56
3.4　存储57
3.4.1　硬盘托盘与无盘服务器57
3.4.2　WSC非结构化存储58
3.4.3　WSC结构化存储59
3.4.4　存储与网络技术相互作用60
3.5　平衡的设计61
3.5.1　系统平衡：存储层次结构62
3.5.2　量化延迟、带宽及容量62
第4章　数据中心基础：建筑、电力与冷却65
4.1　数据中心概述65
4.1.1　等级分类与规格65
4.1.2　建筑基础知识66
4.2　数据中心电力系统68
4.2.1　不间断电源系统68
4.2.2　配电单元69
4.2.3　交流与直流配电架构对比70
4.3　应用实例：冗余径向配电71
4.4　应用实例：中压电源层72
4.5　数据中心冷却系统74
4.5.1　机房空调系统76
4.5.2　冷水机组77
4.5.3　冷却塔77
4.5.4　自然冷却79
4.5.5　对气流的考量79
4.5.6　机架内冷却、行级冷却和液体冷却81
4.5.7　基于集装箱的数据中心82
4.6　应用实例：谷歌数据中心顶部冷却系统84
4.7　本章小结84
第5章　能耗与能效85
5.1　数据中心能效85
5.1.1　PUE指标86
5.1.2　PUE指标的问题88
5.1.3　数据中心能效损失来源89
5.1.4　提升数据中心能效90
5.1.5　基础设施之外的因素91
5.2　计算能效92
5.2.1　能效的测量92
5.2.2　服务器能效92
5.2.3　WSC使用画像93
5.3　能耗成比例计算95
5.3.1　能耗成比例程度低的原因96
5.3.2　提升能耗成比例的能力97
5.3.3　系统其他部分的能耗成比例98
5.3.4　低功耗模式的相对有效性99
5.3.5　软件在能耗成比例中的作用100
5.4　通过专用定制提高能效103
5.5　数据中心供电105
5.5.1　部署适量的设备105
5.5.2　数据中心超额用电105
5.6　服务器能量使用趋势107
5.7　本章小结109
第6章　成本建模111
6.1　资本成本111
6.2　运营成本113
6.3　案例分析114
6.4　实际数据中心成本116
6.5　建模部分使用的数据中心117
6.6　公有云成本118
第7章　故障处理与维修119
7.1　软件容错120
7.2　故障分类121
7.2.1　故障严重性分级122
7.2.2　导致服务级故障的原因123
7.3　机器级故障124
7.3.1　导致机器级故障的原因127
7.3.2　故障预测128
7.4　维修129
7.5　容错不是隐藏错误130
7.6　集群系统设计的故障统计131
第8章　结束语135
8.1　硬件136
8.2　软件137
8.3　经济性与能效138
8.4　打造响应快速的大规模系统139
8.4.1　不断演进的工作负载139
8.4.2　残酷的阿姆达尔定律139
8.4.3　为微秒级系统优化140
8.4.4　长尾140
8.5　展望141
8.5.1　摩尔定律的终结141
8.5.2　加速器与全局系统设计141
8.5.3　软件定义基础设施142
8.5.4　计算机体系结构和WSC的新纪元143
8.6　总结144
参考文献145