持久内存架构与工程实践

目录
第1章  持久内存的需求 / 1
1．1  持久内存的产生 / 2
1．1．1  大数据发展对内存的需求 / 2
1．1．2  内存和存储间的性能鸿沟 / 5
1．1．3  持久内存的使用场景 / 7
1．2  非易失性存储介质 / 10
1．2．1  传统非易失性存储介质 / 10
1．2．2  新型非易失性存储介质 / 11
1．2．3  非易失性存储介质主要特性比较 / 14
1．3  持久内存模块 / 15
1．3．1  持久内存的JEDEC标准分类 / 15
1．3．2  Intel傲腾持久内存 / 16
参考文献 / 18
第2章  持久内存的架构 / 19
2．1  内存数据持久化 / 20
2．1．1  数据持久化 / 20
2．1．2  持久化域 / 21
2．1．3  异步内存刷新技术 / 23
2．2  持久内存硬件架构 / 25
2．2．1  持久内存的硬件模块 / 25
2．2．2  持久内存的外部接口 / 27
2．3  持久内存及主机端的固件架构 / 30
2．3．1  接口规范 / 30
2．3．2  持久内存固件 / 34
2．3．3  主机端固件 / 34
2．4  持久内存的安全考虑 / 37
2．4．1  威胁模型 / 37
2．4．2  安全目标 / 38
2．4．3  基于硬件的内存加密 / 40
2．5  持久内存的可靠性、可用性和可维护性 / 40
2．5．1  可靠性、可用性和可维护性定义 / 40
2．5．2  硬件基础 / 41
2．5．3  错误检测和恢复 / 42
2．5．4  单芯片数据纠正和双芯片数据纠正 / 43
2．5．5  巡检 / 43
2．5．6  地址区间检查 / 44
2．5．7  病毒模式 / 45
2．5．8  错误报告和记录 / 45
2．5．9  持久内存故障隔离 / 45
2．5．10  错误注入 / 46
2．6  持久内存的管理 / 47
2．6．1  带内管理和带外管理 / 47
2．6．2  温度管理 / 51
2．7  持久内存的性能 / 53
2．7．1  空闲读取延时 / 53
2．7．2  带宽 / 53
2．7．3  访问粒度 / 53
2．7．4  加载读取延时 / 54
2．7．5  应用性能 / 56
第3章  操作系统实现 / 59
3．1  Linux持久内存内核驱动实现 / 60
3．1．1  操作系统驱动及实现 / 60
3．1．2  固件接口表 / 61
3．1．3  驱动框架 / 61
3．1．4  块设备接口实现 / 63
3．1．5  字符设备接口实现 / 66
3．1．6  NUMA节点接口实现 / 67
3．1．7  持久内存的RAS适配 / 70
3．2  Linux持久内存虚拟化实现 / 71
3．2．1  持久内存虚拟化实现 / 71
3．2．2  使用配置方法 / 77
3．2．3  性能优化指导 / 80
3．3  Windows持久内存驱动实现 / 82
3．3．1  持久内存支持概述 / 82
3．3．2  持久内存驱动框架解析 / 82
3．4  持久内存管理工具 / 83
3．4．1  持久内存的配置目标和命名空间 / 83
3．4．2  IPMCTL / 90
3．4．3  NDCTL / 94
3．4．4  Windows管理工具 / 97
第4章  持久内存的编程和开发库 / 98
4．1  持久内存SNIA编程模型 / 99
4．1．1  通用持久内存设备驱动 / 100
4．1．2  传统文件系统 / 100
4．1．3  持久内存感知文件系统 / 100
4．1．4  管理工具和管理界面 / 101
4．2  持久内存访问方式 / 101
4．2．1  持久内存访问方式 / 102
4．2．2  传统块访问方式 / 104
4．2．3  底层数据存取方式 / 105
4．3  持久内存编程的挑战 / 106
4．3．1  数据持久化 / 107
4．3．2  断电一致性 / 107
4．3．3  数据原子性 / 108
4．3．4  持久内存分配 / 109
4．3．5  位置独立性 / 109
4．4  PMDK编程库 / 110
4．4．1  libmemkind库 / 110
4．4．2  libpmem库 / 113
4．4．3  libpmemobj库 / 120
4．4．4  libpmeblk 和libpmemlog / 143
4．4．5  libpmemobj-cpp库介绍 / 143
4．5  持久内存和PMDK的应用 / 152
4．5．1  PMDK库的应用场景 / 152
4．5．2  pmemkv键值存储框架的介绍 / 153
4．5．3  PMDK在Redis持久化的应用 / 156
参考文献 / 162
第5章  持久内存性能优化 / 163
5．1  与持久内存相关的配置选项和性能特点 / 164
5．1．1  持久内存的常见配置选项与使用模式介绍 / 164
5．1．2  内存模式下的性能特点与适用业务的特征 / 164
5．1．3  AD模式下的性能特点与适用业务的特征 / 167
5．2  持久内存的相关性能评测与基础性能表现 / 170
5．2．1  不同持久内存配置与模式下的基础性能表现 / 170
5．2．2  内存模式下的典型业务场景 / 171
5．2．3  AD模式下的典型业务场景 / 172
5．3  常用性能优化方式与方法 / 173
5．3．1  平台配置优化 / 173
5．3．2  微架构选项优化 / 176
5．3．3  软件编程与数据管理策略的优化 / 181
5．4  性能监控与调优工具 / 183
5．4．1  Memory Latency Checker / 183
5．4．2  Performance Counter Monitor / 186
5．4．3  VTune Amplifier / 188
第6章  持久内存在数据库的应用 / 192
6．1  Redis概况 / 193
6．2  使用持久内存扩展Redis内存容量 / 194
6．2．1  使用持久内存扩展内存容量 / 195
6．2．2  使用NUMA节点扩展内存容量 / 196
6．2．3  使用AD模式扩展内存容量 / 198
6．3  使用持久内存的持久化特性提升Redis性能 / 200
6．3．1  使用AD模式实现RDB / 202
6．3．2  使用AD模式实现AOF / 204
6．4  RocksDB概述及性能特性 / 206
6．5  RocksDB的LSM索引树 / 208
6．6  利用持久内存优化RocksDB性能 / 211
6．6．1  RocksDB的性能瓶颈 / 217
6．6．2  持久内存优化RocksDB的方式和性能结果 / 219
第7章  持久内存在大数据的应用 / 234
7．1  持久内存在大数据分析和人工智能中的应用概述 / 235
7．2  持久内存在大数据计算方面的加速方案 / 235
7．2．1  持久内存在Spark SQL数据分析场景的应用 / 235
7．2．2  持久内存在MLlib机器学习场景的应用 / 241
7．2．3  Spark PMoF：基于持久内存和RDMA网络的高性能Spark Shuffle方案 / 247
7．3  持久内存在大数据存储中的应用 / 255
7．3．1  持久内存在HDFS缓存中的应用 / 255
7．3．2  持久内存在Alluxio缓存中的应用 / 260
7．4  持久内存在Analytics Zoo中的应用 / 264
7．4．1  Analytics Zoo简介 / 264
7．4．2  持久内存在Analytics Zoo中的具体应用 / 264
第8章  持久内存在其他领域的应用 / 267
8．1  持久内存的应用方式及可解决的问题 / 268
8．1．1  持久内存的应用方式 / 268
8．1．2  持久内存能够解决的问题 / 269
8．2  持久内存在推荐系统中的应用 / 270
8．2．1  推荐系统的主要组成 / 271
8．2．2  推荐系统的持久内存应用方法 / 272
8．2．3  推荐系统应用案例 / 272
8．3  持久内存在缓存系统的应用 / 277
8．3．1 缓存系统的分类和特点 / 277
8．3．2  缓存系统应用案例 / 280
8．4  持久内存在高性能计算中的应用 / 284
8．5  持久内存在虚拟云主机中的应用 / 285
8．6  持久内存的应用展望 / 286