书籍详情
Presto实战
作者：马特·富勒，[美]曼弗雷德·莫泽，[美]马丁·特拉韦尔索 著，张晨，黄鹏程，傅宇 译
出版社：人民邮电出版社
出版时间：2021-03-01
ISBN：9787115560056
定价：¥99.00
购买这本书可以去
内容简介
随着各行各业对大数据实时查询的需求持续增长，数据查询及分析引擎正变得不可或缺。Presto是由Facebook开源的高性能分布式SQL查询引擎，其用户包括Netflix、Airbnb、LinkedIn、Twitter、Uber等知名公司。本书由Presto的核心开发人员参与撰写，教你系统地学习Presto的用法。书中内容涵盖Presto的安装、设计理念、查询操作、最佳实践、与主要云平台的结合等。本书分为三大部分：第一部分介绍Presto的基础知识；第二部分更进一步，介绍Presto架构、集群部署、与数据源的连接等；第三部分讲解安全配置以及Presto的实际用例。你可以通过本书学会针对不同的数据源快速执行交互式SQL数据分析，并利用Presto管理和使用海量数据。
作者简介
马特·富勒（Matt Fuller）Starburst公司联合创始人。曼弗雷德·莫泽（Manfred Moser）开源社区拥护者、技术作家、培训师，Starburst公司软件工程师。马丁·特拉韦尔索（Martin Traverso）Presto项目创始成员，Presto软件基金会联合创始人，Starburst公司首席技术官。【译者简介】张晨毕业于上海交通大学，热爱大数据技术、数据库、分布式系统和函数式编程，现于Indeed东京担任软件工程师。黄鹏程毕业于北京邮电大学，专注于数据库和大数据平台的开发与架构工作。曾就职于中国民生银行，担任大数据基础架构团队负责人。现任阿里云高级产品专家，负责阿里云数据库相关产品的设计与规划工作。傅宇毕业于南京大学，专注于数据库技术，现任阿里云技术专家，担任PolarDB-X云原生分布式数据库内核研发工作，熟悉分布式事务、查询优化器和执行器，对大数据领域充满热情。
目录
译者序 xv
序 xvii
前言 xix
第 一部分 Presto 入门
第 1章 Presto 介绍 3
1．1 大数据带来的问题 3
1．2 Presto来救场 4
1．2．1 为性能和规模而生 5
1．2．2 SQL-on-Anything 5
1．2．3 存储与计算分离 6
1．3 Presto使用场景 6
1．3．1 单一的SQL分析访问点 7
1．3．2 数据仓库和数据源系统的访问点 7
1．3．3 提供对任何内容的SQL访问 8
1．3．4 联邦查询 9
1．3．5 虚拟数据仓库的语义层 9
1．3．6 数据湖查询引擎 9
1．3．7 SQL转换和ETL10
1．3．8 更快的响应带来更好的数据见解 10
1．3．9 大数据、机器学习和人工智能 10
1．3．10 其他使用场景 11
1．4 Presto 资源 11
1．4．1 官方网站 11
1．4．2 文档 12
1．4．3 社区交流 12
1．4．4 源代码、许可证和版本 12
1．4．5 贡献 12
1．4．6 本书资源 13
1．4．7 鸢尾花数据集 13
1．4．8 航班数据集 14
1．5 Presto简史 14
1．6 小结 15
第 2章 安装和配置Presto 16
2．1 使用Docker容器尝试Presto 16
2．2 使用归档文件安装 17
2．2．1 JVM 17
2．2．2 Python 18
2．2．3 安装 18
2．2．4 配置 19
2．3 添加数据源 20
2．4 运行Presto 21
2．5 小结 21
第3章 使用Presto 22
3．1 Presto CLI 22
3．1．1 使用入门 22
3．1．2 分页 25
3．1．3 命令历史 25
3．1．4 额外诊断 25
3．1．5 执行查询 25
3．1．6 输出格式 26
3．1．7 忽略错误 26
3．2 Presto JDBC驱动 27
3．2．1 下载和注册驱动 28
3．2．2 创建到Presto的连接 29
3．3 Presto与ODBC 31
3．4 客户端库 31
3．5 Presto Web UI 31
3．6 使用Presto执行SQL 32
3．6．1 概念 33
3．6．2 入门案例 33
3．7 小结 36
第二部分 深入理解Presto
第4章 Presto的架构 39
4．1 集群中的协调器和工作节点 39
4．2 协调器 41
4．3 节点发现服务 41
4．4 工作节点 42
4．5 基于连接器的架构 42
4．6 catalog、schema和表 43
4．7 查询执行模型 44
4．8 查询优化 47
4．8．1 解析和分析 48
4．8．2 初始查询计划 49
4．9 优化规则 50
4．9．1 谓词下推 51
4．9．2 Cross Join 消除 51
4．9．3 TopN 52
4．9．4 局部聚合 52
4．10 实现规则 53
4．10．1 Lateral Join 去关联化 53
4．10．2 Semi-join（IN）去关联化 54
4．11 基于代价的优化器 55
4．11．1 代价的概念 55
4．11．2 Join的代价 57
4．11．3 表统计信息 57
4．11．4 过滤统计信息 58
4．11．5 分区表的统计信息 59
4．11．6 Join枚举 60
4．11．7 广播Join和分布式Join 60
4．12 使用表统计信息 62
4．12．1 Presto的ANALYZE 命令 62
4．12．2 在写入存储时收集数据 63
4．12．3 Hive的ANALYZE 命令 63
4．12．4 显示表统计信息 63
4．13 小结 64
第5章 生产环境部署 65
5．1 配置细节 65
5．2 服务端配置 65
5．3 日志 66
5．4 节点配置 67
5．5 JVM配置 68
5．6 启动器 69
5．7 集群安装 70
5．8 使用RPM安装 72
5．8．1 安装目录结构 72
5．8．2 配置 73
5．8．3 卸载Presto 73
5．9 在云上安装 73
5．10 集群规模的考量 74
5．11 小结 74
第6章 连接器 75
6．1 配置 76
6．2 RDBMS连接器示例：PostgreSQL 76
6．2．1 查询下推 78
6．2．2 并行性和并发性 79
6．2．3 其他RDBMS连接器 80
6．2．4 安全性 81
6．3 Presto TPC-H和TPC-DS连接器 81
6．4 用于分布式存储数据源的Hive 连接器 82
6．4．1 Apache Hadoop和Hive 82
6．4．2 Hive连接器 83
6．4．3 Hive式表格式 85
6．4．4 内部表与外部表 85
6．4．5 分区数据 87
6．4．6 加载数据 88
6．4．7 文件格式和压缩 90
6．4．8 MinIO示例 91
6．5 非关系数据源 91
6．6 Presto JMX 连接器 92
6．7 黑洞连接器 94
6．8 内存连接器 94
6．9 其他连接器 95
6．10 小结 95
第7章 高级连接器实例 96
7．1 用Phoenix连接HBase 96
7．2 键值存储连接器示例：Accumulo 97
7．2．1 使用Presto Accumulo连接器 100
7．2．2 Accumulo中的谓词下推 102
7．3 Apache Cassandra 连接器 103
7．4 流式系统连接器示例：Kafka 104
7．5 文档存储连接器示例：Elasticsearch 106
7．5．1 概述 106
7．5．2 配置和使用方法 106
7．5．3 查询处理 107
7．5．4 全文搜索 107
7．5．5 总结 108
7．6 Presto中的联邦查询 108
7．7 ETL和联合查询 114
7．8 小结 114
第8章 在Presto中使用SQL 115
8．1 Presto语句 116
8．2 Presto系统表 118
8．3 catalog 120
8．4 schema 120
8．5 Information Schema 121
8．6 表 122
8．6．1 表和列属性 124
8．6．2 复制现有的表 125
8．6．3 从查询结果中新建表 126
8．6．4 修改表 127
8．6．5 删除表 127
8．6．6 连接器对表操作的限制 127
8．7 视图 128
8．8 会话信息和配置 128
8．9 数据类型 129
8．9．1 集合数据类型 131
8．9．2 时态数据类型 132
8．9．3 类型转换 135
8．10 SELECT语句基础 136
8．11 WHERE子句 137
8．12 GROUP BY和HAVING子句 138
8．13 ORDER BY子句和LIMIT子句 140
8．14 JOIN语句 140
8．15 UNION、INTERSECT和EXCEPT子句 141
8．16 分组操作 143
8．17 WITH子句 144
8．18 子查询 145
8．18．1 标量子查询 145
8．18．2 EXISTS子查询 146
8．18．3 集合比较子查询 146
8．19 从表中删除数据 147
8．20 小结 147
第9章 高级SQL特性 148
9．1 函数和运算符介绍 148
9．2 标量函数和运算符 149
9．3 布尔运算符 150
9．4 逻辑运算符 151
9．5 用BETWEEN语句选择范围 152
9．6 用IS(NOT) NULL检测值的存在 152
9．7 数学函数和运算符 152
9．8 三角函数153
9．9 常数和随机函数 154
9．10 字符串函数和运算符 154
9．11 字符串和映射 155
9．12 Unicode 156
9．13 正则表达式 158
9．14 解嵌套复杂数据类型 160
9．15 JSON函数 161
9．16 日期和时间函数及运算符 161
9．17 直方图 164
9．18 聚合函数 165
9．18．1 映射聚合函数 165
9．18．2 近似聚合函数 167
9．19 窗函数 168
9．20 lambda表达式 169
9．21 地理空间函数 170
9．22 Prepared Statement 171
9．23 小结 173
第三部分 Presto的实际应用
第 10章 安全 177
10．1 认证 178
10．2 授权 181
10．2．1 系统访问控制 181
10．2．2 连接器访问控制 184
10．3 加密 186
10．3．1 加密Presto客户端与协调器之间的通信 188
10．3．2 创建Java keystore和Java truststore 190
10．3．3 在Presto集群内加密通信 192
10．4 CA与自签名证书 193
10．5 证书认证 194
10．6 Kerberos 197
10．6．1 前提条件 198
10．6．2 Kerberos客户端认证 198
10．6．3 集群内部Kerberos 198
10．7 数据源访问和安全配置 199
10．8 使用Hive连接器进行Kerberos验证 200
10．8．1 Hive Metastore Thrift服务认证 201
10．8．2 HDFS认证 201
10．9 集群分离 202
10．10 小结 202
第 11章 将Presto与其他工具集成 203
11．1 使用Apache Superset进行查询、可视化和更多操作 203
11．2 使用RubiX提高性能 204
11．3 使用Apache Airflow的工作流 205
11．4 嵌入式Presto示例：Amazon Athena 205
11．5 Starburst企业版Presto 208
11．6 其他集成案例 208
11．7 自定义集成 209
第 12章 生产环境中的Presto 211
12．1 使用Presto Web UI监控 211
12．1．1 集群级的细节 212
12．1．2 查询列表 213
12．1．3 查询细节视图 215
12．2 Presto SQL查询调优 221
12．3 内存管理 223
12．4 任务并发性 226
12．5 工作节点调度 227
12．5．1 根据任务或节点调度切片 227
12．5．2 本地调度策略 227
12．6 网络数据交换 228
12．6．1 并发性 228
12．6．2 缓冲区大小 228
12．7 JVM调优 228
12．8 资源组 230
12．8．1 资源组的定义 231
12．8．2 调度策略 232
12．8．3 选择器规则定义 233
12．9 小结 233
第 13章 真实世界的案例 234
13．1 部署和运行时平台 234
13．2 集群规模 235
13．3 Hadoop/Hive迁移的使用场景 237
13．4 其他数据源 237
13．5 用户和流量 237
13．6 小结 238
第 14章 总结 239
关于作者 240
关于封面 240
序 xvii
前言 xix
第 一部分 Presto 入门
第 1章 Presto 介绍 3
1．1 大数据带来的问题 3
1．2 Presto来救场 4
1．2．1 为性能和规模而生 5
1．2．2 SQL-on-Anything 5
1．2．3 存储与计算分离 6
1．3 Presto使用场景 6
1．3．1 单一的SQL分析访问点 7
1．3．2 数据仓库和数据源系统的访问点 7
1．3．3 提供对任何内容的SQL访问 8
1．3．4 联邦查询 9
1．3．5 虚拟数据仓库的语义层 9
1．3．6 数据湖查询引擎 9
1．3．7 SQL转换和ETL10
1．3．8 更快的响应带来更好的数据见解 10
1．3．9 大数据、机器学习和人工智能 10
1．3．10 其他使用场景 11
1．4 Presto 资源 11
1．4．1 官方网站 11
1．4．2 文档 12
1．4．3 社区交流 12
1．4．4 源代码、许可证和版本 12
1．4．5 贡献 12
1．4．6 本书资源 13
1．4．7 鸢尾花数据集 13
1．4．8 航班数据集 14
1．5 Presto简史 14
1．6 小结 15
第 2章 安装和配置Presto 16
2．1 使用Docker容器尝试Presto 16
2．2 使用归档文件安装 17
2．2．1 JVM 17
2．2．2 Python 18
2．2．3 安装 18
2．2．4 配置 19
2．3 添加数据源 20
2．4 运行Presto 21
2．5 小结 21
第3章 使用Presto 22
3．1 Presto CLI 22
3．1．1 使用入门 22
3．1．2 分页 25
3．1．3 命令历史 25
3．1．4 额外诊断 25
3．1．5 执行查询 25
3．1．6 输出格式 26
3．1．7 忽略错误 26
3．2 Presto JDBC驱动 27
3．2．1 下载和注册驱动 28
3．2．2 创建到Presto的连接 29
3．3 Presto与ODBC 31
3．4 客户端库 31
3．5 Presto Web UI 31
3．6 使用Presto执行SQL 32
3．6．1 概念 33
3．6．2 入门案例 33
3．7 小结 36
第二部分 深入理解Presto
第4章 Presto的架构 39
4．1 集群中的协调器和工作节点 39
4．2 协调器 41
4．3 节点发现服务 41
4．4 工作节点 42
4．5 基于连接器的架构 42
4．6 catalog、schema和表 43
4．7 查询执行模型 44
4．8 查询优化 47
4．8．1 解析和分析 48
4．8．2 初始查询计划 49
4．9 优化规则 50
4．9．1 谓词下推 51
4．9．2 Cross Join 消除 51
4．9．3 TopN 52
4．9．4 局部聚合 52
4．10 实现规则 53
4．10．1 Lateral Join 去关联化 53
4．10．2 Semi-join（IN）去关联化 54
4．11 基于代价的优化器 55
4．11．1 代价的概念 55
4．11．2 Join的代价 57
4．11．3 表统计信息 57
4．11．4 过滤统计信息 58
4．11．5 分区表的统计信息 59
4．11．6 Join枚举 60
4．11．7 广播Join和分布式Join 60
4．12 使用表统计信息 62
4．12．1 Presto的ANALYZE 命令 62
4．12．2 在写入存储时收集数据 63
4．12．3 Hive的ANALYZE 命令 63
4．12．4 显示表统计信息 63
4．13 小结 64
第5章 生产环境部署 65
5．1 配置细节 65
5．2 服务端配置 65
5．3 日志 66
5．4 节点配置 67
5．5 JVM配置 68
5．6 启动器 69
5．7 集群安装 70
5．8 使用RPM安装 72
5．8．1 安装目录结构 72
5．8．2 配置 73
5．8．3 卸载Presto 73
5．9 在云上安装 73
5．10 集群规模的考量 74
5．11 小结 74
第6章 连接器 75
6．1 配置 76
6．2 RDBMS连接器示例：PostgreSQL 76
6．2．1 查询下推 78
6．2．2 并行性和并发性 79
6．2．3 其他RDBMS连接器 80
6．2．4 安全性 81
6．3 Presto TPC-H和TPC-DS连接器 81
6．4 用于分布式存储数据源的Hive 连接器 82
6．4．1 Apache Hadoop和Hive 82
6．4．2 Hive连接器 83
6．4．3 Hive式表格式 85
6．4．4 内部表与外部表 85
6．4．5 分区数据 87
6．4．6 加载数据 88
6．4．7 文件格式和压缩 90
6．4．8 MinIO示例 91
6．5 非关系数据源 91
6．6 Presto JMX 连接器 92
6．7 黑洞连接器 94
6．8 内存连接器 94
6．9 其他连接器 95
6．10 小结 95
第7章 高级连接器实例 96
7．1 用Phoenix连接HBase 96
7．2 键值存储连接器示例：Accumulo 97
7．2．1 使用Presto Accumulo连接器 100
7．2．2 Accumulo中的谓词下推 102
7．3 Apache Cassandra 连接器 103
7．4 流式系统连接器示例：Kafka 104
7．5 文档存储连接器示例：Elasticsearch 106
7．5．1 概述 106
7．5．2 配置和使用方法 106
7．5．3 查询处理 107
7．5．4 全文搜索 107
7．5．5 总结 108
7．6 Presto中的联邦查询 108
7．7 ETL和联合查询 114
7．8 小结 114
第8章 在Presto中使用SQL 115
8．1 Presto语句 116
8．2 Presto系统表 118
8．3 catalog 120
8．4 schema 120
8．5 Information Schema 121
8．6 表 122
8．6．1 表和列属性 124
8．6．2 复制现有的表 125
8．6．3 从查询结果中新建表 126
8．6．4 修改表 127
8．6．5 删除表 127
8．6．6 连接器对表操作的限制 127
8．7 视图 128
8．8 会话信息和配置 128
8．9 数据类型 129
8．9．1 集合数据类型 131
8．9．2 时态数据类型 132
8．9．3 类型转换 135
8．10 SELECT语句基础 136
8．11 WHERE子句 137
8．12 GROUP BY和HAVING子句 138
8．13 ORDER BY子句和LIMIT子句 140
8．14 JOIN语句 140
8．15 UNION、INTERSECT和EXCEPT子句 141
8．16 分组操作 143
8．17 WITH子句 144
8．18 子查询 145
8．18．1 标量子查询 145
8．18．2 EXISTS子查询 146
8．18．3 集合比较子查询 146
8．19 从表中删除数据 147
8．20 小结 147
第9章 高级SQL特性 148
9．1 函数和运算符介绍 148
9．2 标量函数和运算符 149
9．3 布尔运算符 150
9．4 逻辑运算符 151
9．5 用BETWEEN语句选择范围 152
9．6 用IS(NOT) NULL检测值的存在 152
9．7 数学函数和运算符 152
9．8 三角函数153
9．9 常数和随机函数 154
9．10 字符串函数和运算符 154
9．11 字符串和映射 155
9．12 Unicode 156
9．13 正则表达式 158
9．14 解嵌套复杂数据类型 160
9．15 JSON函数 161
9．16 日期和时间函数及运算符 161
9．17 直方图 164
9．18 聚合函数 165
9．18．1 映射聚合函数 165
9．18．2 近似聚合函数 167
9．19 窗函数 168
9．20 lambda表达式 169
9．21 地理空间函数 170
9．22 Prepared Statement 171
9．23 小结 173
第三部分 Presto的实际应用
第 10章 安全 177
10．1 认证 178
10．2 授权 181
10．2．1 系统访问控制 181
10．2．2 连接器访问控制 184
10．3 加密 186
10．3．1 加密Presto客户端与协调器之间的通信 188
10．3．2 创建Java keystore和Java truststore 190
10．3．3 在Presto集群内加密通信 192
10．4 CA与自签名证书 193
10．5 证书认证 194
10．6 Kerberos 197
10．6．1 前提条件 198
10．6．2 Kerberos客户端认证 198
10．6．3 集群内部Kerberos 198
10．7 数据源访问和安全配置 199
10．8 使用Hive连接器进行Kerberos验证 200
10．8．1 Hive Metastore Thrift服务认证 201
10．8．2 HDFS认证 201
10．9 集群分离 202
10．10 小结 202
第 11章 将Presto与其他工具集成 203
11．1 使用Apache Superset进行查询、可视化和更多操作 203
11．2 使用RubiX提高性能 204
11．3 使用Apache Airflow的工作流 205
11．4 嵌入式Presto示例：Amazon Athena 205
11．5 Starburst企业版Presto 208
11．6 其他集成案例 208
11．7 自定义集成 209
第 12章 生产环境中的Presto 211
12．1 使用Presto Web UI监控 211
12．1．1 集群级的细节 212
12．1．2 查询列表 213
12．1．3 查询细节视图 215
12．2 Presto SQL查询调优 221
12．3 内存管理 223
12．4 任务并发性 226
12．5 工作节点调度 227
12．5．1 根据任务或节点调度切片 227
12．5．2 本地调度策略 227
12．6 网络数据交换 228
12．6．1 并发性 228
12．6．2 缓冲区大小 228
12．7 JVM调优 228
12．8 资源组 230
12．8．1 资源组的定义 231
12．8．2 调度策略 232
12．8．3 选择器规则定义 233
12．9 小结 233
第 13章 真实世界的案例 234
13．1 部署和运行时平台 234
13．2 集群规模 235
13．3 Hadoop/Hive迁移的使用场景 237
13．4 其他数据源 237
13．5 用户和流量 237
13．6 小结 238
第 14章 总结 239
关于作者 240
关于封面 240
猜您喜欢
