腾讯大数据构建之道

　　全书共13章，分两大部分进行全面而系统的介绍，第一部分从腾讯大数据平台的发展历程和总体架构切入，深入剖析了各项技术原理，阐述了实战过程中的挑战和自研核心技术的设计思想，覆盖了大数据接入、计算、存储、分析、调度等大量技术组件。第二部分主要介绍了腾讯在数据治理、数据应用、机器学习和平台运营方面的建设经验，并对腾讯大数据产品及其在内外部场景的实践落地进行了解读， 书中列举的大量实践案例对广大读者都极具参考价值和借鉴意义。

　　核心团队腾讯数据平台部致力于为腾讯集团旗下业务提供专业、可靠的大数据平台及机器学习平台服务，并依托腾讯云将大数据与AI能力对外输出。团队专注于大数据、云原生、机器学习、图计算、AI视觉和推荐技术等核心技术，并在世界级比赛屡获奖项。同时，团队全面拥抱开源并持续贡献社区，自主研发的分布式机器学习平台Angel和大数据集成平台InLong分别从Linux和Apache顶级项目毕业，具有世界级的技术影响力。核心作者蒋杰，北京大学博士，腾讯公司副总裁，中国人工智能产业发展联盟（AIIA）副理事长，中国计算机学会（CCF）大数据专家委员会委员。2012年起在腾讯负责大数据平台建设，主导研发了离线计算、实时计算、机器学习、数智融合四代腾讯大数据平台，并推动大数据技术开源。 带领腾讯完成了腾讯广告投放端整合，实现了腾讯全流量的一站式投放。在人工智能领域，打造了腾讯AI学习平台，获得多项顶级赛事奖项。

前言
第1章　打造腾讯大数据平台1
1.1　腾讯大数据的缘起3
1.2　腾讯大数据的构建理念5
1.3　腾讯大数据的总体架构7
第2章　数据实时采集平台11
2.1　接入层挑战12
2.2　接入管理层TDManager14
2.3　数据采集17
2.4　数据总线23
2.5　消息中间件30
2.6　数据分拣40
2.7　接入层展望44
第3章　分布式存储平台46
3.1　文件存储HDFS47
3.2　统一存储Ceph62
3.3　下一代大数据存储Ozone77
3.4　KV存储HBase88
第4章　分布式计算平台99
4.1　批处理MapReduce100
4.2　批处理Spark107
4.3　批处理漂移计算SuperSQL123
4.4　流处理Flink146
4.5　SQL数据仓库Hive165
4.6　任务调度175
第5章　数据分析引擎184
5.1　关系型OLAP：腾讯实时多维分析平台185
5.2　关系型OLAP：ClickHouse200
5.3　多维OLAP：Kylin211
5.4　多维OLAP：Druid222
第6章　资源调度平台234
6.1　Yarn项目背景235
6.2　调度器性能优化241
6.3　集群的高可用性244
6.4　多资源维度弹性管理254
第7章　数据治理体系261
7.1　元数据262
7.2　数据资产管理271
7.3　大数据安全283
第8章　机器学习平台298
8.1　图智能平台299
8.2　Angel310
8.3　联邦学习333
第9章　数据内容挖掘350
9.1　概览351
9.2　广告内容挖掘352
9.3　用户画像数据体系365
9.4　用户画像构建方法366
9.5　数据内容挖掘与推荐379
9.6　数据内容挖掘与AI创作380
第10章　大数据平台运营384
10.1　大数据服务规划385
10.2　大数据平台治理393
10.3　自动化运维体系构建397
10.4　平台运营成本优化404
10.5　大数据运营分析与应用体系408
第11章　大数据平台产品设计410
11.1　TBDS大数据处理套件411
11.2　Oceanus实时流式数据处理平台419
11.3　ideX数据分析与探索挖掘工具425
11.4　智能钛TI机器学习平台429
第12章　企业级容器云平台GaiaStack438
12.1　GaiaStack产品背景和目标439
12.2　GaiaStack架构和技术特点446
12.3　GaiaStack核心技术454
第13章　大数据应用服务503
13.1　智能客服机器人504
13.2　移动推送526
13.3　数据可视化产品小马BI535
参考文献549