大数据技术架构：核心原理与应用实践

　　在人工智能时代，不论是否从事大数据开发，掌握大数据的原理和架构早已成为每个工程师的必备技能。本书结合作者多年大数据开发、应用的经验，深入浅出地阐述大数据的完整知识体系，帮助读者从不同视角找到大数据方向的突破口，真正从普通开发者晋升为拥有大数据思维并能解决复杂问题的技术专家。本书一共分为7章，分别是大数据的前世今生与应用场景、Hadoop大数据原理与架构、大数据生态体系主要产品原理与架构、大数据开发实践、大数据平台与系统集成、大数据分析与运营、大数据算法与机器学习。本书既可作为初学者了解大数据技术的入门指南，也可作为有一定经验的工程师深入理解大数据思维的有益参考。

　　李智慧，同程旅行交通首席架构师。曾任阿里巴巴、Intel架构师，长期从事分布式系统与大数据开发，Apache Spark 代码贡献者，腾讯云 TVP，著有畅销书《大型网站技术架构：核心原理与案例分析》。

1 大数据的前世今生与应用场景\t1
大数据的前世今生：大数据简史与大数据生态体系概述\t1
从搜索引擎到人工智能：大数据应用发展史\t6
大数据应用的搜索引擎时代\t6
大数据应用的数据仓库时代\t7
大数据应用的数据挖掘时代\t7
大数据应用的机器学习时代\t8
数据驱动一切：大数据全领域应用场景分析\t10
大数据在医疗健康领域的应用\t10
大数据在社交媒体领域的应用\t12
大数据在金融领域的应用\t13
大数据在新零售领域的应用\t13
大数据在交通领域的应用\t13
2 Hadoop大数据原理与架构\t15
移动计算比移动数据更划算\t16
从RAID看垂直伸缩到水平伸缩的演化\t19
新技术层出不穷，HDFS依然是存储的王者\t23
为什么说MapReduce既是编程模型又是计算框架\t29
MapReduce如何让数据完成一次旅行\t33
MapReduce作业启动和运行机制\t34
MapReduce数据合并与连接机制\t37
为什么把Yarn称为资源调度框架\t39
程序员应该如何学好大数据技术\t44
3 大数据生态体系主要产品原理与架构\t47
Hive是如何让MapReduce实现SQL操作的\t47
用MapReduce实现SQL数据分析的原理\t48
Hive的架构\t49
Hive如何实现join操作\t51
人们并没有觉得MapReduce速度慢，直到Spark出现\t53
同样的本质，为何Spark可以更高效\t57
Spark的计算阶段\t57
Spark的作业管理\t61
Spark的执行过程\t62
BigTable的开源实现：HBase\t63
HBase可伸缩架构\t64
HBase可扩展数据模型\t65
HBase的高性能存储\t66
流式计算的代表：Storm、Spark Streaming、Flink\t68
Storm\t68
Spark Streaming\t70
Flink\t71
ZooKeeper是如何保证数据一致性的\t74
分布式一致性原理\t75
Paxos算法与ZooKeeper架构\t76
大数据技术应用场景分析\t80
4 大数据开发实践\t82
如何自己开发一个大数据SQL引擎\t83
Panthera架构\t83
Panthera的SQL语法转换\t84
比如这条SQL\t85
Panthera程序设计\t85
Spark的性能优化案例分析\t89
Apache开源社区的组织和参与方式\t90
软件性能优化\t91
大数据开发的性能优化\t91
Spark性能优化\t92
案例1：Spark任务文件初始化调优\t95
案例2：Spark任务调度优化\t98
案例3：Spark应用配置优化\t102
案例4：操作系统配置优化\t102
案例5：硬件优化\t103
大数据基准测试可以带来什么好处\t105
大数据基准测试的应用\t105
大数据基准测试工具HiBench\t107
从大数据性能测试工具Dew看如何快速开发大数据系统\t109
Dew设计与开发\t110
Akka的原理与应用\t112
大数据开发实践的启示\t115
5 大数据平台与系统集成\t117
大数据平台 = 互联网产品 + 大数据产品\t117
数据采集\t119
数据处理\t119
数据输出与展示\t119
大数据任务调度\t120
大数据平台Lamda架构\t120
数据在大数据平台中的流转\t121
大数据从哪里来\t123
从数据库导入\t123
从日志文件导入\t124
前端埋点采集\t126
爬虫系统\t128
数据的熵\t128
知名大厂如何搭建大数据平台\t129
淘宝大数据平台\t129
美团大数据平台\t130
滴滴大数据平台\t131
学架构就是学架构模式\t133
盘点可供中小企业参考的商业大数据平台\t134
大数据解决方案提供商\t134
大数据云计算服务商\t136
大数据SaaS服务商\t138
大数据开放平台\t138
当大数据遇上物联网\t139
物联网应用场景分析\t139
物联网平台架构\t140
大数据技术在物联网中的应用\t141
6 大数据分析与运营\t144
老板想要监控什么运营指标\t144
互联网运营的常用数据指标\t145
数据可视化图表与数据监控\t147
一个用户新增下降的数据分析案例\t150
数据分析案例\t151
数据分析方法\t154
AB测试与灰度发布必知必会\t156
A/B测试的过程\t157
A/B测试的系统架构\t158
灰度发布\t159
如何利用大数据成为“增长黑客”\t160
Hotmail的增长黑客故事\t161
AARRR用户增长模型\t161
利用大数据增长用户数量\t163
为什么说数据驱动运营\t164
7 大数据算法与机器学习\t168
如何对数据进行分类和预测\t168
k近邻分类算法\t169
数据的距离\t170
文本的特征值\t171
贝叶斯分类\t172
如何发掘数据的关系\t174
搜索排序\t174
关联分析\t177
聚类\t179
如何预测用户的喜好\t181
基于人口统计的推荐\t182
基于商品属性的推荐\t183
基于用户的协同过滤推荐\t184
基于商品的协同过滤推荐\t185
机器学习的数学原理是什么\t186
样本\t187
模型\t187
算法\t188
为什么学机器学习要学数学\t189
从感知机到神经网络\t190
感知机\t191
神经网络\t192