书籍详情
Spark Streaming：实时流处理入门与精通
作者：[美] Sumit，Gupta（苏密特-古普塔） 著；韩燕波 等 译
出版社：电子工业出版社
出版时间：2017-04-01
ISBN：9787121310492
定价：¥39.00
购买这本书可以去
内容简介
本书主要对Spark和Spark的安装、配置、主要架构和组件进行介绍，并介绍如何利用SparkStreaming进行实时数据的处理，讨论利用Spark Streaming的多种API和操作进行近实时的分布式日志流的处理。本书要求读者对Scala有很好的认识和理解，以便能够利用核心组件和应用进行高效编程。
作者简介
Sumit Gupta从事设计、管理并提供各种业务领域（如酒店业务，医疗保健，风险管理，保险业务等）的企业解决方案将近9年以上，是业内经验丰富的专家、技术创新者和传播者。他热爱技术，在软件行业拥有14年的实践经验。在过去4～5年中一直使用大数据和云计算技术来解决复杂的业务问题。现任北方工业大学教授、北方工业大学云计算研究中心主任。现兼任中国计算机学会服务计算专业委员会副主任、中国电子学会云计算专家委员会委员、计算机学报编委。曾就职于德国国家计算机研究中心、德国弗郎霍夫软件技术研究所和美国大规模分布系统实验室等机构。2000年被聘为中科院计算技术研究所研究员，入选中科院海外杰出人才计划（中科院百人计划，2001期）。曾任中科院研究生院教授、博士生导师、中科院计算技术研究所网格与服务计算研究中心主任、软件集成与服务计算研究分中心主任、中德软件集成技术联合实验室主任。在数据库、工作流、分布对象中间件、移动计算、网格计算等多个领域主持完成了863重点项目、国家基金重点项目、973子项等30项研究课题，发表论文140余篇，出版专著4部。申报或合作申报发明专利和软件登记50项，其中已向工业界转化5项。是目前国内关于云计算方面研究的**科学家。
目录
目?录
第1章?Spark和Spark Streaming的安装与配置\t1
安装Spark\t2
硬件需求\t2
软件需求\t4
安装Spark扩展――Spark Streaming\t7
配置和运行Spark集群\t8
你的第一个Spark程序\t11
用Scala编码Spark作业\t12
用Java开发Spark作业\t15
管理员/开发者工具\t18
集群管理 \t18
提交Spark作业\t19
故障定位 \t20
配置端口号 \t20
类路径问题――类没有发现 \t20
其他常见异常\t20
总结\t21
第2章?Spark和Spark Streaming的体系结构与组件\t23
批处理和实时数据处理的比较\t24
批处理\t24
实时数据处理\t26
Spark的体系结构\t28
Spark对比Hadoop\t28
Spark的层次化结构\t29
Spark Streaming的体系结构\t31
Spark Streaming是什么\t32
Spark Streaming的上层体系结构\t32
你的第一个Spark Streaming程序\t34
用Scala编码Spark Streaming作业\t34
用Java编码Spark Streaming作业\t37
客户端程序\t39
打包和部署一个Spark Streaming作业\t41
总结\t43
第3章?实时处理分布式日志文件\t45
Spark的封装结构和客户端API\t46
Spark内核\t48
Spark库及扩展\t54
弹性分布式数据集及离散流\t58
弹性分布式数据集\t59
离散流\t63
从分布的、多样的数据源中加载数据\t65
Flume 框架\t67
Flume的安装和配置\t69
配置Spark以接收Flume事件\t73
封装和部署Spark Streaming作业\t77
分布式日志文件处理的总体架构\t77
总结\t78
第4章?在流数据中应用Transformation\t79
理解并应用Transformation功能\t80
模拟日志流\t80
功能操作\t82
转换操作\t89
窗口操作\t91
性能调优\t94
分块和并行化\t94
序列化\t94
Spark内存调优\t95
总结\t97
第5章?日志分析数据的持久化\t99
Spark Streaming的输出操作\t100
集成Cassandra\t110
安装和配置Apache Cassandra\t110
配置Spark\t112
通过编写Spark作业将流式网页日志存入Cassandra\t113
总结\t120
第6章?与Spark高级库集成\t121
实时查询流数据\t122
了解Spark SQL\t122
集成Spark SQL与流数据\t129
图的分析――Spark GraphX\t135
GraphX API介绍\t137
集成Spark Streaming\t140
总结\t147
第7章?产品部署\t149
Spark部署模式\t150
部署在Apache Mesos上\t151
部署在Hadoop或者YARN上\t156
高可用性和容错性\t160
单机模式下的高可用性\t160
Mesos或者YARN下的高可用性\t162
容错性\t162
Streaming 作业的监听\t166
应用程序UI界面/作业UI界面\t166
与其他监控工具的集成\t169
总结\t170
第1章?Spark和Spark Streaming的安装与配置\t1
安装Spark\t2
硬件需求\t2
软件需求\t4
安装Spark扩展――Spark Streaming\t7
配置和运行Spark集群\t8
你的第一个Spark程序\t11
用Scala编码Spark作业\t12
用Java开发Spark作业\t15
管理员/开发者工具\t18
集群管理 \t18
提交Spark作业\t19
故障定位 \t20
配置端口号 \t20
类路径问题――类没有发现 \t20
其他常见异常\t20
总结\t21
第2章?Spark和Spark Streaming的体系结构与组件\t23
批处理和实时数据处理的比较\t24
批处理\t24
实时数据处理\t26
Spark的体系结构\t28
Spark对比Hadoop\t28
Spark的层次化结构\t29
Spark Streaming的体系结构\t31
Spark Streaming是什么\t32
Spark Streaming的上层体系结构\t32
你的第一个Spark Streaming程序\t34
用Scala编码Spark Streaming作业\t34
用Java编码Spark Streaming作业\t37
客户端程序\t39
打包和部署一个Spark Streaming作业\t41
总结\t43
第3章?实时处理分布式日志文件\t45
Spark的封装结构和客户端API\t46
Spark内核\t48
Spark库及扩展\t54
弹性分布式数据集及离散流\t58
弹性分布式数据集\t59
离散流\t63
从分布的、多样的数据源中加载数据\t65
Flume 框架\t67
Flume的安装和配置\t69
配置Spark以接收Flume事件\t73
封装和部署Spark Streaming作业\t77
分布式日志文件处理的总体架构\t77
总结\t78
第4章?在流数据中应用Transformation\t79
理解并应用Transformation功能\t80
模拟日志流\t80
功能操作\t82
转换操作\t89
窗口操作\t91
性能调优\t94
分块和并行化\t94
序列化\t94
Spark内存调优\t95
总结\t97
第5章?日志分析数据的持久化\t99
Spark Streaming的输出操作\t100
集成Cassandra\t110
安装和配置Apache Cassandra\t110
配置Spark\t112
通过编写Spark作业将流式网页日志存入Cassandra\t113
总结\t120
第6章?与Spark高级库集成\t121
实时查询流数据\t122
了解Spark SQL\t122
集成Spark SQL与流数据\t129
图的分析――Spark GraphX\t135
GraphX API介绍\t137
集成Spark Streaming\t140
总结\t147
第7章?产品部署\t149
Spark部署模式\t150
部署在Apache Mesos上\t151
部署在Hadoop或者YARN上\t156
高可用性和容错性\t160
单机模式下的高可用性\t160
Mesos或者YARN下的高可用性\t162
容错性\t162
Streaming 作业的监听\t166
应用程序UI界面/作业UI界面\t166
与其他监控工具的集成\t169
总结\t170
猜您喜欢
