Spark 深度学习指南

　　本书开头部分讲了如何按照深度学习的需求来配置Apache Spark，以实现不同类型的神经网络，接下来讲述了在分布式环境中实现深度学习涉及的常见和不那么常见的需求。另外，你还将学到Spark中的深度学习代码，这些代码可以复用到其他类似的问题中，或者稍作改动用于略有不同的问题。将带你一起用Spark对数据进行分流和聚类用TensorFlow、deeplearning4j和 Caffe在Spark中实现和部署深度学习模型，例如CNN、RNN和 LSTM。学完本书的内容，你将能够在Spark上训练和部署有效的深度学习模型。

　　Ahmed Sherif是一名数据科学家，自2005年以来一直从事各种角色的数据研究。他从2013年开始使用BI解决方案并慢慢转向数据科学。2016年，他从西北大学获得了预测分析硕士学位，在那里他研究深度学习的科学与应用和同时使用Python和R语言的预测建模。*近，他一直在使用Azure在云端开发机器学习和深度学习解决方案。2016年，他出版了他的第一本书《实用商业智能》。他目前是微软的数据和人工智能技术解决方案专业人员。Amrith Ravindra博士是一位机器学习爱好者，拥有电气与工业工程学位。在攻读硕士学位的过程中，他更深入地研究机器学习世界，并培养了对数据科学的热爱。工程专业的研究生课程给他提供了数学背景，使他进入深度学习的职业生涯。他在坦帕市举行的当地数据科学聚会上会见了Ahmed Sherif。他们决定合作写一本关于他们*喜欢的机器学习算法的书。他希望这本书能够帮助他实现成为数据科学家并积极为机器学习做出贡献的*终目标。黄友良，计算机应用技术专业博士，毕业于北京师范大学，2009年7月-至今就职于北京中医药大学管理学院，中华医学会教育技术分会第八、九届委员会青年委员，中国中医药信息研究会人工智能分会理事，Adobe中国认证讲师。

目录
1　为深度学习开发设置Spark\t1
介绍\t1
下载Ubuntu桌面映像\t2
在macOS中使用VMWare Fusion安装和配置Ubuntu\t3
在Windows中使用Oracle VirtualBox安装和配置Ubuntu\t8
为谷歌云平台安装和配置Ubuntu桌面端\t11
在Ubuntu桌面端安装和配置Spark\t23
集成Jupyter Notebook与Spark\t29
启动和配置Spark集群\t33
停止Spark集群\t34
2　在Spark中创建神经网络\t36
介绍\t36
在PySpark中创建数据帧\t37
在PySpark数据帧中操作列\t41
将PySpark数据帧转换为数组\t42
在散点图中将数组可视化\t46
设置输入神经网络的权重和偏差\t49
规范化神经网络的输入数据\t52
验证数组以获得最佳的神经网络性能\t55
使用sigmoid设置激活函数\t57
创建sigmoid导数\t60
计算神经网络中的代价函数\t62
根据身高值和体重值预测性别\t66
预测分数并进行可视化\t69
3　卷积神经网络的难点\t72
介绍\t72
难点1：导入MNIST图像\t73
难点2：可视化MNIST图像\t77
难点3：将MNIST图像导出为文件\t80
难点4：增加MNIST图像\t82
难点5：利用备用资源训练图像\t86
难点6：为卷积神经网络优先考虑高级库\t88
4　循环神经网络的难点\t94
介绍\t94
前馈网络简介\t95
循环神经网络的顺序工作\t103
难点1：梯度消失问题\t108
难点2：梯度爆炸问题\t111
长短期记忆单元的顺序工作\t114
5　用Spark机器学习预测消防部门呼叫\t119
介绍\t119
下载旧金山消防局呼叫数据集\t119
识别逻辑回归模型的目标变量\t123
为逻辑回归模型准备特征变量\t130
应用逻辑回归模型\t137
评估逻辑回归模型的准确度\t142
6　在生成网络中使用LSTM\t145
介绍\t145
下载将用作输入文本的小说/书籍\t145
准备和清理数据\t151
标记句子\t156
训练和保存LSTM模型\t158
使用模型生成类似的文本\t163
7　使用TF-IDF进行自然语言处理\t171
介绍\t171
下载治疗机器人会话文本数据集\t172
分析治疗机器人会话数据集\t176
数据集单词计数可视化\t178
计算文本的情感分析\t180
从文本中删除停用词\t184
训练TF-IDF模型\t188
评估TF-IDF模型性能\t192
比较模型性能和基线分数\t194
8　使用XGBoost进行房地产价值预测\t196
下载金斯县房屋销售数据集\t196
执行探索性分析和可视化\t199
绘制价格与其他特征之间的相关性\t210
预测房价\t223
9　使用长短期记忆单元预测苹果公司股票市场价格\t229
下载苹果公司的股票市场数据\t229
探索和可视化苹果公司的股票市场数据\t233
准备用于提升模型性能的股票市场数据\t238
构建长短期记忆单元模型\t246
评估长短期记忆单元模型\t249
10　使用深度卷积网络进行人脸识别\t252
介绍\t252
下载MIT-CBCL数据集并将其加载到内存中\t252
绘制并可视化目录中的图像\t257
图像预处理\t262
模型构建、训练和分析\t269
11　使用Word2Vec创建和可视化单词向量\t277
介绍\t277
获取数据\t277
导入必要的库\t281
准备数据\t284
构建和训练模型\t288
进一步可视化\t293
进一步分析\t300
12　使用Keras创建电影推荐引擎\t304
介绍\t304
下载MovieLens数据集\t305
操作和合并MovieLens数据集\t312
探索MovieLens数据集\t318
为深度学习流水线准备数据集\t322
应用Keras深度学习模型\t327
评估推荐引擎的准确度\t331
13　使用TensorFlow在Spark中进行图像分类\t333
介绍\t333
下载梅西和罗纳尔多各30张图像\t334
使用深度学习包安装PySpark\t339
将图像加载到PySpark数据帧\t341
理解迁移学习\t344
创建用于图像分类训练的流水线\t346
评估模型性能\t348
微调模型参数\t350