大数据是这样计算的：XLab实例入门

　　随着大数据分析方法的发展，分析工具的改进，大数据分析的门槛降低了。基于大数据算法平台，数据分析师们已经不再被数据的“大”所困扰，可以轻松地探索大数据，挖掘大数据的价值。本书侧重介绍大数据分析方法和算法的应用，适合对大数据分析感兴趣的读者阅读。在内容的组织上，选取了10个不同领域的真实数据集，针对每个数据的特点，选择适合的方法和算法，和读者一起体验数据探索、数据分析、建模预测的过程；通过实例计算的结果，读者会更加了解各种方法和算法的长处和局限。本书的实例都运行在大数据算法平台XLab上。

　　杨旭，吉林长春人，2004年获南开大学数学博士学位；随后在南开大学信息学院从事博士后研究工作；2006年加入微软亚洲研究院，进行符号计算、大规模矩阵计算及机器学习算法研究；2010年加入阿里巴巴，从事大数据相关的统计和机器学习算法研发。著有《重构大数据统计》。

第1章 入门 11.1 打开大数据之门 11.2 接触大数据 21.3 数据初探索 41.4 进一步分析 101.5 训练和预测 17第2章 简介 232.1 主界面介绍 232.1.1 工具栏 242.1.2 数据列表 262.1.3 窗口管理器 282.1.4 工作界面 282.2 数据查看、运行 292.2.1 文本显示 312.2.2 复制部分数据 312.2.3 显示/隐藏列 322.3 脚本编辑、运行 332.4 如何获得帮助信息 372.4.1 查看帮助手册 372.4.2 界面上的帮助信息 382.4.3 脚本函数的帮助信息 402.5 执行SQL语句 44第3章 全球机场信息 463.1 数据可视化 473.2 统计分析 583.3 大中型机场的分析 623.4 海拔高度排行 643.5 数据的关联关系 68第4章 股票价格 734.1 数据处理 744.2 数据探索 784.3 数据展开 814.3.1 组合使用基本函数进行变换 834.3.2 利用专门函数一步到位 844.4 各股趋势比较 854.5 总体趋势 87第5章 标准普尔500指数 915.1 数据类型转换 925.2 各指标间的线性关系 935.3 按时间变化趋势 965.4 数据对比 100第6章 鸢尾花数据集 1076.1 属性间的关系 1086.2 聚类 1106.2.1 K-Means聚类 1116.2.2 EM聚类 1206.3 二分类数据子集 1246.3.1 使用训练、预测窗体 1256.3.2 调用训练、预测脚本 131第7章 MovieLens数据集 1367.1 数据变换 1377.2 统计 1387.3 排行榜 1457.4 分类排行榜 1477.5 影片关联分析 1497.6 属性扩展 157第8章 汽车评价数据集 1618.1 数据图示化 1628.2 对比分析 1658.3 决策树 169第9章 Twitter数据 1749.1 用户信息分析 1759.2 用户粉丝数量的情况 1849.3 粉丝的情况 1929.4 “粉”与“被粉” 1979.5 信息传播速度 2049.6 哪些用户更重要 2089.6.1 粉丝最多的用户 2099.6.2 用户排名 211第10章 随机数据 21510.1 数据生成 21510.2 计算π值 21710.3 中心极限定理 222第11章 新浪网页数据 23011.1 分词 23211.2 有区分度的单词 23411.3 选择特征 23511.3.1 卡方检验 23611.3.2 信息增益 23811.4 主题模型 24211.4.1 潜在语义分析 24211.4.2 概率潜在语义分析 25311.4.3 LDA模型 27211.5 单词映射为向量 289第12章 2014年阿里巴巴大数据竞赛 29412.1 试题介绍 29412.2 数据 29612.3 思路 29812.3.1 用户和品牌的各种特征 29812.3.2 二分类模型训练 30012.3.3 比赛考核目标 30112.4 计算训练数据集 30212.4.1 原始数据划分 30312.4.2 计算特征 30412.4.3 数据预处理标识 30412.4.4 用户-品牌联合特征 30812.4.5 用户特征 31312.4.6 品牌特征 31712.4.7 整合训练数据的特征 32212.4.8 计算标签 32312.5 二分类模型训练 32412.5.1 正负样本配比 32412.5.2 朴素贝叶斯算法 32512.5.3 逻辑回归算法 32612.5.4 随机森林算法 32712.6 提交预测结果 328