微软大数据解决方案

　　Microsoft强大的大数据平台Windows Azure HDInsight和Hortonworks Data Platform for Windows改变了企业处理、存储和管理数据的方式。Microsoft的大数据解决方案套件被设计用于与公司现有的数据基础设施以及SQLServer、Hadoop等产品进行无缝集成，使客户不必中断工作流或关键流程即可实施这

　　Adam Jorgensen是Pragmatic Works总裁兼PASS执行副总裁，拥有丰富的数据仓库、分析和NoSQL体系架构经验。James Rowland-Jones是Big Bang Data公司的首席顾问，专门研究利用SQL Server并行数据仓库和Hadoop生态环境的大数据仓库解决方案。John Welch是Pragmatic Works软件开发部副总裁，带领团队开发BI套件以及SQL Server数据产品和相关技术。Dan Clark是Pragmatic Works资深BI顾问，已撰写多本.NET编程和BI开发书籍，发表了多篇论文。Christopher Price是Microsoft资深顾问，主要研究ETL、数据整合、数据质量、MDM、SSAS、SharePoint以及其他大数据相关技术。Brian Mitchell是Microsoft Big Data Center of Expertise的首席架构师，专门研究DW/BI解决方案。

第Ⅰ部分 大数据的含义  第1章 行业需求与解决方案 3  1.1 何谓“大”数据 3  1.2 Hadoop简史 4  1.2.1 Google 4  1.2.2 Nutch 5  1.3 Hadoop的概念 5  1.3.1 衍生品和分发版 6  1.3.2 Hadoop分发版 7  1.3.3 Hadoop生态系统的核心 8  1.3.4 Hadoop中的重要Apache项目 10  1.3.5 Hadoop的未来 14  1.4 本章小结 14  第2章 Microsoft大数据解决方法 15  2.1 “优质组合”的故事 15  2.2 生态系统中的竞争 16  2.2.1 SQL on Hadoop现状 16  2.2.2 Hortonworks和Stinger 16  2.2.3 Cloudera和Impala 18  2.2.4 Microsoft对Hadoop中SQL应用的贡献 20  2.3 Hadoop的部署 20  2.3.1 部署要素 20  2.3.2 部署拓扑结构 23  2.3.3 部署计分卡 26  2.4 本章小结 28  第Ⅱ部分 使用Microsoft建立大数据  第3章 配置首个大数据环境 31  3.1 入门 31  3.2 开始安装 32  3.3 安装过程 32  3.3.1 本地安装：单节点安装 32  3.3.2 HDInsight服务：云端安装 40  3.3.3 Windows Azure存储管理器选项 41  3.4 验证新集群 43  3.4.1 登录HDInsight服务 43  3.4.2 通过日志验证HDP功能 44  3.5 常见的安装后任务 45  3.5.1 加载首个文件 45  3.5.2 验证Hive和Pig 46  3.6 本章小结 50  第Ⅲ部分 存储并管理大数据  第4章 HDFS、Hive、HBase和HCatalog 53  4.1 探讨HDFS 53  4.1.1 HDFS体系结构阐述 54  4.1.2 与HDFS交互 57  4.2 探讨Hive：Hadoop数据仓库平台 59  4.2.1 设计、构建和加载表 60  4.2.2 查询数据 61  4.2.3 配置Hive ODBC驱动程序 61  4.3 探讨HCatalog：HDFS表和元数据管理 62  4.4 探索HBase：面向列的HDFS数据库 63  4.4.1 面向列的数据库 63  4.4.2 定义和填充HBase表 65  4.4.3 使用查询操作 66  4.5 本章小结 66  第5章 HDFS的数据存储与管理 67  5.1 了解HDFS基本原理 67  5.1.1 HDFS体系结构 68  5.1.2 名称节点和数据节点 69  5.1.3 数据复制 71  5.2 使用常用命令与HDFS进行交互 72  5.2.1 使用HDFS的界面 72  5.2.2 文件处理命令 74  5.2.3 HDFS的管理功能 76  5.3 在HDFS中移动和组织数据 78  5.3.1 在HDFS中移动数据 78  5.3.2 实现便于管理的数据结构 79  5.3.3 重新平衡数据 79  5.4 本章小结 80  第6章 添加Hive结构 81  6.1 理解Hive的作用和角色 82  6.1.1 为非结构化数据提供结构 82  6.1.2 启用数据访问与转换 88  6.1.3 鉴别Hive与传统RDBMS系统 88  6.1.4 使用Hive 89  6.2 创建和查询基本表 90  6.2.1 创建数据库 90  6.2.2 创建表 91  6.2.3 添加和删除数据 94  6.2.4 查询表 95  6.3 使用Hive的高级数据结构 97  6.3.1 设置分区表 97  6.3.2 加载分区表 99  6.3.3 使用视图 100  6.3.4 创建表索引 100  6.4 本章小结 101  第7章 使用HBase和HCatalog来扩展功能 103  7.1 使用HBase 104  7.1.1 创建HBase表 104  7.1.2 将数据加载到HBase表 106  7.1.3 执行快速查找 107  7.1.4 加载和查询HBase 108  7.2 使用HCatalog管理数据 109  7.2.1 使用HCatalog和Hive 109  7.2.2 定义数据结构 110  7.2.3 建立索引 111  7.3 创建分区 111  7.4 HCatalog与Pig和Hive的集成 113  7.5 使用HBase或Hive作为数据仓库 116  7.6 本章小结 117  第Ⅳ部分 使用大数据  第8章 使用SSIS、Pig和Sqoop  进行有效的大数据ETL 121  8.1 结合大数据与SQL Server工具获取更优解决方案 122  8.1.1 为何要移动数据 122  8.1.2 在Hadoop和SQL Server之间移动数据 123  8.2 使用SSIS和Hive 123  8.3 配置包 128  8.3.1 将数据加载到Hadoop 131  8.3.2 从SSIS获得最 佳性能 132  8.4 使用Sqoop转移数据 132  8.4.1 从SQL Server复制数据 133  8.4.2 将数据复制到SQL Server 135  8.5 使用Pig移动数据 135  8.5.1 使用Pig转换数据 136  8.5.2 同时使用Pig和SSIS 138  8.6 选择正确的工具 139  8.6.1 何时使用SSIS 139  8.6.2 何时使用Pig 139  8.6.3 何时使用Sqoop 139  8.7 本章小结 140  第9章 使用Pig和Hive进行数据研究和高级数据清理 141  9.1 了解Pig 141  9.1.1 使用Pig的时机 142  9.1.2 利用内置函数 142  9.1.3 执行用户自定义函数 143  9.1.4 使用UDF 144  9.1.5 为Pig创建专属UDF 151  9.2 使用Hive 153  9.2.1 使用Hive进行数据分析 153  9.2.2 Hive函数类型 154  9.2.3 使用map—reduce脚本扩展Hive 155  9.2.4 创建自定义map—reduce脚本 158  9.2.5 为Hive创建专属UFD 159  9.3 本章小结 161  第Ⅴ部分 大数据与SQL Server的整合  第10章 数据仓库与Hadoop整合 165  10.1 行业状况 166  10.2 传统数据仓库架构面临的挑战 166  10.2.1 技术制约 167  10.2.2 业务挑战 171  10.3 Hadoop在数据仓库市场上的影响 173  10.3.1 保持一切 173  10.3.2 代码优先（模式延后） 174  10.3.3 塑造价值 175  10.3.4 计算问题 176  10.4 介绍并行数据仓库 176  10.4.1 何谓PDW 177  10.4.2 PDW为什么重要 178  10.4.3 PDW的工作方式 180  10.5 Polybase项目 188  10.5.1 Polybase架构 188  10.5.2 当今Polybase的商业案例 199  10.5.3 预测Polybase的未来 201  10.6 本章小结 204  第11章 使用Windows BI呈现大数据 205  11.1 工具生态系统 205  11.1.1 Excel 206  11.1.2 PowerPivot 206  11.1.3 Power View 207  11.1.4 Power Map 207  11.1.5 报表服务 208  11.2 使用PowerPivot的自助式大数据 210  11.2.1 设置ODBC驱动程序 210  11.2.2 加载数据 211  11.2.3 更新模型 217  11.2.4 添加度量标准 218  11.2.5 创建数据透视表 218  11.3 使用Power View加速大数据探索 220  11.4 使用Power Map的快速空间探索 224  11.5 本章小结 225  第12章 大数据分析 227  12.1 数据科学、数据挖掘与预测分析 227  12.1.1 数据挖掘 227  12.1.2 预测分析 228  12.2 Mahout介绍 229  12.3 构建一个推荐引擎 230  12.3.1 开始 231  12.3.2 运行用户到用户推荐作业 232  12.3.3 运行项目到项目推荐作业 234  12.4 本章小结 235  第13章 大数据与云 237  13.1 定义云 237  13.2 探索大数据云提供商 238  13.2.1 Amazon 238  13.2.2 Microsoft 239  13.3 在云端设置大数据沙盒 239  13.3.1 开始使用Amazon EMR 240  13.3.2 开始使用HDInsight 244  13.4 在云端存储数据 251  13.4.1 存储数据 251  13.4.2 上传数据 252  13.4.3 探索大数据存储工具 252  13.4.4 整合云端数据 254  13.4.5 其他云端数据源 255  13.5 本章小结 255  第14章 现实生活中的大数据 257  14.1 常见行业分析 257  14.1.1 电信 257  14.1.2 能源 258  14.1.3 零售 258  14.1.4 数据服务 259  14.1.5 IT／托管优化 259  14.1.6 市场社会情绪 260  14.2 运营分析 260  14.2.1 快速失败 260  14.2.2 一个新的技术生态系统 260  14.2.3 用户受众 262  14.3 本章小结 264  第Ⅵ部分 继续向前发展大数据  第15章 创建和执行大数据计划 267  15.1 获得赞助方和利益相关方的认同 267  15.1.1 问题定义 268  15.1.2 范围管理 269  15.1.3 利益相关方的期望 270  15.1.4 定义成功的标准 270  15.2 确定技术上的挑战 271  15.2.1 环境的挑战 271  15.2.2 技能的挑战 272  15.3 确定运营上的挑战 273  15.3.1 制定设置／配置计划 273  15.3.2 制定运行维护计划 274  15.4 更进一步 275  15.4.1 交付到运营 276  15.4.2 部署之后 276  15.5 本章小结 276  第16章 运营的大数据管理 279  16.1 混合型大数据环境：云端与本地解决方案协同工作 279  16.2 使用云计算和本地解决方案的动态数据集成 280  16.3 大数据的集成思想 281  16.4 大数据环境中的备份和高可用性 283  16.4.1 高可用性 283  16.4.2 灾难恢复 285  16.5 大数据解决方案的管理 286  16.6 创建运营分析 286  16.6.1 HDP系统中心运营管理器 287  16.6.2 安装Ambari SCOM管理软件包 288  16.6.3 使用Ambari SCOM管理软件包进行监控 296  16.7 本章小结 300