大数据技术和应用

　　《大数据技术和应用/大数据人才培养丛书》是一本大数据技术入门的简明教材。全书理论和实践相结合，以应用实战为主，深入浅出地讲解每个知识点，对每个应用实验按学习习惯，分步骤讲解，每个步骤都有文字说明和效果截图，使读者能清晰地知晓动手实操的效果和错误之处。全书分为9章，全面介绍了大数据技术的相关基础知识、HDFS和数据库、采集传输工具、挖掘分析算法、Spark计算框架、可视化、大数据安全、大数据应用等内容，着重介绍了HDFS分布式文件系统、NoSQL等各种数据库、数据仓库Hive，以及数据采集分析技术，并配套了详细的实验教程以及练习题。《大数据技术和应用/大数据人才培养丛书》适合作为高等院校计算机、软件工程、大数据专业高职、本科生的教材，同时可供企业中从事大数据开发的工程师和科技工作者参考。

　　陈建平，学士，大数据专家讲师，福建师范大学毕业。2006年从事大数据相关的工作，2010年开始从事大数据培训工作，15人以上的大数据团队带队经验。曾承担过BI工程师、数据挖掘工程师、大数据架构师、数据科学家、大数据技术总监、合伙人等职位，曾参与和组织过个性化推荐大数据和图像处理的人工智能等20多个项目，曾在上海IBM公司担任过高级数据挖掘工程师。多次受邀参加学校大数据实验室专家和高校专业论证会等。精通大数据相关技术，熟悉关系型数据库Oracle\\MySQL\\DB2，熟悉GreenPlum高并发数据库；精通Hadoop、HBase、HDFS、Hive、Pig、Hue、Spark等开源技术，对实时处理Storm、SparkStreaming有较深的认识，熟悉分布式MapReduce计算引擎。精通数据挖掘算法和解决方案。熟悉SPSS\\R语言\\SparkMLlib\\Python等挖掘语言，熟悉决策树、K-means.神经网络、Logistc线性回归、Apriori算法、协同过滤等多种算法。熟悉零售、电信、移动、电力、证券、网络、物流、医疗、银行等业务。认证资质包括：CCNP、OCP、PMP、高级软件证书、资深讲师证、Cloudera管理员开发证书、高级大数据分析师证书、高级数据分析师证书等。部分培训过单位和学校：北京电力公司、福建电信公司、上海物流公司、****、中国工商银行、上海**、湖北电力公司、上海IBM企业、上海汽车股份、上海电信、江西地税、嘉兴电力、上海电信、闽江学院、龙岩学院、福师大等。已出版教材：《Cloudera Hadoop大数据平台实战指南》陈志德，博士，教授。1999年毕业于福建师范大学数学系，获学士学位；2002年毕业于福州大学数学系，获硕士学位；2005年毕业于复旦大学计算机科学与工程系，获博士学位； 2005年至今在福建师范大学数学与计算机科学学院工作，任网络空间安全系副主任。主要研究方向包括网络与信息安全、物联网与移动计算等，指导硕士研究生30多人，指导研究生的学位论文曾获校优秀硕士论文一等奖。近年来主持福建省自然科学基金、福建省科技厅K类基金等项目10项，参与国家自然科学基金和省科技厅高校产学合作科技重大项目课题各1项。出版学术专著2本，教材1本。在Journal of Computer and System Sciences、Concurrency and Computation：Practice and Experience等期刊发表学术论文40多篇，申请专利10多项，软件著作权10多项。担任CTCIS 和NSS等国内和国际学术会议的程序委员会委员。席进爱，上海瀚途英烁副总裁／CIO，拥有SIFM、CFA、高级大数据分析师证书。历任上海朝阳永续股份有限公司董事／冰创科技CEO、上海大智慧基金执行总裁、上海证券通产品中心总经理。13年金融领域丰富经验，业务涉及证券、基金、银行、保险。主导并负责多家公司从0到1组建团队、搭建系统和拓展业务，成功运作多起千万级用户平台。目前主要致力于AI和大数据技术的落地应用，研发有智能机器人、智能投研、智能投顾和智能营销四大系统，带领公司成功入选百度AL加速器第4期成员企业。

第1章 了解大数据
1．1 大数据处理的基础技术
1．1．1 大数据相关概念
1．1．2 大数据处理流程
1．1．3 大数据处理基础技术
1．2 主流大数据技术
1．2．1 主流大数据技术各阶段
1．2．2 Hadoop生态系统
1．2．3 Hadoop核心组件简介
1．3 大数据平台解决方案
1．3．1 Cloudera
1．3．2 Hortonworks
1．3．3 MapR
1．3．4 Fusionlnsight．
1．3．5 Transwarp Data Hub
1．4 大数据发展现状和趋势
1．4．1 大数据市场规模
1．4．2 国内大数据发展面临的问题
1．4．3 大数据发展趋势
1．5 习题
第2章 大数据基础软件
2．1 Linux基础介绍
2．1．1 用户和用户组管理
2．1．2 文件和目录操作
2．1．3 文本编辑器
2．2 Java基础介绍
2．2．1 Java基础
2．2．2 编程开发
2．2．3 Java开发环境配置
2．3 SQL语言基础介绍
2．3．1 数据库基础
2．3．2 SQL简介
2．3．3 SQL语法
2．3．4 SQL基础语法
2．4 实验一：在Linux中安装和使用JaVa
2．4．1 本实验目标
2．4．2 本实验知识点
2．4．3 项目实施过程
2．4．4 常见问题
2．5 实验二：在Linux中安装和使用MySQL
2．5．1 本实验目标
2．5．2 本实验知识点
2．5．3 项目实施过程
2．5．4 常见问题
2．6 习题
第3章 大数据采集
3．1 大数据采集技术介绍
3．2 常见采集工具和厂商
3．2．1 搜索引擎查看
3．2．2 工具分类
3．3 八爪鱼采集器介绍
3．3．1 八爪鱼采集原理
3．3．2 八爪鱼实现的功能
3．4 爬山虎采集器介绍
3．4．1 爬山虎介绍
3．4．2 产品特点和核心技术
3．4．3 软件界面
3．5 流数据采集工具Flume
3．5．1 Flume背景
3．5．2 Flume NG基本架构
3．5．3 Flume案例分析
3．6 数据传输工具Sqoop介绍
3．6．1 Sqoop工具介绍
3．6．2 Sqoop2特性
……
第4章 大数据存储
第5章 Spark内存计算框架
第6章 大数据分析挖掘
第7章 大数据可视化
第8章 大数据安全
第9章 大数据应用
参考文献