大数据导论

　　这是一个大数据爆发的时代。面对信息的激流，多元化数据的涌现，大数据已经为个人生活、企业经营，甚至国家与社会的发展都带来了机遇和挑战，大数据已经成为IT信息产业中**潜力的蓝海。“大数据导论”是一门理论性和实践性都很强的课程。本书是为高等职业院校大数据技术与应用专业“大数据导论”课程全新设计改编的，是一本具有丰富实践特色的新形态教材。针对高等职业院校学生的发展需求，本书系统、全面地介绍了大数据技术与应用的基本知识和技能，详细介绍了大数据与大数据时代、大数据时代思维变革、大数据促进行业发展、大数据方法的驱动力、大数据存储技术、大数据处理技术、大数据分析技术、大数据在云端等内容，具有较强的系统性、可读性和实用性。

　　张丽娜，女，副教授，浙江安防职业技术学院专业负责人，主持省部级项目3项，市厅级项目10余项。作为主要成员参与各级别项目多项。

项目1 大数据与大数据时代
任务1．1 进入大数据时代
【导读案例】 准确预测地震
【任务描述】
【知识准备】 进入大数据时代
1．1．1 天文学――信息爆炸的起源
1．1．2 大数据的发展
1．1．3 重新认识数据
1．1．4 数据集与数据分析
【作 业】
【实训操作】 ETI公司的背景信息
任务1．2 熟悉大数据的定义
【导读案例】 得数据者得天下
【任务描述】
【知识准备】 定义大数据
1．2．1 大数据的定义
1．2．2 大数据的3V和5V特征
1．2．3 广义的大数据
1．2．4 大数据的结构类型
【作 业】
【实训操作】 为ETI公司确定数据特征与类型
项目2 大数据时代思维变革
任务2．1 理解思维转变之一：样本=总体
【导读案例】 亚马逊推荐系统
【任务描述】
【知识准备】 分析更多数据而不再是只依赖于随机采样
2．1．1 小数据时代的随机采样
2．1．2 大数据与乔布斯的癌症治疗
2．1．3 全数据模式：样本=总体
【作 业】
【实训操作】 搜索与分析，体验“样本=总体”
任务2．2 理解思维转变之二：接受数据的混杂性
【导读案例】 数据驱动≠大数据
【任务描述】
【知识准备】 不再热衷于追求精确度
2．2．1 允许不精确
2．2．2 大数据的简单算法与小数据的复杂算法
2．2．3 纷繁的数据越多越好
2．2．4 混杂性是标准途径
2．2．5 新的数据库设计
2．2．6 5%的数字数据与95%的非结构化数据
【作 业】
【实训操作】 搜索与分析，体验“接受数据的混杂性”
任务2．3 理解思维转变之三：数据的相关关系
【导读案例】 美国百亿美元望远镜主镜安装完毕
【任务描述】
【知识准备】 不再热衷于寻找因果关系
2．3．1 关联物，预测的关键
2．3．2 “是什么”，而不是“为什么”
2．3．3 通过因果关系了解世界
2．3．4 通过相关关系了解世界
【作 业】
【实训操作】 搜索与分析，体验“数据的相关关系”
项目3 大数据促进行业发展
任务3．1 理解大数据促进医疗与健康
【导读案例】 大数据变革公共卫生
【任务描述】
【知识准备】 大数据促进医疗与健康
3．1．1 大数据促进循证医学发展
3．1．2 大数据带来医疗保健新突破
3．1．3 医疗信息数字化
3．1．4 超级大数据的最佳伙伴――搜索
3．1．5 数据决策的成功崛起
【作 业】
【实训操作】 熟悉大数据在医疗健康领域的应用
任务3．2 理解大数据激发创造力
【导读案例】 脸书的设计决策
【任务描述】
【知识准备】 大数据激发创造力
3．2．1 大数据帮助改善设计
3．2．2 大数据操作回路
3．2．3 大数据资产的崛起
【作 业】
【实训操作】 熟悉大数据如何激发创造力
项目4 大数据方法的驱动力
任务4．1 理解采用大数据的商业动机
【导读案例】 大数据企业的缩影――谷歌（Google）
【任务描述】
【知识准备】 将数据变成竞争优势
4．1．1 大数据的跨界年度
4．1．2 谷歌的大数据行动
4．1．3 亚马逊的大数据行动
4．1．4 将信息变成一种竞争优势
4．1．5 市场动态
4．1．6 业务架构
4．1．7 业务流程管理
【作 业】
【实训操作】 理解采用大数据的商业动机
任务4．2 理解大数据规划考虑
【导读案例】 Google搜索算法告诉你，如何将一个人变成“傻瓜”
【任务描述】
【知识准备】 大数据的规划考虑
4．2．1 信息与通信技术
4．2．2 万物互联网
4．2．3 数据获取与数据来源
4．2．4 不同的性能挑战
4．2．5 不同的管理需求
【作 业】
【实训操作】 ETI公司掌握大数据规划方法
任务4．3 熟悉大数据商务智能
【导读案例】 微信支付新广告，讲了一个支付之外的故事
【任务描述】
【知识准备】 大数据的商务智能
4．3．1 OLTP与OLAP
4．3．2 抽取、转换和加载技术
4．3．3 数据仓库与数据集市
4．3．4 传统商务智能
4．3．5 大数据商务智能
4．3．6 大数据营销
【作 业】
【实训操作】 学习“五力模型”，熟悉大数据商务智能
项目5 大数据存储技术
任务5．1 熟悉大数据存储概念
【导读案例】 2018未来交通峰会召开，高德地图升级易行平台
【任务描述】
【知识准备】 大数据存储概念
5．1．1 数据清理
5．1．2 集群
5．1．3 文件系统和分布式文件系统
5．1．4 分片与复制
5．1．5 CAP定理
5．1．6 ACID设计原则
5．1．7 BASE设计原理
【作 业】
【实训操作】 熟悉大数据存储的概念
任务5．2 了解大数据存储技术
【导读案例】 基础领域突破非一日之功，是数十年的耕耘
【任务描述】
【知识准备】 大数据存储技术
5．2．1 RDBMS数据库
5．2．2 NoSQL数据库
5．2．3 NewSQL数据库
5．2．4 内存存储设备
5．2．5 内存数据网格
5．2．6 内存数据库
【作 业】
【实训操作】 熟悉大数据存储技术
项目6 大数据处理技术
任务6．1 熟悉大数据处理技术
【导读案例】 Cloudera领衔大数据基础设施
【任务描述】
【知识准备】 大数据技术架构及处理技术
6．1．1 开源技术的商业支援
6．1．2 大数据的技术架构
6．1．3 Hadoop数据处理基础
6．1．4 处理工作量
6．1．5 批处理模式
6．1．6 SCV原则
6．1．7 实时处理模式
【作 业】
【实训操作】 理解和熟悉大数据处理技术
项目7 大数据分析技术
任务7．1 了解大数据预测分析
【导读案例】 葡萄酒的品质
【任务描述】
【知识准备】 大数据预测分析的内容与技术
7．1．1 什么是预测分析
7．1．2 数据具有内在预测性
7．1．3 定量分析与定性分析
7．1．4 数据挖掘
7．1．5 统计分析
【作 业】
【实训操作】 大数据准备度自我评分表
任务7．2 数据的内在预测性
【导读案例】 Google AI：机器学习预测场景深度图，模拟人眼更进一步
【任务描述】
【知识准备】 数据的内在预测能力
7．2．1 机器学习
7．2．2 语义分析
7．2．3 视觉分析
7．2．4 情感分析
7．2．5 人工神经网络
【作 业】
【实训操作】 熟悉ETI企业IT团队采用的大数据分析技术
任务7．3 熟悉大数据分析的生命周期
【导读案例】 百度大数据为新冠病毒社会影响“画像”：解读疫情发展，量化经济击，助力政府决策
导读案例
【任务描述】
【知识准备】 大数据分析的生命周期
7．3．1 商业案例评估
7．3．2 数据标识
7．3．3 数据获取与过滤
7．3．4 数据提取
7．3．5 数据验证与清理
7．3．6 数据聚合与表示
7．3．7 数据分析
7．3．8 数据可视化
7．3．9 分析结果的使用
【作 业】
【实训操作】 ETI企业所经历的大数据分析生命周期
项目8 大数据在云端
任务8．1 熟悉云时代背景下的大数据
【导读案例】 亚马逊，数据在云端
【任务描述】
【知识准备】 云端大数据的基础设施
8．1．1 云端大数据
8．1．2 计算虚拟化
8．1．3 存储虚拟化
8．1．4 网络虚拟化
8．1．5 数据即服务
8．1．6 云的挑战
【作 业】
【实训操作】 熟悉云端大数据的基础设施
任务8．2 把握大数据发展的未来
【导读案例】 智能大数据分析成热点
【任务描述】
【知识准备】 数据科学和大数据人才
8．2．1 数据科学
8．2．2 数据科学家与数据工作者
8．2．3 隐私权与安全性
8．2．4 连接开放数据
8．2．5 数据市场的兴起
8．2．6 将原创数据变为增值数据
8．2．7 大数据未来展望
【作 业】
【实训操作】 ETI企业的大数据之旅
【课程学习与实训总结】
附录A 课程作业参考答案
附录B 课程学习能力测评
参考文献