数据分析基础

　　上海继续工程教育协会根据大数据时代的需求，听取专家意见，确定组织编写《数据分析基础》，并在上海市开设相应的专业技术人员继续教育公需科目培训。教材内容包括：数据分析概述、数据分析的常用工具、数据收集与存储、数据预处理、常用的数据分析方法、数据建模、数据可视化呈现、数据分析报告的撰写共8章。该教材将作为上海市专业技术人员公需科目继续教育“数据分析基础”课程的基本教材。课程的主要对象是非信息技术专业和数理统计专业的制造业、建设业专业技术人员，以及教育、卫生、交通、城市管理等行业的专业技术人员。

　　上海继续工程教育协会的登记管理机关是上海市社会团体管理局，业务主管单位是上海市人力资源和社会保障局，负责组织实施上海地区专业技术人员继续教育公需科目培训工作。

第一章 数据分析概述
1.1数据分析的定义
1.2数据分析的意义
1.3数据分析的常见类型及作用
1.3.1数据分析的常见类型
1.3.2数据分析的作用
1.4数据分析的一般步骤
1.4.1明确分析目的和思路
1.4.2数据收集
1.4.3数据处理
1.4.4数据分析实施
1.4.5数据展现
1.4.6报告撰写

第二章 数据分析的常用工具
2.1数据处理工具：Excel
2.1.1 Excel简介
2.1.2 Excel实践环境
2.1.3 Excel数据处理与分析
2.2数据库：MySQL
2.2.1 MySQL简介
2.2.2 MySQL实践环境
2.2.3 MySQL基本操作
2.3数据可视化：Power BI
2.3.1 Power BI简介
2.3.2 Power BI实践环境
2.3.3 Power BI数据分析及可视化
2.3.4 Excel用户使用Power BI
2.4大数据分析工具
2.4.1 SPSS可视化统计分析工具
2.4.2 Python程序设计语言
2.4.3 Hive数据仓库工具

第三章 数据收集与存储
3.1数据库与数据仓库
3.1.1数据库
3.1.2数据仓库
3.1.3数据库与数据仓库的区别
3.2 数据
3.2.1 数据与大数据
3.2.2 数据的类型
3.2.3数据的呈现形式
3.3 数据的来源
3.3.1第二手数据
3.3.2第一手数据
3.4数据的存储
3.4.1大数据给存储带来的挑战
3.4.2数据存储的分类
3.4.3网络存储技术
3.4.3虚拟存储

第四章 数据预处理
4.1数据清洗
4.1.1数据标准化处理
4.1.2缺失数据的处理
4.1.3离群值及重复数据的处理
4.2数据变换
4.2.1最小-最大规范化
4.2.2零-均值规范化
4.2.3小数定标规范化
4.2.4不一致数据的处理
4.3数据规约
4.3.1属性规约
4.3.2数值规约


第五章 常用的数据分析方法
5.1 描述性统计分析
5.1.1均值分析
5.1.2频数分析
5.1.3百分比分析
5.1.4众数和中位数
5.1.5交叉分析
5.1.6同比分析
5.1.7环比分析
5.1.8其他
5.2 探索性数据分析
5.2.1相关分析
5.2.2回归分析
5.2.3方差分析
5.2.4显著性检验分析
5.2.5聚类分析
5.2.6主成分分析与因子分析
5.2.7对应分析



第六章 数据建模
6.1模型的形式化描述
6.2建模的基本过程
6.3建模的特征工程
6.3.1特征提取
6.3.2特征选择
6.3.3降维
6.4建模的常用算法与选择
6.4.1监督学习
6.4.2无监督学习
6.5模型的验证与评估
6.5.1评估指标概述
6.5.2模型状态评估

第七章 数据可视化呈现
7.1选择合适的数据呈现方式
7.2数据如何演变为图表
7.3常见图表的制作与呈现
7.3.1如何创建一个完整的图表
7.3.2Excel中的基本图表创建
7.3.3柱形图
7.3.4条形图
7.3.5折线图
7.3.6饼图
7.3.7散点图
7.3.8矩阵图
7.3.9气泡图
7.3.10雷达图
7.3.11 箱型图
7.3.12地图热力图

第八章 数据分析报告的撰写
8.1分析报告的写作原则
8.1.1主题要突出
8.1.2结构要严谨
8.1.3观点和材料要统一
8.1.4语言力求准确、简洁、通俗易懂
8.2基于数据分析的推导过程
8.2.1第一步——感知问题
8.2.2第二步——提出假说
8.2.3第三步——选择表征
8.2.4第四步——收集数据
8.2.5第五步——分析验证
8.3结论逻辑可读性
8.4报告图表化
8.5数据分析报告范例
8.5.1引言
8.5.2背景及意义
8.5.3数据分析方法
8.5.4总结