数据分析原理与实践：基于经典算法及Python编程实现

　　本书主要采用理论学习与实践操作并重、上层应用与底层原理相结合的方式讲解数据分析师需要掌握的数据分析基础知识，包括基础理论、关联规则分析、回归分析、分类分析、聚类分析、集成学习、自然语言处理、图像处理和深度学习。每章内容从7个方面展开讲解：包括应用场景、算法原理、核心术语、Python编程实践、重点与难点解读、习题和主要参考文献及推荐阅读书目。本书在编写过程中不仅充分借鉴了国内外著名大学设立的相关课程、专家学者的代表性成果，以及近几年的热门畅销书，而且也考虑到了国内相关课程的教学以及相关从业人员自学的需求。本书可以满足数据科学与大数据技术、大数据管理与应用、计算机科学与技术、管理工程、工商管理、数据统计、数据分析、信息管理与信息系统、商业分析等多个专业的教师、学生的教学和学习需要，也适合广大从事数据分析工作的人员学习参考。

　　朝乐门，一流本科课程“数据科学导论”负责人，数据科学50人，中国人民大学青年杰出学者；中国计算机学会信息系统专委员会执行委员、全国高校人工智能与大数据创新联盟专家委员会副主任；核心期刊《计算机科学》执行编委、英文期刊Data Scienceand Informatics副主编；荣获高等学校科学研究优秀成果奖、IBM全球卓越教师奖、留学基金委-IBM中国优秀教师奖教金等多种奖励30余项；曾出版我国*早系统阐述数据科学的重要专著之一《数据科学》。

 
第1章数据分析概述
1.1数据分析的基本类型
1.2数据分析与机器学习
1.2.1统计学与机器学习
1.2.2机器学习算法的类型
1.2.3机器学习中的算法、模型、
参数和超参数
1.2.4数据分析中的基础算法
1.2.5数据分析中的高级算法
1.3数据分析的主要流程
1.4数据分析中的算法选择
1.5数据分析中常用的Python包
1.5.1NumPy
1.5.2Pandas
1.5.3Matplotlib
1.5.4Seaborn
1.5.5statsmodels
1.5.6scikitlearn
1.5.7jieba
1.5.8OpenCV
1.5.9TensorFlow和PyTorch
1.6数据分析的注意事项
1.7数据分析的现状与趋势
1.8习题
1.9主要参考文献及推荐阅读书目
第2章关联规则分析
2.1应用场景
2.2算法原理
2.2.1Apriori算法的假设
2.2.2Apriori算法的流程
2.3核心术语
2.3.1事务型数据
2.3.2项集
2.3.3支持度
2.3.4置信度
2.3.5提升度
2.3.6关联规则
2.4Python编程实践——购物车分析
2.4.1业务理解
2.4.2数据读入
2.4.3数据理解
2.4.4数据预处理
2.4.5生成频繁项集
2.4.6计算关联度
2.4.7可视化
2.5重点与难点解读
2.6习题
2.7主要参考文献及推荐阅读书目
第3章回归分析
3.1应用场景
3.2算法原理
3.2.1基本思路
3.2.2评价方法
3.3核心术语
3.3.1回归分析中常用的统计量
3.3.2特征矩阵与目标向量
3.3.3过拟合与欠拟合
3.3.4高杠杆点、离群点和强影响点
3.4Python编程实践
3.4.1线性回归——女性身高与体重
数据分析
3.4.2多元回归——广告收入数据分析
3.4.3泊松回归——航班数据分析
3.5重点与难点解读
3.5.1参数解读——线性回归算法
3.5.2ZScore标准化
3.5.3方差
3.5.4相关系数
3.5.5泊松分布
3.5.6L1和L2正则化
3.5.7闵氏距离、欧氏距离、曼哈顿距离
和切比雪夫距离
3.6习题
3.7主要参考文献及推荐阅读书目
第4章分类分析
4.1应用场景
4.2算法原理
4.1.1KNN
4.1.2贝叶斯分类
4.1.3支持向量机
4.1.4逻辑回归
4.3核心术语
4.3.1偏差和方差之间的权衡
4.3.2学习曲线
4.3.3混淆矩阵
4.3.4ROC曲线与AUC面积
4.3.5贝叶斯理论
4.3.6核函数及核技巧
4.4Python编程实践——病例自动诊断
分析
4.4.1使用KNN算法实现
4.4.2使用贝叶斯分类算法实现
4.4.3使用SVM算法实现
4.4.4使用逻辑回归算法实现
4.5重点与难点解读
4.5.1参数解读——KNN、贝叶斯分类、
SVM和逻辑回归算法
4.5.2数据标准化处理
4.5.3混淆矩阵及分类算法的评价指标
4.5.4最大似然估计
4.5.5判别模型与生成模型
4.5.6类别不平衡问题
4.5.7KD Tree与Ball Tree
4.5.8GridSearchCV及其原理
4.5.9GaussianNB、MultinomialNB和
BernoulliNB的区别
4.5.10LabelEncoder及其原理
4.6习题
4.7主要参考文献及推荐阅读书目
第5章聚类分析
5.1应用场景
5.2算法原理
5.2.1kmeans算法
5.2.2聚类效果的评价
5.3核心术语
5.4Python编程实践——蛋白质消费特征
分析
5.4.1业务理解
5.4.2数据读入
5.4.3数据理解
5.4.4数据准备
5.4.5模型训练
5.4.6模型评价
5.4.7模型调参
5.4.8模型预测
5.5重点与难点解读
5.5.1参数解读——kmeans算法
5.5.2kmeans 方法
5.5.3elkan方法
5.6习题
5.7主要参考文献及推荐阅读书目
第6章集成学习
6.1应用场景
6.2算法原理
6.2.1随机森林
6.2.2XGBoost
6.3核心术语
6.4Python编程实践——房屋价格预测
分析
6.4.1使用随机森林算法实现
6.4.2使用XGBoost实现
6.5重点与难点解读
6.5.1参数解读——随机森林和
XGBoost
6.5.2纯度最大化
6.5.3数据标准化
6.5.4泰勒展开式
6.5.5集成学习中几个注意事项
6.6习题
6.7主要参考文献及推荐阅读书目
第7章自然语言处理
7.1应用场景
7.2算法原理
7.2.1中文分词
7.2.2词袋模型
7.2.3Ngrams模型
7.2.4TFIDF算法
7.2.5文本规范化
7.2.6词性标注
7.3核心术语
7.4Python编程实践——2021年政府工作
报告分析
7.4.1业务理解
7.4.2数据读入
7.4.3分词处理
7.4.4添加自定义词汇
7.4.5词性标注
7.4.6停用词处理
7.4.7词性分布分析
7.4.8高频词分析
7.4.9关键词抽取
7.4.10绘制词云图
7.5重点与难点解读
7.5.1NLTK的词性标注
7.5.2NLTK的功能模块
7.6习题
7.7主要参考文献及推荐阅读书目
第8章图像处理
8.1应用场景
8.2算法原理
8.2.1建模阶段
8.2.2检测阶段
8.3核心术语
8.4Python编程实践——人脸检测分析
8.4.1安装并导入OpenCVpython包
8.4.2读取图像文件
8.4.3将RGB图像转换为灰度图
8.4.4人脸检测与矩阵标识
8.4.5图像显示
8.4.6图像保存
8.5重点与难点解读
8.5.1参数解读——OpenCV
8.5.2AdaBoost算法
8.5.3基于OpenCV和CNN的图像处理
的对比
8.5.4Haar特征和LBP特征的
对比分析
8.5.5AdaBoost算法和XGboost算法的
主要区别
8.6习题
8.7主要参考文献及推荐阅读书目
第9章深度学习
9.1应用场景
9.2算法原理
9.2.1全连接神经网络及其缺点
9.2.2全连接神经网络的改进及卷积
神经网络的提出
9.2.3卷积神经网络的基本思路
9.2.4CNN的整体流程
9.3核心术语
9.4Python编程实践——手写数字识别
分析
9.4.1业务理解
9.4.2数据读入及理解
9.4.3数据准备
9.4.4数据理解
9.4.5定义CNN的学习框架
9.4.6执行CNN学习及模型训练
9.4.7模型评价
9.4.8模型预测
9.5重点与难点解读
9.5.1参数解读——CNN算法
9.5.2机器学习中的性能与可解释性
的矛盾
9.5.3随机梯度下降及学习率
9.5.4Onehot encoding
9.5.5端到端的学习
9.5.6CNN与其他深度学习方法的区别
及联系
9.5.7CNN算法设置超参数的
经验法则
9.6习题
9.7主要参考文献及推荐阅读书目
附录习题参考答案