Python数据分析与挖掘实战

　　本书涵盖数据分析与数据挖掘的基础知识、工具和有效实践方法，能让读者充分掌握数据分析与数据挖掘的基本技能。 本书共分为15章，主要内容包括大数据获取、数据预处理、探索性数据分析、用Sklearn估计器分类、主流数据分析库、大数据的数据库类型、数据仓库/商业智能、数据聚合与分组运算、数据挖掘工具、挖掘建模、模型评估、社会媒体挖掘、图挖掘分类、基于深度学习的验证码识别、基于深度学习的文本分类挖掘实现。 本书采用理论与实践相结合的方式，利用Python语言的强大功能，以*小的编程代价进行数据的提取、处理、分析和挖掘，既适合Python数据分析与数据挖掘初学者、大数据从业人员阅读，也适合高等院校和培训机构大数据与人工智能相关专业的师生教学参考。

　　邓立国，东北大学计算机应用博士毕业。2005年开始在沈阳师范大学软件学院、教育技术学院任教，主要研究方向：数据挖掘、知识工程、大数据处理、云计算、分布式计算等。以作者发表学术论文30多篇（26篇EI），主编教材 1 部，主持科研课题6项，经费10余万元，多次获得校级科研优秀奖，作为九三社员提出的智慧城市提案被市政府采纳，研究成果被教育厅等单位采用。

第1章  大数据采集 1
1.1  大数据分类 1
1.2  大数据采集方法 2
1.3  Python爬虫 3
1.3.1  审查元素 4
1.3.2  认识网页结构 5
1.3.3  认识robots.txt的文档 6
1.3.4  爬虫的基本原理 11
1.3.5  Python爬虫架构 11
1.3.6  用GET方式抓取数据 12
1.3.7  用POST方式抓取数据 15
1.3.8  用Beautiful Soup解析网页 17
1.3.9  Python爬虫案例 19
1.4  本章小结 25
第2章  数据预处理 26
2.1  数据清洗 26
2.1.1  缺失值处理 27
2.1.2  异常值处理 28
2.2  数据集成 30
2.3  数据转换 32
2.4  数据规约 34
2.5  Python主要数据预处理函数 35
2.6  本章小结 37
第3章  探索性数据分析 38
3.1  异常值分析 38
3.2  缺失值分析 41
3.3  分布分析 43
3.4  相关性分析 46
3.5  对比分析 48
3.6  统计量分析 48
3.7  周期性分析 51
3.8  贡献度分析 51
3.9  Python主要数据探索函数 52
3.10  本章小结 53
第4章  Sklearn估计器 54
4.1  Sklearn概述 54
4.2  使用Sklearn估计器分类 58
4.2.1  k近邻算法 59
4.2.2  管道机制 63
4.2.3  Sklearn比较分类器 65
4.3  本章小结 69
第5章  主流数据分析库 70
5.1  NumPy 70
5.2  Pandas 75
5.2.1  Pandas系列 76
5.2.2  Pandas数据帧 78
5.2.3  Pandas面板 84
5.3  SciPy 86
5.4  Matplotlib 90
5.5  本章小结 93
第6章  大数据：数据库类型 94
6.1  关系型数据库 94
6.2  关系型数据库与非关系型数据库的关系 95
6.3  SQLite 96
6.3.1  SQLite安装与配置 96
6.3.2  SQLite命令 97
6.3.3  SQLite语法 99
6.3.4  SQLite - Python 104
6.4  MySQL 111
6.4.1  MySQL安装 111
6.4.2  MySQL管理 114
6.4.3  MySQL PHP语法 116
6.4.4  PHP脚本连接MySQL 116
6.4.5  Python操作MySQL数据库 117
6.5  NoSQL数据库 123
6.5.1  NoSQL概述 123
6.5.2  列存储数据库 125
6.5.3  文档存储数据库 134
6.5.4  键值存储数据库 143
6.5.5  图存储数据库 153
6.5.6  对象存储数据库 155
6.5.7  XML数据库 155
6.6  本章小结 157
第7章  数据仓库/商业智能 158
7.1  数据仓库和商业智能简介 158
7.2  数据仓库架构 159
7.3  OLAP 160
7.4  数据集市 161
7.5  商业智能 162
7.6  本章小结 163
第8章  数据聚合与分组运算 164
8.1  GroupBy技术 164
8.1.1  通过函数进行分组 165
8.1.2  对分组进行迭代 167
8.1.3  选取一个或一组列 170
8.1.4  通过字典或Series进行分组 171
8.1.5  通过函数进行分组 172
8.1.6  根据索引级别分组 173
8.2  数据聚合 174
8.2.1  面向列的多函数应用 174
8.2.2  以无索引的方式返回聚合数据 177
8.2.3  分组级运算和转换 178
8.3  透视表和交叉表 181
8.4  本章小结 183
第9章  数据挖掘工具 184
9.1  数据挖掘工具分类 184
9.2  数据挖掘经典算法 185
9.3  免费数据挖掘工具 186
9.4  Git和GitHub项目数据挖掘工具 188
9.5  Python数据挖掘工具 190
9.5.1  Gensim 190
9.5.2  TensorFlow 194
9.5.3  Keras 197
9.6  本章小结 197
第10章  挖掘建模 198
10.1  数据挖掘建模的一般过程 198
10.2  分类与预测 199
10.3  聚类分析 200
10.4  关联分析 201
10.5  时序模式 202
10.6  离群点检测 203
10.7  本章小结 204
第11章  模型评估 205
11.1  验证 205
11.2  交叉验证 206
11.3  自助法 206
11.4  回归评估指标 207
11.5  分类评估指标 207
11.6  ROC曲线 208
11.7  本章小结 210
第12章  社会媒体挖掘 211
12.1  社会媒体与社会媒体数据 211
12.2  中国社会媒体核心用户数据分析 212
12.3  社会媒体挖掘技术与研究热点 213
12.4  社会媒体挖掘流程 214
12.5  Twitter情感分析 216
12.6  本章小结 221
第13章  图挖掘分类 222
13.1  图挖掘概述 222
13.2  图挖掘技术基础 224
13.3  网络度量 226
13.4  网络模型 229
13.5  图挖掘与知识推理 230
13.6  图挖掘算法简介 231
13.7  社区检测 232
13.7.1  模块度 233
13.7.2  社区发现算法 234
13.8  频繁子图挖掘算法gSpan的实现 237
13.9  基于networkx进行社交网络分析 239
13.10  本章小结 245
第14章  基于深度学习的验证码识别 246
14.1  获取图片验证码 246
14.2  验证码图片预处理 248
14.3  依赖TensorFlow的深度学习验证码识别 255
14.4  本章小结 259
第15章  基于深度学习的文本分类挖掘实现 260
15.1  文本分类概念 260
15.2  文本分类挖掘算法概述 261
15.3  基于传统机器学习的文本分类 262
15.4  基于深度学习的文本分类 263
15.4.1  FastText文本分类模型算法实现 264
15.4.2  TextCNN文本分类模型算法实现 268
15.4.3  Bert深度双向Transformer构建语言理解预训练模型 271
15.4.4  TextRNN文本分类 273
15.4.5  RCNN文本分类 275
15.4.6  Hierarchical Attention Network文本分类 278
15.4.7  seq2seq with attention文本分类 281
15.4.8  Transformer文本分类 283
15.4.9  Dynamic Memory Network文本分类 289
15.4.10  Recurrent Entity Network文本分类 292
15.4.11  Boosting文本分类 294
15.4.12  BiLstmTextRelation文本分析 294
15.4.13  twoCNNTextRelation文本分类 297
15.5  本章小结 297
参考文献 298