大数据分析与挖掘实验教程

　　本书是一本面向数据科学初学者的实验教材。本书旨在通过实验的方式，帮助学生掌握数据分析和挖掘的基本概念、方法和技术，并学会使用Python等工具进行实际操作。本书的实验设计涵盖了数据预处理、数据可视化、分类与预测、聚类与关联规则挖掘、文本挖掘、网络分析、时间序列分析、情感分析和主题模型等多个方面，旨在培养学生的数据思维和实际操作能力，为学生日后从事数据科学工作打下坚实的基础。本书的实验设计遵循理论与实践相结合的原则，每个实验都提供了详细的理论知识和实验步骤，以及实验数据和代码。通过实验，学生可以熟悉数据分析与挖掘的实际操作流程，了解各种数据分析与挖掘方法的优缺点以及应用场景。同时，本书还鼓励学生进行自主思考和创新，通过实验提高学生解决问题的能力和创新能力。

　　万欣，武汉纺织大学管理学院副教授，硕士生导师，武汉纺织大学大数据与效益制造中心主任，湖北省一流课程“商务智能”负责人；毕业于日本电气通信大学，工学博士（社会智能信息学），主要研究方向有商务智能、机器学习、数据挖掘等；曾就职于国内外多家上市公司，从事技术研发、软件开发工作；在大数据分析与挖掘领域教学经验丰富。

章 数据预处理 1
节 数据清洗 2
第二节 数据集成 3
第三节 数据变换 5
第四节 数据规约 7
第五节 Python中的数据预处理工具 8
小结 14
第二章 数据可视化 15
节 理解数据可视化的概念和重要性 16
第二节 使用Python的matplotlib和seaborn库绘制基本图形 17
第三节 绘制柱状图、折线图、散点图、箱线图等常见图形 21
第四节 利用图形展示数据的关系和趋势、数据的分析 24
第五节 利用交互式可视化工具进行高级数据可视化 29
小结 33
第三章 分类与预测 34
节 理解分类与预测的概念和应用场景 35
第二节 理解机器学习分类算法的基本原理 36
第三节 利用Python的scikit-learn库进行分类算法的实现 43
第四节 利用交叉验证、网格搜索等方法对分类算法进行优化 47
小结 51
第四章 聚类与关联规则挖掘 52
节 理解聚类与关联规则挖掘的概念和应用场景 53
第二节 理解聚类算法的基本原理 54
第三节 利用Python的scikit-learn库进行聚类算法的实现 55
第四节 理解关联规则挖掘的基本原理：Apriori算法 60
第五节 利用Python的mlxtend库进行关联规则挖掘的实现 64
小结 66
第五章 文本挖掘 67
节 理解文本挖掘的概念和应用场景 68
第二节 理解自然语言处理的基本概念及技术 69
第三节 利用Python的NLTK和jieba库进行文本预处理 71
第四节 理解文本分类的基本原理和算法 79
第五节 利用Python的scikit-learn和keras库进行文本分类的实现 83
小结 88
第六章 网络分析 89
节 理解网络分析的概念、应用场景和工具 90
第二节 理解网络的基本概念 93
第三节 利用Python的NetworkX库进行网络构建和分析 95
第四节 理解社交网络分析的基本原理和方法 98
第五节 利用Python的igraph库进行社交网络分析的实现 101
小结 104
第七章 时间序列分析 105
节 理解时间序列分析的概念和应用场景 106
第二节 理解时间序列的基本概念 106
第三节 利用Python的pandas库进行时间序列数据的处理和分析 107
第四节 理解时间序列预测的基本原理和方法 109
第五节 利用Python的statsmodels库进行时间序列预测的实现 111
小结 113
第八章 情感分析 115
节 理解情感分析的概念和应用场景 116
第二节 理解自然语言处理中的情感分析基本原理和方法 117
第三节 利用Python的NLTK和SnowNLP库进行情感分析的实现 118
第四节 理解深度学习在情感分析中的应用 121
第五节 利用Python的keras和tensorflow库进行深度学习情感分析
的实现 124
小结 127
第九章 主题模型 129
节 理解主题模型的概念和应用场景 130
第二节 理解主题模型的基本原理和方法 131
第三节 利用Python的gensim和scikit-learn库进行主题模型的实现 133
第四节 理解主题模型在文本分析、信息检索和推荐系统中的应用 141
第五节 利用主题模型进行文本主题分析和推荐系统的 实现 142
小结 145
附录A 实验环境搭建 146
后记 148