文本数据挖掘与Python应用

　　教材系统地介绍文本数据挖掘的相关概念，利用Python作为工具进行相关试验，其内容主要包括：文本挖掘产生的背景及发展；文本挖掘的概念、文本模型表示、文本内容的预处理，包括分词、去停用词以及特征抽取；文本相似度的概念等。介绍文本分类的概念及常用方法，如KNN算法、SVM算法等，并对分类结果进行评价；在介绍文本聚类聚类的概念时是，同样介绍聚类常用算法，如K均值算法、层次聚类法、密度聚类法等，作为有文本分类、文本聚类的应用，最后给出了信息抽取、社会网络中的实体关系抽取和事件抽取。

　　刘金岭，教授，硕士生导师。至2007年以来进行文本数据挖掘的研究，在专业核心期刊发表相关论文30多篇，EI检索4篇，SCCSI检索3篇。在2010-2013年与江苏移动公司合作进行垃圾短信处理研究，2009-2011完成市级科研课题“基于语义的垃圾短信分类器设计与实现（HAG09061）”。

目录

源码下载

第1章绪论

1.1文本挖掘的研究背景及意义

1.2文本挖掘的国内外研究现状

1.3文本挖掘概述

1.3.1文本挖掘的概念

1.3.2文本挖掘的任务

1.3.3文本挖掘与数据挖掘的联系与区别

1.4文本挖掘的过程

1.5文本挖掘的主要研究领域

1.5.1文本特征选择

1.5.2文本结构分析

1.5.3文本摘要

1.5.4文本分类

1.5.5文本聚类

1.5.6文本关联分析

1.5.7分布分析与趋势预测

1.6文本挖掘在制药行业的应用案例

习题1

第2章文本切分及特征词选择

2.1文本数据采集

2.1.1软件接口对接方式

2.1.2开放数据库方式

2.1.3基于底层数据交换的数据直接采集方式

2.1.4网络爬虫采集网页数据

2.2语料库与词典简介

2.2.1语料库

2.2.2词典

2.3文本切分

2.3.1句子切分

2.3.2词汇切分

2.4文本特征词选择

2.4.1文本特征词选择概述

2.4.2常用的文本特征词选择方法

2.5Python jieba分词模块及其用法

2.5.1jieba方法

2.5.2基于规则的中文分词

2.5.3关键词提取

习题2





第3章文本表示模型

3.1文本预处理

3.1.1原始数据处理

3.1.2文本预处理简述

3.2向量空间模型

3.2.1向量空间模型的概念

3.2.2文本向量的相似度

3.2.3向量模型的Python实现

3.3概率模型

3.3.1概率模型概述

3.3.2概率建模方法

3.3.3文本信息检索中的概率模型

3.3.4概率模型的Python实现

3.4概率主题模型

3.4.1概率主题模型概述

3.4.2PLSA概率主题模型

3.4.3LDA概率主题模型

3.4.4LDA概率主题模型的Python实现

习题3

第4章文本分类

4.1文本分类概述

4.1.1研究的意义

4.1.2国内外研究现状与发展趋势

4.1.3文本分类的定义

4.1.4文本分类流程

4.1.5文本分类预处理

4.2常用文本分类器

4.2.1KNN分类器

4.2.2SVM分类器

4.2.3Rocchio分类器

4.2.4朴素贝叶斯分类器

4.2.5决策树分类器

4.3分类模型的性能评估

4.3.1分类评价方法

4.3.2分类性能评价指标

习题4

第5章文本聚类

5.1文本聚类概述

5.1.1研究的意义

5.1.2国内外研究现状与发展趋势

5.1.3文本聚类的定义

5.1.4文本聚类流程

5.1.5对聚类算法的性能要求

5.2文本聚类原理与方法

5.2.1基于划分的方法

5.2.2基于层次的方法

5.2.3基于密度的方法

5.2.4基于网格的方法

5.2.5基于模型的方法

5.3文本聚类评估

5.3.1估计聚类趋势

5.3.2确定簇数

5.3.3测定聚类质量

习题5

第6章文本关联分析

6.1关联规则挖掘概述

6.2文本关联规则

6.2.1关联规则的基本概念

6.2.2关联规则分类

6.3关联规则挖掘算法

6.3.1Apriori算法

6.3.2FPGrowth算法

习题6

第7章利用Python处理文本数据简单应用

7.1情感分析

7.1.1情感分析原理

7.1.2算法设计

7.1.3算法实现

7.2自动生成关键词和摘要

7.2.1TextRank算法

7.2.2生成关键词和摘要

7.3使用SnowNLP进行商品评价

7.3.1SnowNLP库简介

7.3.2SnowNLP商品评价

7.4生成“词云”

7.4.1“词云”的概念

7.4.2Python“词云”图的生成

习题7

参考文献