写给程序员的数据挖掘实践指南

　　数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。大多数数据挖掘的教材都专注于介绍理论基础，因而往往难以理解和学习。本书是介绍写给程序员的一本数据挖掘指南，可以帮助读者动手实践进行数据挖掘、集体智慧并构建推荐系统。全书共8章，介绍了数据挖掘的基本知识和理论、协同过滤、内容过滤及分类、算法评估、朴素贝叶斯、非结构化文本分类以及聚类等内容。全书采用做中学的方式，用生动的图示、大量的表格、简明的公式，实用的Python代码示例，阐释数据挖掘的知识和技能。每章还给出了习题和练习，帮助读者巩固所学的知识。本书专注适合对数据挖掘、数据分析和推荐系统感兴趣的程序员及相关领域的从业者阅读参考；同时，本书也可以作为一本轻松有趣的数据挖掘课程教学参考书。

　　Ron Zacharski是一名软件开发工程师，曾在威斯康辛大学获美术学士学位，之后还在明尼苏达大学获得了计算机科学博士学位。博士后期间，他在爱丁堡大学研究语言学。正是基于广博的学识，他不仅在新墨西哥州立大学的计算研究实验室工作，期间还接触过自然语言处理相关的项目，而该实验室曾被《连线》杂志评为机器翻译研究领域翘楚。除此之外，他还曾教授计算机科学、语言学、音乐等课程，是一名博学多才的科技达人。王斌博士，中国科学院信息工程研究所研究员，博士生导师，中国科学院大学兼职教授，研究方向为信息检索、自然语言处理与数据挖掘。主持国家973、863、国家自然科学基金、国际合作基金、部委及企业合作等课题近30项，发表学术论文130余篇，领导研制的多个系统上线使用，曾获国家科技进步二等奖和北京市科学技术二等奖各一项。现为中国中文信息学会理事、信息检索、社会媒体处理、语言与知识计算等多个专业委员会委员、《中文信息学报》编委、中国计算机学会高级会员及中文信息处理专业委员会委员。多次担任SIGIR、ACL、CIKM等会议的程序委员会委员。《信息检索导论》、《大数据：互联网大规模数据挖掘与分布式处理》、《机器学习实战》、《Mahout实战》译者。2006年起在中国科学院大学讲授《现代信息检索》研究生课程，累计选课人数已超过1500人。迄今培养博士、硕士研究生近40名。

目　　录
目录
第1章 数据挖掘简介及本书使用方法 1
欢迎来到21世纪 2
并不只是对象 5
TB级挖掘是现实不是科幻 7
本书体例 9
第2章 协同过滤—爱你所爱 14
如何寻找相似用户 15
曼哈顿距离 16
欧氏距离 16
N维下的思考 18
一般化 22
Python中数据表示方法及代码 24
计算曼哈顿距离的代码 25
用户的评级差异 28
皮尔逊相关系数 30
在继续之前稍微休息一下 35
*后一个公式—余弦相似度 36
相似度的选择 40
一些怪异的事情 43
k近邻 44
Python的一个推荐类 47
一个新数据集 54
第3章 协同过滤—隐式评级及基于物品的过滤 56
隐式评级 57
调整后的余弦相似度 67
Slope One算法 76
Slope One算法的粗略描述图 77
基于Python的实现 83
加权Slope One：推荐模块 88
MovieLens数据集 90
第4章 内容过滤及分类—基于物品属性的过滤 93
一个简单的例子 98
用Python实现 101
给出推荐的原因 102
一个取值范围的问题 104
归一化 105
改进的标准分数 109
归一化 vs. 不归一化 111
回到Pandora 112
体育项目的识别 119
Python编程 123
就是它了 133
汽车MPG数据 135
杂谈 137
第5章 分类的进一步探讨—算法评估及kNN 139
训练集和测试集 140
10折交叉验证的例子 142
混淆矩阵 146
一个编程的例子 148
Kappa统计量 154
近邻算法的改进 159
一个新数据集及挑战 163
更多数据、更好的算法以及一辆破公共汽车 168
第6章 概率及朴素贝叶斯—朴素贝叶斯 170
微软购物车 174
贝叶斯定理 177
为什么需要贝叶斯定理 185
i100 i500 188
用Python编程实现 191
共和党 vs. 民主党 197
数字 205
Python实现 214
这种做法会比近邻算法好吗 221
第7章 朴素贝叶斯及文本—非结构化文本分类 226
一个文本正负倾向性的自动判定系统 228
训练阶段 232
第8章 聚类—群组发现 256
k-means聚类 281
SSE或散度 289
小结 303
安然公司 305