数据科学实战之网络爬取：Python实践和示例

　　本书提供了一个完整的、现代的Web抓取指南，使用Python作为编程语言，专为数据科学的读者编写，探讨了Web抓取和以及其背后的大量Web技术。书中首先简要概述抓取和现实生活中的用例，解释了HTTP、HTML和CSS的核心概念作为基础。*后总结了一些*佳实践和一系列的例子，这些数据科学用例汇集了你学到的所有知识。读者将学习到如何利用已建立的*佳实践和常用的Python包，处理包括JavaScript、Cookie和常见的web抓取技术。

　　Seppe vanden Broucke是比利时鲁汶大学经济与商务学院数据科学方面的助理教授。他的研究兴趣包括商务数据挖掘和分析、机器学习、流程管理和流程挖掘，相关论文发表在国际期刊和会议上。 Seppe从事包括高级分析、大数据和信息管理课程方面的教学工作，也经常提供工业和商业用户的培训。除了工作，Seppe喜欢旅行、阅读（从Murakami到Bukowski到Asimov）、听音乐（从Booka Shade到Miles Davis到Claude Debussy）、看电影和连续剧（由于没时间现在看得少多了）、玩游戏和关注新闻事件。Bart Baesens是比利时鲁汶大学大数据和数据分析方面的教授，也是英国南安普顿大学的讲师。他对大数据及分析、信用风险建模、欺诈检测和营销分析进行了广泛的研究。Bart撰写了200多篇学术论文和若干本书。除了与家人共度时光外，他还是一名布鲁日足球俱乐部的铁杆球迷。Bart是美食家和业余厨师，他喜欢在他的酒窖里或者在花园里俯瞰红色英式电话亭时喝一杯好酒（他*喜欢的是白维欧尼或红赤霞珠）。Bart热爱旅行，对次世界大战着迷，并阅读了很多关于这个主题的书籍。

译者序

作者简介

技术审校者简介

前言

第一部分　网络爬取基础

第1章　简介2

1.1　什么是网络爬取2

1.1.1　网络爬取为什么用于数据科学2

1.1.2　谁在使用网络爬取4

1.2　准备工作6

1.2.1　设置6

1.2.2　Python 快速入门7

第2章　网络传输协议HTTP18

2.1　网络的魔力18

2.2　超文本传输协议20

2.3　Python中的HTTP—Requests库25

2.4　带参数的URL查询字符串28

第3章　HTML和CSS36

3.1　超文本标记语言HTML36

3.2　将浏览器用作开发工具38

3.3　层叠样式表CSS42

3.4　Beautiful Soup库45

3.5　有关Beautiful Soup的更多内容53

第二部分　高级网络爬取

第4章　深入挖掘HTTP60

4.1　使用表单和POST请求60

4.2　其他HTTP请求方法71

4.3　关于头的更多信息73

4.4　使用Cookie79

4.5　requests库的session对象87

4.6　二进制、JSON和其他形式的内容89

第5章　处理JavaScript93

5.1　什么是JavaScript93

5.2　爬取JavaScript94

5.3　使用Selenium爬取网页98

5.4　Selenium的更多信息109

第6章　从网络爬取到网络爬虫115

6.1　什么是网络爬虫115

6.2　使用Python实现网络爬虫117

6.3　数据库存储120

第三部分　相关管理问题及最佳实践

第7章　网络爬取涉及的管理和法律问题130

7.1　数据科学过程130

7.2　网络爬取适合用于哪里133

7.3　法律问题134

第8章　结语139

8.1　其他工具139

8.1.1　其他Python库139

8.1.2　Scrapy库140

8.1.3　缓存140

8.1.4　代理服务器141

8.1.5　基于其他编程语言的爬取141

8.1.6　命令行工具142

8.1.7　图形化的爬取工具142

8.2　最佳实践和技巧143

第9章　示例147

9.1　爬取Hacker News网页148

9.2　使用Hacker News API150

9.3　爬取引用信息 150

9.4　爬取书籍信息154

9.5　爬取GitHub上项目被收藏的次数156

9.6　爬取抵押贷款利率160

9.7　爬取和可视化IMDB评级165

9.8　爬取IATA航空公司信息166

9.9　爬取和分析网络论坛的互动171

9.10　收集和聚类时尚数据集177

9.11　Amazon评论的情感分析180

9.12　爬取和分析维基百科关联图188

9.13　爬取和可视化董事会成员图194

9.14　使用深度学习破解验证码图片197
......