项目1 网页构造的认识 …………………………………………………………………1
任务1.1 认识网络爬虫…………………………………………………………………2
1.1.1 大数据与网络爬虫 …………………………………………………………………2
1.1.2 编程环境及工具包 …………………………………………………………………3
任务1.2 网页构造………………………………………………………………………11
1.2.1 HTTP和HTTPS ……………………………………………………………11
1.2.2 HTML和 CSS …………………………………………………………………15
1.2.3 Session和 Cookie……………………………………………………………18
1.2.4 多线程和多进程 ……………………………………………………………………21
项目2 静态网页爬取 …………………………………………………………………27
任务2.1 实现 HTTP请求 ……………………………………………………………………32
2.1.1 Requests 库的使用 …………………………………………………………………33
2.1.2 HTTPX库的使用……………………………………………………………………38
2.1.3 任务实施 …………………………………………………………………………42
任务2.2 解析网页数据…………………………………………………………………44
2.2.1 BeautifulSoup库的使用 ……………………………………………………………44
2.2.2 lxml库的使用 ………………………………………………………………………55
2.2.3 正则表达式 ………………………………………………………………………62
2.2.4 Parsel库的使用 ……………………………………………………………………70
2.2.5 任务实施…………………………………………………………………………75
任务2.3 基础爬虫案例分析与实战………………………………………………………78
项目3 数据存储 …………………………………………………………………………87
任务3.1 存储到文件……………………………………………………………………88
3.1.1 存储为文本文件 …………………………………………………………………88
3.1.2 存储为CSV文件………………………………………………………………91
3.1.3 存储为 JSON文件 ………………………………………………………………93
3.1.4 任务实施………………………………………………………………………97
任务3.2 存储到数据库…………………………………………………………………100
3.2.1 存储到 MySQL数据库……………………………………………………………100
3.2.2 存储到 MongoDB数据库…………………………………………………………113
3.2.3 任务实施 …………………………………………………………………………120
任务3.3 中间件使用………………………………………………………………………123
3.3.1 Redis的使用 ………………………………………………………………………123
3.3.2 Kafka 的使用 ………………………………………………………………………127
3.3.3 RabbitMQ的使用……………………………………………………………………133
3.3.4 任务实施 …………………………………………………………………………138
项目4 动态网页爬取 …………………………………………………………………145
任务4.1 逆向分析爬取……………………………………………………………………146
4.1.1 Ajax与数据爬取 …………………………………………………………………146
4.1.2 网站加密与 JavaScript Hook ………………………………………………………151
4.1.3 PyExecJS 库的使用 …………………………………………………………………161
4.1.4 任务实施 ……………………………………………………………………………172
任务4.2 使用 Selenium模拟浏览器……………………………………………………175
4.2.1 Selenium爬虫应用 ………………………………………………………………186
4.2.2 任务实施 …………………………………………………………………………190
任务4.3 动态网站分析与爬虫案例实战…………………………………………………194
项目5 反爬限制技术 …………………………………………………………………207
任务5.1 图片校验码……………………………………………………………………209
5.1.1 OCR技术的使用…………………………………………………………………210
5.1.2 手机验证码的处理技术 …………………………………………………………219
任务5.2 账号限制………………………………………………………………………225
任务5.3 IP限制…………………………………………………………………………229
任务5.4 反爬分析与爬虫案例实战………………………………………………………232
项目6 Scrapy 爬虫框架 ………………………………………………………………249
任务6.1 初探 Scrapy …………………………………………………………………250
6.1.1 Scrapy 框架入门 …………………………………………………………………257
6.1.2 Spider的使用 ………………………………………………………………………266
6.1.3 Selector 的使用………………………………………………………………………272
6.1.4 任务实施 …………………………………………………………………………279
任务6.2 Scrapy拓展…………………………………………………………283
6.2.1 对接 Selenium的应用……………………………………………………………283
6.2.2 对接 Splash的应用 …………………………………………………………………292
6.2.3 任务实施…………………………………………………………………………298
任务6.3 Scrapy 爬虫案例实战……………………………………………………………302
附录 爬虫的法律法规 ……………………………………………………………………315

吴月萍，自2002.8至今在上海第二工业大学任职，系高等职业技术（国际）学院计算机应用技术（IT服务方向）专业负责人。主要研究领域是数据挖掘、算法分析与设计。任现职来，以第一作者发表了20多篇论文，其中3篇中文核心期刊，6篇EI检索，3篇发表在中国科技引证报告正刊,8篇教改论文；出版教材1本，排名第2。主要讲授数据结构、C程序设计、Java程序设计、动态Web编程、python程序设计、网络爬虫技术等课程。