零基础学Python网络爬虫（升级版） pdf下载

适读人群：本书适合Python初学者、网络爬虫、数据采集和分析新入行人员。

“零基础学”系列图书于2017 年8 月首次面世，系列图书迄今已加印百余次，累计销量达50 多万册，不仅深受广大程序员的喜爱，还被百余所高校选为计算机、软件等相关专业的教学参考用书。

“零基础学”系列图书升级版在继承前一版优点的基础上，将开发环境和工具更新为目前最新版本，比如本书基于Python 3.12。并结合当今的市场需要，进一步对图书品种进行了增补，对相关内容进行了更新、优化，更适合读者学习。同时，为了方便教学使用，本系列图书全部提供配套教学PPT 课件。另外，针对AI 技术在软件开发领域，特别是在自动化测试、代码生成和优化等方面的应用，我们专门为本系列图书开发了一个微视频课程——“AI 辅助编程”，以帮助读者更好地学习编程。

本书具有以下特点：

1.全彩印刷：还原真实代码环境，让编程学习更轻松；

2.AI辅助编程：随书提供“AI辅助编程”微视频课，紧跟技术前沿；

3.书网合一：网络爬虫开发环境搭建视频+1本纸质书，实现立体化学习；

4.源码提供：103个示例源码，拿来即用；

5.作者答疑：配有“读者服务”微信群，作者在群里解答问题；

6.海量资源：实例+源码(103个)、e学码词条(60个)、PPT课件、网络爬虫开发环境搭建视频、Python网络爬虫专属魔卡等，即查即练，方便拓展学习。

《零基础学 Python 网络爬虫（升级版）》从学习与应用的角度出发，帮助读者快速掌握网络爬虫的各项技能。全书共 15 章，包括初识网络爬虫、请求模块 Urllib、请求模块 requests、高级网络请求模块、正则表达式、XPath 解析、解析数据的 Beautiful Soup 模块、多线程与多进程爬虫、数据处理与存储、App 抓包工具、识别验证码、Scrapy 爬虫框架、爬取编程 e 学网视频、爬取某网站的手机数据， 以及爬取北、上、广、深租房信息。书中所有知识都结合具体实例进行讲解，设计的程序代码给出了详细的注释，可以使读者轻松领会 Python 网络爬虫程序开发的精髓，快速提高开发技能。

明日科技是一家专业从事软件开发、教育培训以及软件开发教育资源整合的高科技公司。其编写的教程既注重选取软件开发中的必需、常用内容，又注重内容的易学易用以及相关知识的拓展，深受读者喜爱。同时，其编写的教程多次荣获"全行业优秀畅销品种”"中国大学出版社图书奖优秀畅销书”等奖项，多个品种长期位居同类图书销售排行榜的前列。

第 1 章 初识网络爬虫

e 学码：5 个

1.1 网络爬虫概述

1.2 网络爬虫的分类

1.3 网络爬虫的基本原理

1.4 Windows下搭建开发环境

1.4.1 安装Anaconda

1.4.2 PyCharm的下载与安装

1.4.3 配置PyCharm

1.4.4 测试PyCharm

第 2 章 请求模块 Urllib

精彩实例：22 个 e 学码：5 个

2.1 Urllib简介

2.2 使用urlopen()方法发送请求

2.2.1 发送GET请求

实例2.1 演示常用的方法与属性

2.2.2 发送POST请求

实例2.2 发送POST请求

2.2.3 设置网络超时

实例2.3 处理网络超时

2.3 复杂的网络请求

2.3.1 设置请求头

实例2.4 设置请求头

2.3.2 Cookie的获取与设置

实例2.5 模拟登录

实例2.6 获取Cookie

实例2.7 保存Cookie文件

实例2.8 使用Cookie信息登录并获取登录后页面中的信息

2.3.3 设置代理IP地址

实例2.9 设置代理IP地址

2.4 异常处理

实例2.10 处理URLError异常

实例2.11 使用HTTPError类捕获异常

实例2.12 双重异常的捕获

2.5 解析链接

2.5.1 拆分URL

实例2.13 使用urlparse()方法拆分URL

实例2.14 使用urlsplit()方法拆分URL

2.5.2 组合URL

实例2.15 使用urlunparse()方法组合URL

实例2.16 使用urlunsplit()方法组合URL

2.5.3 连接URL

实例2.17 使用urljoin()方法连接URL

2.5.4 RL的编码与解码

实例2.18 使用urlencode()方法编码请求参数

实例2.19 使用quote()方法编码字符串参数

实例2.20 使用unquote()方法解码请求参数

2.5.5 URL参数的转换

实例2.21 使用parse_qs()方法将参数转换为字典类型

实例2.22 使用parse_qsl()方法将参数转换为元组所组成的列表

第 3 章 请求模块 requests

精彩实例：13 个 e 学码：6 个

3.1 请求方式

3.1.1 GET请求

实例3.1 实现不带参数的GET网络请求

3.1.2 对响应结果进行utf-8编码

实例3.2 获取请求地址所对应的网页源码

3.1.3 爬取二进制数据

实例3.3 下载某网站首页中的logo图片

3.1.4 GET（带参）请求

3.1.5 POST请求

实例3.4 实现POST请求

3.2 复杂的网络请求

3.2.1 添加请求头

实例3.5 添加请求头

3.2.2 验证Cookie

实例3.6 通过验证Cookie模拟网页登录

3.2.3 会话请求

实例3.7 实现会话请求

3.2.4 验证请求

实例3.8 验证请求

3.2.5 网络超时与异常

实例3.9 演示网络超时与异常

实例3.10 识别网络异常的分类

3.2.6 上传文件

实例3.11 上传图片文件

3.3 代理服务

3.3.1 代理的应用

实例3.12 通过代理发送请求

3.3.2 获取免费的代理IP地址

3.3.3 检测代理IP地址是否有效

实例3.13 检测代理IP地址是否有效

第 4 章 高级网络请求模块

精彩实例：1 个 e 学码：5 个

4.1 requests-cache的安装与测试

4.2 缓存的应用

4.3 强大的requests-HTML模块

4.3.1 使用requests-HTML实现网络请求. 51 4.3.2 数据的提取

实例4.1 爬取即时新闻

第 5 章 正则表达式

精彩实例：8 个 e 学码：2 个

5.1 使用search()方法匹配字符串

5.1.1 获取第一个指定字符开头的字符串

实例5.1 搜索第一个“mr_”开头的字符串

5.1.2 可选匹配

实例5.2 可选匹配字符串中的内容

5.1.3 匹配字符串边界

实例5.3 使用“\b”匹配字符串的边界

5.2 使用findall()方法匹配字符串

5.2.1 匹配所有指定字符开头的字符串

实例5.4 匹配所有以“mr_”开头的字符串

5.2.2 贪婪匹配

实例5.5 使用“.*”实现贪婪匹配字符串

5.2.3 非贪婪匹配

实例5.6 使用“.*？”实现非贪婪匹配字符串

5.3 字符串处理

5.3.1 替换字符串

实例5.7 使用sub()方法替换字符串

5.3.2 分割字符串

实例5.8 使用split()方法分割字符串.

5.4 案例：爬取某音乐热歌榜

5.4.1 分析数据

5.4.2 实现爬虫

第 6 章 XPath 解析

精彩实例：15 个 e 学码：2 个

6.1 XPath概述

6.2 XPath的解析操作

6.2.1 解析HTML

实例6.1 解析本地的HTML文件

实例6.2 解析字符串类型的HTML代码

实例6.3 解析服务器返回的HTML代码

6.2.2 获取所有节点

实例6.4 获取HTML代码的所有节点

6.2.3 获取子节点

实例6.5 获取一个节点中的子节点

实例6.6 获取子孙节点

6.2.4 获取父节点

实例6.7 获取一个节点的父节点

6.2.5 获取文本

实例6.8 获取HTML代码中的文本

6.2.6 属性的单值匹配

实例6.9 使用“[@. ]”实现节点属性的匹配

实例6.10 属性多值匹配

实例6.11 一个节点中多个属性的匹配.

6.2.7 获取属性

实例6.12 获取属性所对应的值

6.2.8 按序获取属性值

实例6.13 使用索引按序获取属性对应的值

6.2.9 使用节点轴获取节点内容

实例6.14 使用节点轴的方式获取节点内容

6.3 案例：爬取某网站电影Top250

6.3.1 分析请求地址

6.3.2 分析信息位置

6.3.3 爬虫代码的实现

实例6.15 编写爬取某网站电影

Top250的代码

第 7 章 解析数据的 Beautiful Soup 模块82

精彩实例：13 个 e 学码：3 个

7.1 使用Beautiful Soup解析数据

7.2 获取节点内容

7.3 使用方法获取内容

7.4 CSS选择器

实例7.13 使用CSS选择器获取节点内容 97

第 8 章 多线程与多进程爬虫

精彩实例：11 个 e 学码：6 个

8.1 进程与线程

8.2 创建线程

8.3 线程间通信

8.4 创建进程的常用方式

8.5 进程间通信

第 9 章 数据处理与存储

精彩实例：8 个 e 学码：7 个

9.1 数据处理

9.2 文件的存取

9.3 SQLite数据库

9.4 MySQL数据库

第 10 章 App 抓包工具

e 学码：6 个

10.1 Charles工具的下载与安装

10.2 SSL证书的安装

第 11 章 识别验证码

精彩实例：4 个 e 学码：5 个

11.1 字符验证码

11.2 第三方验证码识别

11.3 滑动拼图验证码

第 12 章 Scrapy 爬虫框架

精彩实例：8 个 e 学码：8 个

12.1 了解Scrapy爬虫框架

12.2 Scrapy的基本应用

12.3 编写Item Pipeline

12.4 自定义中间件

12.5 文件下载

第 13 章 爬取编程 e 学网视频

精彩实例：8 个 e 学码：8 个

13.1 案例效果预览

13.2 案例准备

13.3 业务流程

13.4 实现过程

第 14 章 爬取某网站的手机数据

14.1 案例效果预览

14.2 案例准备

14.3 业务流程

14.4 实现过程

第 15 章 爬取北、上、广、深租房信息

15.1 案例效果预览

15.2 案例准备

15.3 业务流程

15.4 实现过程

“零基础学”系列图书于7 年 8 月首次面世，该系列图书是国内全彩印刷的软件开发类图书的先行者，书中的代码颜色及程序效果与开发环境基本保持一致，真正做到让读者在看书学习与实际编码间无缝切换；而且因编写细致、易学实用及配备海量学习资源，在软件开发类图书市场上产生了很大反响。自出版以来，系列图书迄今已加印百余次，累计销量达 50 多万册，不仅深受广大程序员的喜爱，还被百余所高校选为计算机、软件等相关专业的教学参考用书。

“零基础学”系列图书升级版在继承前一版优点的基础上，将开发环境和工具更新为目前最新版本， 并结合当今的市场需要，进一步对图书品种进行了增补，对相关内容进行了更新、优化，更适合读者学习。同时，为了方便教学使用，本系列图书全部提供配套教学 PPT 课件。另外，针对 AI 技术在软件开发领域，特别是在自动化测试、代码生成和优化等方面的应用，我们专门为本系列图书开发了一个微视频课程——“AI 辅助编程”，以帮助读者更好地学习编程。

随着 5G 技术的应用，网速得到了大幅度的提升，因此网络中的大量数据将会成倍地增加。随着大数据时代的来临，数据的收集与统计占据了重要的地位，而数据的收集工作在很大程度上需要通过网络爬虫来爬取。爬虫是一门有趣、易学、可以让人产生成就感的技术。学会了爬虫，可以爬取自己感兴趣的电影、图片、小说，也可以通过自动化执行模拟人工进行网页的操作。

可以制作爬虫的编程语言有多种，其中最受欢迎的便是 Python，该语言简单、易学，并且支持多种第三方模块，应用范围越来越广。本书将使用 Python 3 编写网络爬虫，并在书中通过基础知识的实例与爬虫案例，由浅入深地讲解 Python 爬虫的核心技术，可以让读者真正地从入门学习迈向实践应用！

本书内容

全书共 15 章，主要通过“知识讲解 + 快速示例 + 爬虫案例 + 实战项目”4 大维度一体化的讲解方式进行介绍，具体的学习结构见前言图示。

本书特色

书网合一——扫描书中的二维码，学习线上视频课程及拓展内容

源码提供——配套资源包提供书中实例源码

AI 辅助编程——独家微视频课程，助你利用 AI 辅助编程。近几年，AI 技术已经被广泛应用于软件开发领域，特别是在自动化测试、代码生成和优化等方面。例如，AI 可以通过分析大量的代码库来识别常见的模式和结构，并根据这些模式和结构生成新的代码。此外，AI 还可以通过学习程序员的编程习惯和风格，提供更加个性化的建议。尽管 AI 尚不能完全取代程序员，但利用 AI 辅助编程，可以帮助程序员提高工作效率。本系列图书配套的“AI 辅助编程” 微视频课程可以给读者一些启发。

全彩印刷——还原真实开发环境，让编程学习更轻松

作者答疑——每本书均配有“读者服务”微信群，作者会在群里解答读者的问题

海量资源——配有实例源码文件、PPT 课件、Python 网络爬虫专属魔卡等，即查即练，方便拓展学习

特别声明

本书仅讨论网络爬虫技术，请勿作非法用途。严禁利用书中提到的技术从事非法行为，否则后果自负，编者和出版商不承担任何责任 !

如何获得答疑支持和配套资源包

微信扫码回复本书五位书号

加入读者交流群，获得作者答疑支持；

获得本书配套海量资源包。

读者对象

热爱 Python 语言的初学者及初、中级程序员

大中专院校及相关培训机构的老师和学生

制作毕业设计的学生

迈入数据分析师门槛的人员

从事数据相关工作及对数据感兴趣的人员

想要掌握数据采集、分析技能的职场人员

需要进行查阅和参考资料的开发人员

在编写本书的过程中，编者本着科学、严谨的态度，力求精益求精，但疏漏之处在所难免，敬请广大读者批评指正。

感谢您阅读本书，希望本书能成为您编程路上的领航者。

编者

2024 年 4 月