Python urllib库爬虫模块如何详细解析？

本文共计2206个文字，预计阅读时间需要9分钟。

目录

1.urllib模块简介

2.发送请求：urlopen()方法

3.发送GET请求

4.发送POST请求

5.设置网络超时

6.复杂网络请求：urllib.request.Request()

7.设置请求头

7.1 GET请求示例 7.2 POST请求示例

8.获取Cookies

目录

• 1.urllib模块简介
• 2.发送请求：urlopen()方法
• 3. 发送GET请求
• 4.发送post请求
• 5. 设置网络超时
• 6. 复杂网络请求_urllib.request.Request()
• 7.设置请求头
• 7.1get请求示例
• 7.2post请求示例
• 8. Cookies的获取与设置
• 9.设置代理IP
• 10.异常处理
• 10.1 URLError
• 10.2HTTPError
• 10.3URLError&HTTPError双重异常捕捉
• 11.解析URL
• 11.1 拆分URL
• 11.2 组合URL
• 11.3 连接URL
• 11.4 URL的编码与解码
• 11.5URL参数的转换

1.urllib模块简介

python2有urllib和urllib2两种模块，都用来实现网络请求的发送。python3将urllib和urllib2模块整合并命名为urllib模块。