Python技能树共建之python urllib 模块
作者:梦想橡皮擦 时间:2023-02-07 04:02:40
一、Python urllib 模块是什么
urllib
模块是 Python 标准库,其价值在于抓取网络上的 URL 资源,入门爬虫时必学的一个模块。
不过更多的爬虫工程师上手学习的模块已经更换为 requests 了。
在 Python3 中 urllib 模块包括如下内容。
urllib.request
:请求模块,用于打开和读取 URL;urllib.error
:异常处理模块,捕获urllib.error
抛出异常;urllib.parse
:URL 解析,爬虫程序中用于处理 URL 地址;urllib.robotparser
:解析 robots.txt 文件,判断目标站点哪些内容可爬,哪些不可以爬,但是用的很少。
二、使用方法
上手案例
打开一个测试站点,然后返回服务器响应内容。
from urllib.request import urlopen
with urlopen('https://www.example.net') as html:
page = html.read()
print(page)
上述代码用到了 urllib.requests
模块,其内部定义了打开 URL 的函数,授权验证的方法,重定向,cookie 操作等方法。
代码中用到的 urlopen()
函数,就是打开一个 URL,该函数的语法格式如下所示:
urllib.request.urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT,
*, cafile=None, capath=None, cadefault=False, context=None)
参数描述如下所示:
url
:请求地址;data
:发送到服务器的其他数据对象,默认为 None;timeout
:超时时间;cafile
和capath
:cafile 为 CA 证书, capath 为 CA 证书的路径,使用 HTTPS 需要用到;context
:ssl.SSLContext 类型,用来指定 SSL 设置。
调用该对象的 read()
方法,可以读取到整个网页数据。
其余的函数与文件读取类似,分别是 readline()
,readlines()
。
还可以调用对象的 getcode()
方法,获取网页状态码。
print(html.getcode()) # 返回 200
urlopen() 返回对象的更多方法
使用 urlopen()
可以得到一个 HTTPResposne
类型的对象,它包括上文提及的 read()
方法,getcode()
方法,除此之外,还有如下内容可以使用。
getheaders()
:获取请求头内容;getheader(name)
:获取指定请求头;msg
:信息属性;version
:版本属性;status
:状态属性。
urllib.Request() 类
URL 请求抽象类,使用它可以扩展更多的请求配置,其构造方法如下所示:
def __init__(self, url, data=None, headers={},
origin_req_host=None, unverifiable=False,
method=None)
其参数说明如下所示:
url
:请求地址,必选参数;data
:请求参数,必须为bytes
类型数据,可以使用urlencode()
进行编码;headers
:字典类型,请求头设置;origin_req_host
:请求的主机地址,IP 或域名;method
:请求方法。
测试代码如下所示:
from urllib import request, parse
url = 'http://httpbin.org/post'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) 你的UA'
}
dict = {
'name': 'xiangpica'
}
# 转换数据类型
data = bytes(parse.urlencode(dict), encoding='utf8')
# 实例化对象
req = request.Request(url=url, data=data, headers=headers, method='POST')
# 添加请求头
req.add_header('HOST', 'httpbin.org')
# 发送数据
response = request.urlopen(req)
print(response.read().decode('utf-8'))
urllib.parse
该模块主要用于解析 URL,函数原型如下所示:
urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)
参数说明如下:
urlstring
:URL 地址;scheme
:协议类型,可用的包括 file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、 sip、sips、snews、svn、svn+ssh、telnet……;allow_fragments
:是否忽略 URL 中的fragment
部分。
标准的 URL 格式如下:
scheme://netloc/path;params?query#fragment
说明如下所示:
scheme
:URL 协议;netloc
:域名和端口;path
:路径;params
:最后一个路径元素参数,不常用;query
:查询字符串;fragment
:片段标志。
from urllib.parse import urlparse
result = urlparse('http://www.example.com/index.html;info?id=10086#comment')
print(type(result), result)
print(result.scheme, result[0])
print(result.netloc, result[1])
print(result.path, result[2])
print(result.params, result[3])
print(result.query, result[4])
print(result.fragment, result[5])
运行结果如下所示:
<class 'urllib.parse.ParseResult'> ParseResult(scheme='http', netloc='www.example.com', path='/index.html', params='info', query='id=10086', fragment='comment')
http http
www.example.com www.example.com
/index.html /index.html
info info
id=10086 id=10086
comment comment
urlparse() 返回结果是一个
ParseResult
类型的对象。
其余内容
urlunparse()
方法与上述方法逻辑相反;urljoin()
方法用于拼接链接;urlencode()
:格式化请求参数;quote()
:将内容转换为 URL 编码格式,尤其是转换中文字符;unquote()
:对 URL 进行解码。
三、提高场景
error 模块
在 urllib
中,error
模块定义异常,其包含如下类:
URLError
:OSError 的一个子类,用于处理程序在遇到问题时会引发此异常;HTTPError
:URLError 的一个子类,用于处理特殊 HTTP 错误例如作为认证请求的时候
来源:https://blog.51cto.com/cnca/5317932
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
基于python二叉树的构造和打印例子
pycharm配置当鼠标悬停时快速提示方法参数
![](https://img.aspxhome.com/file/2023/1/69601_0s.jpg)
SQL语句执行超时引发网站首页访问故障问题
![](https://img.aspxhome.com/file/2023/2/87112_0s.jpg)
Mybatis出现ORA-00911: invalid character的解决办法
![](https://img.aspxhome.com/file/2023/9/65689_0s.png)
Python扫描IP段查看指定端口是否开放的方法
巧用mysql提示符prompt清晰管理数据库的方法
python+pytest接口自动化之session会话保持的实现
![](https://img.aspxhome.com/file/2023/3/85183_0s.jpg)
页面嵌入Windows Media Player播放器代码需要注意的
用Python实现屏幕截图详解
Go 实现热重启的详细介绍
![](https://img.aspxhome.com/file/2023/6/134226_0s.jpg)
python中有关时间日期格式转换问题
![](https://img.aspxhome.com/file/2023/8/83658_0s.png)
python小程序之飘落的银杏
![](https://img.aspxhome.com/file/2023/5/133445_0s.png)
讲解无法打开用户默认数据库的解决方法
python3用PyPDF2解析pdf文件,用正则匹配数据方式
![](https://img.aspxhome.com/file/2023/8/92198_0s.jpg)
python3.7环境下sanic-ext未生效踩坑解析
python django生成迁移文件的实例
pytorch使用horovod多gpu训练的实现
创建Vue项目以及引入Iview的方法示例
Laravel中使用阿里云OSS Composer包分享
Golang开发命令行之flag包的使用方法
![](https://img.aspxhome.com/file/2023/0/105110_0s.png)