Requests库实现数据抓取与处理功能

引言

Requests是Python中一个常用的第三方库，用于向Web服务器发起HTTP请求并获取响应。该库的使用简单，功能强大，被广泛应用于网络爬虫、API访问、Web应用开发等领域。

本文将介绍Requests库的基本用法、常见功能和高级应用，并提供实例代码来展示这些功能。

安装

Requests库可以通过pip安装，执行以下命令即可：

pip install requests

基本用法

使用Requests库发起HTTP请求非常简单。以下是一个使用Requests库向百度发起HTTP GET请求并获取响应的示例：

import requests
response = requests.get('http://www.baidu.com')
print(response.status_code)  # 输出响应状态码
print(response.text)  # 输出响应内容

上述代码中，requests.get方法用于向指定的URL发起HTTP GET请求，并返回响应对象。响应对象包含响应的状态码、响应头和响应体等信息。我们可以通过调用响应对象的属性和方法来获取和处理这些信息。

在上述示例中，我们调用了响应对象的status_code属性获取响应状态码，并调用了text属性获取响应内容。最后，我们将这些信息输出到控制台。

发送HTTP请求

Requests库支持多种HTTP请求方法，包括GET、POST、PUT、DELETE、HEAD、OPTIONS等。我们可以通过调用相应的方法来发起指定的HTTP请求。

以下是一个使用Requests库向服务器发送POST请求并提交JSON数据的示例：

import requests
url = 'http://example.com/api'
headers = {'Content-Type': 'application/json'}
data = {'name': 'John', 'age': 30}
response = requests.post(url, json=data, headers=headers)
print(response.status_code)  # 输出响应状态码
print(response.json())  # 输出响应JSON数据

上述代码中，我们向http://example.com/api URL发送POST请求，并提交一个包含name和age字段的JSON数据。我们使用headers参数设置请求头，指定请求体的数据格式为JSON。使用json参数提交JSON数据，这样Requests库会自动将JSON数据转换为请求体。

响应对象的json方法用于解析响应体中的JSON数据。如果响应体不是JSON格式，则会抛出异常。我们可以使用text属性获取响应体的原始文本。

处理HTTP响应

Requests库的响应对象提供了一系列属性和方法，用于获取和处理响应的状态码、响应头和响应体等信息。以下是一些常用的响应对象方法：

• status_code：获取响应状态码。

• headers：获取响应头信息。

• text：获取响应体的原始文本。

• content：获取响应体的二进制数据。

• json：获取响应体中的JSON数据，并将其解析为Python对象。

• encoding：获取响应体的编码方式。

• raise_for_status()：如果响应状态码不是2xx，抛出异常。

• iter_content()：按块读取响应体的数据。

• iter_lines()：按行读取响应体的数据。

• 这些方法和属性使得我们能够方便地提取和处理HTTP响应的各个部分。

高级功能

Requests库还提供了一些高级功能，进一步增强了其实用性。

1.会话管理

通过创建会话对象，我们可以在多个请求之间保持会话状态。这对于处理需要认证、Cookie管理等场景非常有用。以下是一个使用会话对象的示例：

import requests
session = requests.Session()
session.headers.update({'User-Agent': 'Mozilla/5.0'})
session.get('http://www.example.com/login', params={'username': 'john', 'password': 'password'})
session.post('http://www.example.com/data', data={'key': 'value'})

在上述示例中，我们创建了一个会话对象session，并通过调用get和post方法发送GET和POST请求。会话对象会自动保持会话状态，并且可以在多个请求之间共享Cookie、HTTP头等信息。

2.代理设置
Requests库支持设置代理服务器，以便在发起请求时通过代理进行访问。以下是一个使用代理的示例：

import requests
proxies = {'http': 'http://proxy.example.com', 'https': 'https://proxy.example.com'}
response = requests.get('http://www.example.com', proxies=proxies)

在上述示例中，我们通过proxies参数设置HTTP和HTTPS请求的代理服务器。Requests库将使用指定的代理服务器来发起请求。

3.SSL证书验证
默认情况下，Requests库会验证SSL证书的有效性。如果你想禁用证书验证或使用自定义的证书，可以通过verify参数来设置。以下是一个禁用证书验证的示例：

import requests
response = requests.get('https://www.example.com', verify=False)

在上述示例中，我们通过将verify参数设置为False，禁用了对SSL证书的验证。

来源：https://blog.csdn.net/qq_44364267/article/details/130642362