python requests库爬取豆瓣电视剧数据并保存到本地详解
作者:springionic 时间:2022-05-29 08:35:05
首先要做的就是去豆瓣网找对应的接口,这里就不赘述了,谷歌浏览器抓包即可,然后要做的就是分析返回的json数据的结构:
https://movie.douban.com/j/search_subjects?type=tv&tag=%E5%9B%BD%E4%BA%A7%E5%89%A7&sort=recommend&page_limit=20&page_start=0
这是接口地址,可以大概的分析一下各个参数的规则:
type=tv,表示的是电视剧的分类
tag=国产剧,表示是国产剧的分类
sort参数,这里猜测是一个排序方式
page_limit=20,这个一定就是每页所存取的数据数量了
page_start=0,表示的是这页从哪条数据开始,比如第二页就为page_start=20,第三页为page_start=40,以此类推
最终我们要用到的主要是page_start和page_limit两个参数
下面这里是返回的json数据格式,可以看出我们要的是json中subjects列表中的每条数据,在之后的程序中会把每一个电视剧的信息保存到文件里的一行
有了这些,就直接上程序了,因为感觉程序还是比较好懂,主要还是遵从面向对象的程序设计:
import json
import requests
class DoubanSpider(object):
"""爬取豆瓣热门国产电视剧的数据并保存到本地"""
def __init__(self):
# url_temp中的start的值是动态的,所以这里用{}替换,方便后面使用format方法
self.url_temp = 'https://movie.douban.com/j/search_subjects?type=tv&tag=%E5%9B%BD%E4%BA%A7%E5%89%A7&sort=recommend&page_limit=20&page_start={}'
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
}
def pass_url(self, url): # 发送请求,获取响应
print(url)
response = requests.get(url, headers=self.headers)
return response.content.decode()
def get_content_list(self, json_str): # 提取数据
dict_ret = json.loads(json_str)
content_list = dict_ret['subjects']
return content_list
def save_content_list(self, content_list): # 保存
with open('douban.txt', 'a', encoding='utf-8') as f:
for content in content_list:
f.write(json.dumps(content, ensure_ascii=False)) # 一部电视剧的信息一行
f.write('\n') # 写入换行符进行换行
print('保存成功!')
def run(self): # 实现主要逻辑
num = 0
while True:
# 1. start_url
url = self.url_temp.format(num)
# 2. 发送请求,获取响应
json_str = self.pass_url(url)
# 3. 提取数据
content_list = self.get_content_list(json_str)
# 4. 保存
self.save_content_list(content_list)
if len(content_list) < 20:
break
# 5. 构造下一页url地址,进入循环
num += 20 # 每一页有二十条数据
if __name__ == '__main__':
douban_spider = DoubanSpider()
douban_spider.run()
上面是利用循环遍历每一页,后来我又想到用递归也可以,虽然递归效率可能不高,这里还是展示一下,只需要改几个地方而已:
import json
import requests
class DoubanSpider(object):
"""爬取豆瓣热门国产电视剧的数据并保存到本地"""
def __init__(self):
# url_temp中的start的值是动态的,所以这里用{}替换,方便后面使用format方法
self.url_temp = 'https://movie.douban.com/j/search_subjects?type=tv&tag=%E5%9B%BD%E4%BA%A7%E5%89%A7&sort=recommend&page_limit=20&page_start={}'
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
}
self.num = 0
def pass_url(self, url): # 发送请求,获取响应
print(url)
response = requests.get(url, headers=self.headers)
return response.content.decode()
def get_content_list(self, json_str): # 提取数据
dict_ret = json.loads(json_str)
content_list = dict_ret['subjects']
return content_list
def save_content_list(self, content_list): # 保存
with open('douban2.txt', 'a', encoding='utf-8') as f:
for content in content_list:
f.write(json.dumps(content, ensure_ascii=False)) # 一部电视剧的信息一行
f.write('\n') # 写入换行符进行换行
print('保存成功!')
def run(self): # 实现主要逻辑
# 1. start_url
url = self.url_temp.format(self.num)
# 2. 发送请求,获取响应
json_str = self.pass_url(url)
# 3. 提取数据
content_list = self.get_content_list(json_str)
# 4. 保存
self.save_content_list(content_list)
# 5. 构造下一页url地址,进入循环
if len(content_list) == 20:
self.num += 20 # 每一页有二十条数据
self.run()
if __name__ == '__main__':
douban_spider = DoubanSpider()
douban_spider.run()
最终文件得到的结果:
来源:https://www.cnblogs.com/springionic/p/11107530.html
标签:python,requests,库,爬取,豆瓣,保存,本地
0
投稿
猜你喜欢
如何判断SQL语句是否执行了?
2010-01-12 20:03:00
PHP echo,print,printf,sprintf函数之间的区别与用法详解
2023-11-21 14:12:25
python opencv 检测移动物体并截图保存实例
2023-11-05 16:10:35
python实现图像高斯金字塔的示例代码
2023-05-06 02:02:32
解密SQL Server数据库系统的编译
2009-03-16 17:33:00
Python实现获取照片的地理定位信息
2023-06-30 01:39:54
一些文档中没有介绍的SQL Server DBCC命令
2008-12-09 14:24:00
pyecharts绘制时间轮播图柱形图+饼图+玫瑰图+折线图
2022-01-18 13:19:47
一百多行python代码实现抢票助手
2022-05-20 00:55:52
Python生成器以及应用实例解析
2021-07-06 21:45:40
Python中列表(List) 的三种遍历(序号和值)方法小结
2022-08-24 23:17:39
十几行的超简日历组件(兼容FF)js源码
2010-08-08 08:49:00
Python3中的f-Strings增强版字符串格式化方法
2022-07-07 12:34:36
N年前的JAVASCRIPT笔记
2009-01-07 12:40:00
我们需要的是怎样的分页?
2007-09-28 20:24:00
python获取全国最新省市区数据并存入表实例代码
2021-10-19 14:16:23
html风格tooltip效果的实现
2010-04-08 13:00:00
VBScript运行出错信息涵义列表
2007-08-12 18:03:00
ASP提速技巧五则
2008-03-20 13:20:00
Redux saga异步管理与生成器详解
2023-07-24 02:53:52