Python得到弹幕并保存到Excel中怎么设置
作者:-李华同学- 时间:2021-04-04 16:42:22
hello,我是李华同学,最近开始学习爬虫,下面是我实现的一个得到弹幕的代码
找一个的URL
想要得到一个网站的内容,首先要找到你想要内容的具体位置,首先你先找到一个有弹幕的地方,找到后按F12,找到在网络下,然后刷新页面,在左边搜索栏搜history可以找到储存弹幕的地址(图1),弹幕地址具体情况具体分析。
在标头下的“请求URL”,后面那一串链接就是要爬取的位置。(图2)
图1
图2
实现代码过程
将Python代码和Excel文件放在一个文件下
图3
用request库进行操作
不会下载库的同学可以在pycharm终端下用pip下载,也可以在设置setting的project下下载,具体步骤不会可以搜大佬的文章。
用requests对网站进行访问,这里用到了get请求方法,请求方法可以在之前找URL下看到。(图2)
requests.get('https://api.live.bilibili.com/xlive/web-room/v1/dM/gethistory?roomid=5050')
对访问的内容进行选择
我这里就选择了姓名和弹幕
for ac in d['data']['room']:
s = "{}说:{}".format(ac['nickname'], ac['text'])
防止得到的内容重复
用列表储存爬取的数据,用if条件判断新爬取的内容是否在列表ls中,如果不在就用append追加到列表中。
ls = []
if s not in ls:
ls.append(ls)
把得到的数据保存到Excel中
在这个过程中用到了openpyxl库。
首先在Excel中先写下表头(图4),为接下来插入得到的内容找位置,然后保存(记得爬取的时候不要打开Excel文件)。
# 打开文件
wb = openpyxl.Workbook()
# 使用的工作对象创建一张表
sheet = wb.active
# 在sheet1表中写入内容 插入内容
sheet.append(['B友姓名', 'B友说的话'])
保存内容,这个是借鉴一篇文章Python提取PDF发票信息保存Excel文件并制作EXE程序的全过程,具体的解释可以看这位大佬的,还有实例。
print('B友姓名' + nickname, 'B友说的话' + text)
print('开始写入excel,请稍等...', end='')
xx_info = [nickname, text]
sheet.append(xx_info)
print('写入成功\n')
# 关闭保存工作簿
wb.save('data.xls')
图4
全部代码(代码的直接取)
import random
import requests
import time
import openpyxl
# 打开文件
wb = openpyxl.Workbook()
# 使用的工作对象创建一张表
sheet = wb.active
# 在sheet1表中写入内容 插入内容
sheet.append(['B友姓名', 'B友说的话']) #这是在excel第一行插入,可以相当于一个文件的表头
# 用列表储存爬取内容,防止出现相似值
ls = []
# 循环实时弹幕
while True:
# 爬取的直播间
r = requests.get('')#这里括号里放找到的URL
# 每次爬取的间隔,防止让服务器崩溃
time.sleep(random.randint(1, 3))
# 将输出的字符串内容转换成字典形式
d = eval(r.text)
# 在这两字典中爬取
for ac in d['data']['room']:
s = "{}说:{}".format(ac['nickname'], ac['text'])
nickname = ac['nickname']
text = ac['text']
# 判断输出内容是否重复
if s not in ls:
ls.append(ls)
# 确定没有重复值了输出
# 颜色
sheet.sheet_properties.tabColor = '000000'
print('B友姓名' + nickname, 'B友说的话' + text)
print('开始写入excel,请稍等...', end='')
xx_info = [nickname, text]
sheet.append(xx_info)
print('写入成功\n')
# 关闭保存工作簿
wb.save('data.xls')
来源:https://blog.csdn.net/weixin_70445937/article/details/128540367
标签:Python,弹幕,保存,Excel
0
投稿
猜你喜欢
python3 使用ssh隧道连接mysql的操作
2023-09-01 19:15:11
YOLOv5在图片上显示统计出单一检测目标的个数实例代码
2023-07-20 18:08:42
CSS Menu导航菜单下载网站整理
2007-10-21 19:49:00
sqlserver 多库查询 sp_addlinkedserver使用方法(添加链接服务器)
2011-09-30 11:49:22
构建成功web应用的十项黄金法则
2010-09-17 19:11:00
Python 面向对象部分知识点小结
2023-08-22 17:10:09
如何把IP表存到SQL数据库里去?
2009-11-02 20:21:00
利用Python如何实现一个小说网站雏形
2023-09-22 05:52:07
解决python ogr shp字段写入中文乱码的问题
2023-07-05 00:40:17
Python爬虫JSON及JSONPath运行原理详解
2023-02-21 17:59:48
asp是什么格式 asp文件用什么打开
2020-06-30 16:04:48
python 用opencv实现图像修复和图像金字塔
2022-09-27 09:24:22
OpenCV角点检测的实现示例
2023-06-25 06:49:10
php 查找数组元素提高效率的方法详解
2023-11-15 02:51:08
教你轻松解决几种常见的SQL疑难问题
2009-01-07 14:25:00
典型的三行二列居中高度自适应css布局
2008-02-22 16:02:00
python3在各种服务器环境中安装配置过程
2021-10-27 22:49:55
python中threading开启关闭线程操作
2022-10-02 22:40:26
XML+ JS创建树形菜单
2013-08-22 08:30:17
简单的ASP生成HTML并分页程序
2009-07-20 12:32:00