Python实现抖音热搜定时爬取功能
作者:Python丁小杰 时间:2022-01-03 03:48:29
大家好,我是丁小杰。
上次和大家分享了Python定时爬取微博热搜示例介绍,堪称摸鱼神器,一个热榜不够看?今天我们再来爬取一下抖音热搜榜,感兴趣的小伙伴可以自己动手尝试一下哦。
抖音热搜榜
链接:https://tophub.today/n/K7GdaMgdQy
整个热榜共50条数据,本次爬取的内容:排名、热度、标题、链接。
requests 爬取
requests
是一种非常简单的方法,由于该页面没有反爬措施,所以直接get
请求页面即可。
import requests
import pandas as pd
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36'
}
url = 'https://tophub.today/n/K7GdaMgdQy'
page_text = requests.get(url=url, headers=headers).text
page_text
可以看到,只需要几行代码,数据就很轻松地获取到了。
selenium 爬取
将selenium
设置为无头浏览器,打开指定url
获取页面数据。
from selenium import webdriver
option = webdriver.ChromeOptions()
option.add_argument('--headless')
driver = webdriver.Chrome(options=option)
url = 'https://tophub.today/n/K7GdaMgdQy'
driver.get(url)
page_text = driver.page_source
两种爬取方法都能够成功获取到数据,但requests
相对简洁,整个代码运行速度也更快,如果页面数据不是动态加载的话,用requests
相对方便。
数据解析
现在用lxml
库解析我们爬取的数据,并保存到excel
中。
tree = etree.HTML(page_text)
tr_list = tree.xpath(
'//*[@id="page"]/div[2]/div[2]/div[1]/div[2]/div/div[1]/table/tbody/tr')
df = pd.DataFrame(columns=['排名', '热度', '标题', '链接'])
for index, tr in enumerate(tr_list):
hot = tr.xpath('./td[3]/text()')[0]
title = tr.xpath('./td[2]/a/text()')[0]
article_url = tr.xpath('./td[2]/a/@href')[0]
df = df.append({
'排名': index + 1,
'热度': hot,
'标题': title,
'链接': article_url}, ignore_index=True)
df['链接'] = 'https://tophub.today' + df['链接']
df
运行结果
设置定时运行
至此,爬取代码已经完成,想要实现每小时自动运行代码,可以使用任务计划程序。
打开任务计划程序,【创建任务】
输入名称,名称随便起就好。
选择【触发器】>>【新建】>>【设置触发时间】
选择【操作】>>【新建】>>【选择程序】
最后确认即可。到时间就会自动运行,或者右键任务手动运行。
这就是今天要分享的内容,整体难度不大,希望大家能够有所收获,文章中的代码拼接起来就可以运行!
来源:https://mp.weixin.qq.com/s/vgtAxyb0rAH3s6hkeLyAVw
标签:Python,抖音,热搜,爬取
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
Python 按字典dict的键排序,并取出相应的键值放于list中的实例
2022-01-26 16:48:46
简单谈谈python中的语句和语法
2023-03-03 12:03:13
Tensorflow 1.0之后模型文件、权重数值的读取方式
2022-01-09 21:33:18
在 SQL Server数据库开发中的十大问题
2009-01-20 14:56:00
Django 登陆验证码和中间件的实现
2021-08-12 10:26:18
![](https://img.aspxhome.com/file/2023/2/85152_0s.png)
Python内建类型float源码学习
2022-05-05 17:07:37
![](https://img.aspxhome.com/file/2023/2/90642_0s.png)
6个asp判断函数使用方法介绍
2007-09-24 13:10:00
教你用Python实现一个轮盘抽奖小游戏
2021-11-04 23:49:03
![](https://img.aspxhome.com/file/2023/6/71406_0s.jpg)
Python subprocess库六个实例快速掌握
2021-02-22 05:53:56
详细介绍Python进度条tqdm的使用
2022-12-13 19:45:08
![](https://img.aspxhome.com/file/2023/9/77619_0s.gif)
Win10下python 2.7.13 安装配置方法图文教程
2023-01-13 20:12:27
![](https://img.aspxhome.com/file/2023/4/80624_0s.png)
教你用Python写一个植物大战僵尸小游戏
2021-07-19 22:59:37
![](https://img.aspxhome.com/file/2023/3/71403_0s.png)
python str()如何将参数转换为字符串类型
2022-04-28 17:30:36
解决pytorch 模型复制的一些问题
2022-04-23 03:57:58
Python实现比较两个列表(list)范围
2022-07-20 18:08:04
Falsk 与 Django 过滤器的使用与区别详解
2023-08-21 08:06:02
详解Python用三种方式统计词频的方法
2021-02-10 13:30:12
Python多进程fork()函数详解
2023-06-08 19:41:37
关于ASP eof与bof 区别分析
2011-03-11 11:14:00
python中的多线程锁lock=threading.Lock()使用方式
2022-02-12 19:48:39