Selenium+BeautifulSoup+json获取Script标签内的json数据
作者:诡途 时间:2023-06-17 09:30:18
Selenium爬虫遇到 数据是以 JSON 字符串的形式包裹在 Script 标签中,
假设Script标签下代码如下:
<script id="DATA_INFO" type="application/json" >
{
"user": {
"isLogin": true,
"userInfo": {
"id": 123456,
"nickname": "LiMing",
"intro": "人生苦短,我用python"
}
}
}
</script>
此时drive.find_elements_by_xpath('//*[@id="DATA_INFO"] 只能定位到元素,但是无法通过.text方法,获取Script标签下的json数据
from bs4 import BeautifulSoup as bs
import json as js
#selenium获取当前页面源码
html = drive.page_source
#BeautifulSoup转换页面源码
bs=BeautifulSoup(html,'lxml')
#获取Script标签下的完整json数据,并通过json加载成字典格式
js_test=js.loads(bs.find("script",{"id":"DATA_INFO"}).get_text())
#获取Script标签下的nickname 值
js_tes
来源:https://blog.csdn.net/qq_35866846/article/details/106348732
标签:Selenium,BeautifulSoup,json


猜你喜欢
总结一些js自定义的函数
2024-04-19 10:43:54
基于python实现高速视频传输程序
2022-04-01 02:14:17
PHP面向对象编程之深入理解方法重载与方法覆盖(多态)
2024-05-22 10:02:25

Python if else语句对缩进的要求
2021-03-07 03:32:12
python实用代码片段收集贴
2022-02-16 10:01:40
Python稀疏矩阵及参数保存代码实现
2021-05-10 08:18:34

Python编写万花尺图案实例
2022-04-16 06:12:21

MySQL 8.0.29 安装配置方法图文教程
2024-01-17 18:22:29

python configparser中默认值的设定方式
2023-09-08 22:01:33
python中re.findall函数实例用法
2021-03-28 07:51:20
利用tkinter改变下拉列表(Combobox)的选项值
2023-07-20 03:10:37
使用python实现将视频中的音频分离出来
2021-10-20 21:26:07

使用python Django做网页
2023-11-22 03:35:26

java使用dbcp2数据库连接池
2024-01-29 05:33:42

python中使用PIL制作并验证图片验证码
2023-06-05 11:28:33
一文掌握go的sync.RWMutex锁
2024-04-26 17:28:30
python批量导出导入MySQL用户的方法
2024-01-29 02:58:42
python通过apply使用元祖和列表调用函数实例
2021-02-18 03:18:32
Centos6.9安装Mysql5.7.18步骤记录
2024-01-25 20:24:06
GoLang OS包以及File类型详细讲解
2024-05-22 10:19:38