Selenium+BeautifulSoup+json获取Script标签内的json数据

作者:诡途 时间:2023-06-17 09:30:18 

Selenium爬虫遇到 数据是以 JSON 字符串的形式包裹在 Script 标签中,

假设Script标签下代码如下:

<script id="DATA_INFO" type="application/json" >
{
 "user": {
   "isLogin": true,
   "userInfo": {
     "id": 123456,
     "nickname": "LiMing",
     "intro": "人生苦短,我用python"
   }
 }
}
</script>

此时drive.find_elements_by_xpath('//*[@id="DATA_INFO"] 只能定位到元素,但是无法通过.text方法,获取Script标签下的json数据

from bs4 import BeautifulSoup as bs
import json as js
#selenium获取当前页面源码
html = drive.page_source
#BeautifulSoup转换页面源码
bs=BeautifulSoup(html,'lxml')
#获取Script标签下的完整json数据,并通过json加载成字典格式
js_test=js.loads(bs.find("script",{"id":"DATA_INFO"}).get_text())
#获取Script标签下的nickname 值
js_tes

来源:https://blog.csdn.net/qq_35866846/article/details/106348732

标签:Selenium,BeautifulSoup,json
0
投稿

猜你喜欢

  • 总结一些js自定义的函数

    2024-04-19 10:43:54
  • 基于python实现高速视频传输程序

    2022-04-01 02:14:17
  • PHP面向对象编程之深入理解方法重载与方法覆盖(多态)

    2024-05-22 10:02:25
  • Python if else语句对缩进的要求

    2021-03-07 03:32:12
  • python实用代码片段收集贴

    2022-02-16 10:01:40
  • Python稀疏矩阵及参数保存代码实现

    2021-05-10 08:18:34
  • Python编写万花尺图案实例

    2022-04-16 06:12:21
  • MySQL 8.0.29 安装配置方法图文教程

    2024-01-17 18:22:29
  • python configparser中默认值的设定方式

    2023-09-08 22:01:33
  • python中re.findall函数实例用法

    2021-03-28 07:51:20
  • 利用tkinter改变下拉列表(Combobox)的选项值

    2023-07-20 03:10:37
  • 使用python实现将视频中的音频分离出来

    2021-10-20 21:26:07
  • 使用python Django做网页

    2023-11-22 03:35:26
  • java使用dbcp2数据库连接池

    2024-01-29 05:33:42
  • python中使用PIL制作并验证图片验证码

    2023-06-05 11:28:33
  • 一文掌握go的sync.RWMutex锁

    2024-04-26 17:28:30
  • python批量导出导入MySQL用户的方法

    2024-01-29 02:58:42
  • python通过apply使用元祖和列表调用函数实例

    2021-02-18 03:18:32
  • Centos6.9安装Mysql5.7.18步骤记录

    2024-01-25 20:24:06
  • GoLang OS包以及File类型详细讲解

    2024-05-22 10:19:38
  • asp之家 网络编程 m.aspxhome.com