python使用xpath获取页面元素的使用

作者:Sun@Python 时间:2021-04-30 10:32:09 

关于python 使用xpath获取网页信息的方法?

1、xpath的使用方法?

XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。

常用路径表达式含义

表达式描述
/从根节点选取(取子节点)
//选择的当前节点选择文档中的节点
.选取当前节点。
选取当前节点的父节点。
@选取属性
*表示任意内容(通配符)
|运算符可以选取多个路径

常用功能函数

函数用法解释
startswith()xpath(‘//div[starts-with(@id,”ma”)]‘)#选取id值以ma开头的div节点
contains()xpath(‘//div[contains(@id,”ma”)]‘)#选取id值包含ma的div节点
and()xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘)#选取id值包含ma的div节点
text()_.xpath('./div/div[4]/a/em/text()')#选取em标签下文本内容

备注:

1、html中当相同层次存在多个标签例如div,它们的顺序是从1开始,不是0
2、浏览器中使用开发者工具可以快速获取节点信息

python使用xpath获取页面元素的使用

2、实例:


#!/usr/bin/python3
# -*- coding: utf-8 -*-
# @Time    : 2021/9/7 9:35
# @Author  : Sun
# @Email   : 8009@163.com
# @File    : sun_test.py
# @Software: PyCharm

import requests
from lxml import etree

def get_web_content():
   try:
       url = "htpps://***keyword=%E6%97%A0%E9%92%A2%E5%9C%88&wq=%E6%97%A0%E"
 "9%92%A2%E5%9C%88&ev=1_68131%5E&pvid=afbf41410b164c1b91d"
       "abdf18ae8ab5c&page=5&s=116&click=0 "
       header = {
           "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"
           "AppleWebKit/537.36 (KHTML, like Gecko) "
                         "Chrome/75.0.3770.100 Safari/537.36 "}
       response = requests.request(method="Get", url=url, headers=header)
       result = response.text
       return result
   except TimeoutError as e:
       return None

def parsing():
   result = get_web_content()
   if result is not None:
       html = etree.HTML(result)
       # 先获取一个大的节点,包含了想要获取的所有信息
       ii = html.xpath('//*[@id="J_goodsList"]/ul/li')

for _ in ii:
       # 采用循环,依次从大节点中获取小的节点内容
           # ''.join() 将列表中的内容拼接成一个字符串
           infoResult = {
           # @href 表示:获取属性为href的内容
               'href': "https:" + _.xpath('./div/div[1]/a/@href')[0],
               'title': ''.join(
                       _.xpath('./div/div[2]/div/ul/li/a/@title')),
               # text()表示获取节点i里面的文本信息
               'price': _.xpath('./div/div[3]/strong/i/text()')[0],
               'info': ''.join(
                       _.xpath('./div/div[4]/a/em/text()')).strip(),
               'province': _.xpath('./div/div[9]/@data-province')[0]}
           print(infoResult)
   else:
       raise Exception("Failed to get page information, please check!")

return None

if __name__ == '__main__':
   parsing()

结果图片:

python使用xpath获取页面元素的使用

来源:https://blog.csdn.net/qq_40267002/article/details/120197707

标签:python,xpath,获取,元素
0
投稿

猜你喜欢

  • SESSION存放在数据库用法实例

    2024-05-11 10:09:56
  • 利用JavaScript做数独的完整实现过程

    2024-02-24 02:10:47
  • 怎样缩小SQL Server数据库的日志文件

    2009-01-15 13:08:00
  • python使用matplotlib库生成随机漫步图

    2021-03-01 15:11:37
  • security.js实现的RSA加密功能示例

    2024-04-08 10:54:12
  • Python的10道简单测试题(含答案)

    2021-12-28 03:57:24
  • opencv-python+yolov3实现目标检测

    2022-01-18 06:45:17
  • Python协程实践分享

    2023-09-01 05:50:51
  • layui实现下拉复选功能的例子(包括数据的回显与上传)

    2024-02-24 17:37:10
  • 基于python3实现倒叙字符串

    2023-02-02 17:41:28
  • python魔法方法-自定义序列详解

    2022-10-08 08:56:12
  • python实现文本界面网络聊天室

    2022-04-13 19:43:54
  • html静态页面调用php文件的方法

    2023-09-04 23:18:21
  • 利用Python读取Excel表内容的详细过程

    2022-10-24 05:43:33
  • python进阶教程之异常处理

    2023-10-14 23:04:17
  • 把网页中的电话号码生成图片的ASP程序

    2008-11-07 16:12:00
  • 非常简单的Python识别图片验证码实现过程

    2022-01-23 02:03:54
  • Python 获取当前路径3种方法

    2023-04-15 00:03:24
  • BootStrap3学习笔记(一)之网格系统

    2024-04-29 13:43:48
  • Go语言学习技巧之如何合理使用Pool

    2024-02-05 08:04:47
  • asp之家 网络编程 m.aspxhome.com