Python编程
搜索
分类

python爬虫xpath模块简介示例代码

作者：DY.memory 时间：2021-04-09 06:17:37　

一、前言

前两篇博客讲解了爬虫解析网页数据的两种常用方法，re正则表达解析和beautifulsoup标签解析，所以今天的博客将围绕另外一种数据解析方法，它就是xpath模块解析，话不多说，进入内容：

二、简介

XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。

XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。

xpath是最常用且最便捷高效的一种解析方式，通用型强，其不仅可以用于python语言中，还可以用于其他语言中，数据解析建议首先xpath。

三、安装

pip3 install lxml

四、使用

1、导入

from lxml import etree

2、基本使用

实例化一个etree的对象，且需要将被解析的页面源代码数据加载到该对象中

调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获

from lxml import etree
tree = etree.parse('./tree.html')  #从本地加载源码，实例化一个etree对象。必须是本地的文件，不能是字符串
tree = etree.HTML(源码)           #从互联网加载源码，实例化etree对象
#  / 表示从从根节点开始，一个 / 表示一个层级，//表示多个层级
r = tree.xpath('//div//a')       #以列表的形式返回div下的所有的a标签对象的地址
r = tree.xpath('//div//a')[1]    #返回div下的第二个a标签对象地址
r = tree.xpath('//div[@class="tang"]')   #以列表的形式返回tang标签地址
r = tree.xpath('//div[@class="tang"]//a') #以列表的形式返回tang标签下所有的a标签地址
#获取标签中的文本内容
r = tree.xpath('//div[@class="tang"]//a/text()') #以列表的形式返回所有a标签中的文本
#获取标签中属性值
r = tree.xpath('//div//a/@href')   ##以列表的形式返回所有a标签中href属性值

3、基本使用

from lxml import etree

wb_data = """
       <div>
           <ul>
                <li><a href="link1.html" rel="external nofollow"  rel="external nofollow"     >first item</a></li>
                <li><a href="link2.html" rel="external nofollow"  rel="external nofollow"     >second item</a></li>
                <li><a href="link3.html" rel="external nofollow"  rel="external nofollow"     >third item</a></li>
                <li><a href="link4.html" rel="external nofollow"  rel="external nofollow"     >fourth item</a></li>
                <li><a href="link5.html" rel="external nofollow"  rel="external nofollow"     >fifth item</a>
            </ul>
        </div>
       """
html = etree.HTML(wb_data)
print(html)
result = etree.tostring(html)
print(result.decode("utf-8"))

从下面的结果来看，我们打印机html其实就是一个python对象，etree.tostring(html)则是补全html的基本写法，补全了缺胳膊少腿的标签。

<Element html at 0x39e58f0>
<html><body><div>
           <ul>
                <li><a href="link1.html" rel="external nofollow"  rel="external nofollow"     >first item</a></li>
                <li><a href="link2.html" rel="external nofollow"  rel="external nofollow"     >second item</a></li>
                <li><a href="link3.html" rel="external nofollow"  rel="external nofollow"     >third item</a></li>
                <li><a href="link4.html" rel="external nofollow"  rel="external nofollow"     >fourth item</a></li>
                <li><a href="link5.html" rel="external nofollow"  rel="external nofollow"     >fifth item</a>
            </li></ul>
        </div>
       </body></html>

3、获取某个标签的内容(基本使用)，注意，获取a标签的所有内容，a后面就不用再加正斜杠，否则报错。

写法一

html = etree.HTML(wb_data)
html_data = html.xpath('/html/body/div/ul/li/a')
print(html)
for i in html_data:
   print(i.text)

# 打印结果如下：
<Element html at 0x12fe4b8>
first item
second item
third item
fourth item
fifth item

写法二（直接在需要查找内容的标签后面加一个/text()就行）

html = etree.HTML(wb_data)
html_data = html.xpath('/html/body/div/ul/li/a/text()')
print(html)
for i in html_data:
   print(i)

# 打印结果如下：
<Element html at 0x138e4b8>
first item
second item
third item
fourth item
fifth item

4、打开读取html文件

#使用parse打开html的文件
html = etree.parse('test.html')
html_data = html.xpath('//*')<br>#打印是一个列表，需要遍历
print(html_data)
for i in html_data:
   print(i.text)
html = etree.parse('test.html')
html_data = etree.tostring(html,pretty_print=True)
res = html_data.decode('utf-8')
print(res)
 
打印：
<div>
     <ul>
         <li><a href="link1.html">first item</a></li>
         <li><a href="link2.html">second item</a></li>
         <li><a href="link3.html">third item</a></li>
         <li><a href="link4.html">fourth item</a></li>
         <li><a href="link5.html">fifth item</a></li>
     </ul>
</div>

5、打印指定路径下a标签的属性（可以通过遍历拿到某个属性的值，查找标签的内容）

html = etree.HTML(wb_data)
html_data = html.xpath('/html/body/div/ul/li/a/@href')
for i in html_data:
    print(i)
 
打印：
link1.html
link2.html
link3.html
link4.html
link5.html

6、我们知道我们使用xpath拿到得都是一个个的ElementTree对象，所以如果需要查找内容的话，还需要遍历拿到数据的列表。

查到绝对路径下a标签属性等于link2.html的内容。

html = etree.HTML(wb_data)
html_data = html.xpath('/html/body/div/ul/li/a[@href="link2.html"]/text()')
print(html_data)
for i in html_data:
    print(i)
 
打印：
['second item']
second item

7、上面我们找到全部都是绝对路径（每一个都是从根开始查找），下面我们查找相对路径，例如，查找所有li标签下的a标签内容。

html = etree.HTML(wb_data)
html_data = html.xpath('//li/a/text()')
print(html_data)
for i in html_data:
    print(i)
 
打印：
['first item', 'second item', 'third item', 'fourth item', 'fifth item']
first item
second item
third item
fourth item
fifth item

8、上面我们使用绝对路径，查找了所有a标签的属性等于href属性值，利用的是/&mdash;绝对路径，下面我们使用相对路径，查找一下l相对路径下li标签下的a标签下的href属性的值，注意，a标签后面需要双//。

html = etree.HTML(wb_data)
html_data = html.xpath('//li/a//@href')
print(html_data)
for i in html_data:
    print(i)
 
打印：
['link1.html', 'link2.html', 'link3.html', 'link4.html', 'link5.html']
link1.html
link2.html
link3.html
link4.html
link5.html

9、相对路径下跟绝对路径下查特定属性的方法类似，也可以说相同。

html = etree.HTML(wb_data)
html_data = html.xpath('//li/a[@href="link2.html"]')
print(html_data)
for i in html_data:
    print(i.text)
 
打印：
[<Element a at 0x216e468>]
second item

10、查找最后一个li标签里的a标签的href属性

html = etree.HTML(wb_data)
html_data = html.xpath('//li[last()]/a/text()')
print(html_data)
for i in html_data:
    print(i)
 
打印：
['fifth item']
fifth item

11、查找倒数第二个li标签里的a标签的href属性

html = etree.HTML(wb_data)
html_data = html.xpath('//li[last()-1]/a/text()')
print(html_data)
for i in html_data:
    print(i)
 
打印：
['fourth item']
fourth item

五、案例

案例1：获取58商城房价单位：

import requests
from lxml import etree
url = "https://bj.58.com/ershoufang/p1/"
headers={
   'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Mobile Safari/537.36'
}
pag_response = requests.get(url,headers=headers,timeout=3).text
#实例化一个etree对象
tree = etree.HTML(pag_response)
r = tree.xpath('//span[@class="content-title"]/text()') #获取所有//span标签为"content-title"的文本内容,列表形式
with open("58房价.txt",mode="w",encoding="utf-8") as fp:
   for r_list in r:
       fp.writelines(str(r_list))
       print(r_list)

python爬虫xpath模块简介示例代码

案例2：获取豆瓣top榜电影信息（这个是老生常谈的话题了） 

import re
from time import sleep
import requests
from lxml import etree
import random
import csv

def main(page,f):
   url = f'https://movie.douban.com/top250?start={page*25}&filter='
   headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.35 Safari/537.36',}
   resp = requests.get(url,headers=headers)
   tree = etree.HTML(resp.text)
   # 获取详情页的链接列表
   href_list = tree.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[1]/a/@href')
   # 获取电影名称列表
   name_list = tree.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]/text()')
   for url,name in zip(href_list,name_list):
       f.flush()  # 刷新文件
       try:
           get_info(url,name)  # 获取详情页的信息
       except:
           pass
       sleep(1 + random.random())  # 休息
   print(f'第{i+1}页爬取完毕')

def get_info(url,name):
   headers = {
       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.35 Safari/537.36',
       'Host': 'movie.douban.com',
   }
   resp = requests.get(url,headers=headers)
   html = resp.text
   tree = etree.HTML(html)
   # 导演
   dir = tree.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')[0]
   # 电影类型
   type_ = re.findall(r'property="v:genre">(.*?)</span>',html)
   type_ = '/'.join(type_)
   # 国家
   country = re.findall(r'地区:</span> (.*?)<br',html)[0]
   # 上映时间
   time = tree.xpath('//*[@id="content"]/h1/span[2]/text()')[0]
   time = time[1:5]
   # 评分
   rate = tree.xpath('//*[@id="interest_sectl"]/div[1]/div[2]/strong/text()')[0]
   # 评论人数
   people = tree.xpath('//*[@id="interest_sectl"]/div[1]/div[2]/div/div[2]/a/span/text()')[0]
   print(name,dir,type_,country,time,rate,people)  # 打印结果
   csvwriter.writerow((name,dir,type_,country,time,rate,people))  # 保存到文件中

if __name__ == '__main__':
   # 创建文件用于保存数据
   with open('03-movie-xpath.csv','a',encoding='utf-8',newline='')as f:
       csvwriter = csv.writer(f)
       # 写入表头标题
       csvwriter.writerow(('电影名称','导演','电影类型','国家','上映年份','评分','评论人数'))
       for i in range(10):  # 爬取10页
           main(i,f)  # 调用主函数
           sleep(3 + random.random())

python爬虫xpath模块简介示例代码

来源：https://blog.csdn.net/Abtxr/article/details/129016337

标签：python,xpath,模块
0
投稿

猜你喜欢

  • Spring Batch读取txt文件并写入数据库的方法教程

    2024-01-27 03:59:32

  • Wireshark TS FTP 传输失败问题解决

    2023-05-17 18:05:03

  • Scrapy将数据保存到Excel和MySQL中的方法实现

    2024-01-21 07:02:15

  • Python多进程分块读取超大文件的方法

    2023-12-07 02:19:28

  • mysql中自增auto_increment功能的相关设置及问题

    2024-01-16 09:34:13

  • FSO组件之文件操作（上）

    2010-05-03 11:01:00

  • 理理Vue细节（推荐）

    2024-05-28 15:53:07

  • 详解mysql中的存储引擎

    2024-01-27 05:53:15

  • Python获取Windows或Linux主机名称通用函数分享

    2023-11-29 06:09:25

  • asp如何使用MsChart制图工具？

    2010-06-05 12:40:00

  • python 判断网络连通的实现方法

    2021-07-28 06:47:29

  • DRF跨域后端解决之django-cors-headers的使用

    2021-10-08 20:12:32

  • Javascript学习笔记之 函数篇（一） : 函数声明和函数表达式

    2024-04-23 09:08:58

  • sql server2012附加数据库问题解决方法

    2024-01-19 19:34:28

  • python unichr函数知识点总结

    2022-02-03 11:48:31

  • PyTorch如何创建自己的数据集

    2022-10-17 05:22:17

  • Python3读写Excel文件(使用xlrd,xlsxwriter,openpyxl3种方式读写实例与优劣)

    2022-10-10 18:17:38

  • Python中删除文件的几种方法实例

    2021-02-02 05:57:13

  • Golang中Gin框架的使用入门教程

    2024-05-09 09:32:27

  • Python实现的NN神经网络算法完整示例

    2023-10-06 04:30:41
    • asp之家 网络编程 m.aspxhome.com