urllib和BeautifulSoup爬取 * 的词条简单实例
作者:powerpoint_2016 时间:2023-10-25 21:46:59
本文实例主要实现的是使用urllib和BeautifulSoup爬取 * 的词条,具体如下。
简洁代码:
#引入开发包
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
#请求URL并把结果用UTF-8编码
resp=urlopen("https://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5").read().decode("utf-8")
#使用BeautifulSoup去解析
soup=BeautifulSoup(resp,"html.parser")
#print(soup)
#获取所有以/wiki/开头的a标签的href属性
listUrl=soup.findAll("a",href=re.compile("^/wiki/"))
#输出所有词条对应的名称和URL
for link in listUrl:
if not re.search("\.(jpg|JPG)$",link["href"]):
print(link.get_text(),"<----->","https://zh.wikipedia.org"+link["href"])
运行结果:
总结
总的来说,Python是简洁而又强大的,调用几个库,就能实现其他语言一大堆代码才能实现的功能。
来源:http://blog.csdn.net/m0_38066258/article/details/77751909
标签:python,爬虫,urllib,beautifulsoup
0
投稿
猜你喜欢
Python实现灰色关联分析与结果可视化的详细代码
2023-08-03 15:01:56
mysql mysqldump只导出表结构或只导出数据的实现方法
2024-01-23 19:46:55
深入了解Go的interface{}底层原理实现
2024-05-21 10:19:03
MySQL 锁的相关知识总结
2024-01-13 22:07:12
Centos中彻底删除Mysql(rpm、yum安装的情况)
2024-01-14 14:33:36
ES6入门教程之Array.from()方法
2024-04-18 09:51:51
Python操作数据库之数据库编程接口
2024-01-25 01:55:41
基于Python绘制一个摸鱼倒计时界面
2022-09-02 03:03:26
Python实现APP自动化发微信群消息的示例代码
2023-07-27 05:24:26
解决Jrebel用户名中文导致用不了的问题
2023-04-10 05:20:15
如何利用Python给自己的头像加一个小国旗(小月饼)
2023-09-15 20:47:31
MySQL Server 层四个日志详解
2024-01-18 12:12:59
详解JDBC对Mysql utf8mb4字符集的处理
2024-01-14 12:01:43
python3的url编码和解码,自定义gbk、utf-8的例子
2022-08-02 10:07:39
bootstrapValidator bootstrap-select验证不可用的解决办法
2024-04-10 13:53:06
教你如何6秒钟往MySQL插入100万条数据的实现
2024-01-19 02:17:35
段正淳的css笔记(1)分类之间的横竖线
2007-11-01 21:47:00
完美解决go Fscanf 在读取文件时出现的问题
2024-02-15 11:29:50
Python单链表的简单实现方法
2021-08-14 01:58:33
Python关于维卷积的理解
2022-06-05 07:26:21