Python爬虫包BeautifulSoup异常处理(二)
作者:SuPhoebe 时间:2021-12-09 21:53:42
面对网络不稳定,页面更新等问题,很可能出现程序异常的问题,所以我们要对程序进行一些异常处理。大家可能觉得处理异常是一个比较麻烦的活,但在面对复杂网页和任务的时候,无疑成为一个很好的代码习惯。
网页‘404'、‘500'等问题
try:
html = urlopen('http://www.pmcaff.com/2221')
except HTTPError as e:
print(e)
返回的是空网页
if html is None:
print('没有找到网页')
目标标签在网页中缺失
try:
#不存在的标签
content = bsObj.nonExistingTag.anotherTag
except AttributeError as e:
print('没有找到你想要的标签')
else:
if content == None:
print('没有找到你想要的标签')
else:
print(content)
实例
if sys.version_info[0] == 2:
from urllib2 import urlopen # Python 2
from urllib2 import HTTPError
else:
from urllib.request import urlopen # Python3
from urllib.error import HTTPError
from bs4 import BeautifulSoup
import sys
def getTitle(url):
try:
html = urlopen(url)
except HTTPError as e:
print(e)
return None
try:
bsObj = BeautifulSoup(html.read())
title = bsObj.body.h1
except AttributeError as e:
return None
return title
title = getTitle("http://www.pythonscraping.com/exercises/exercise1.html")
if title == None:
print("Title could not be found")
else:
print(title)
以上全部为本篇文章的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
来源:https://blog.csdn.net/u013007900/article/details/53819711
标签:python,爬虫包,BeautifulSoup
0
投稿
猜你喜欢
优化Oracle库表设计的若干方法
2010-07-16 13:24:00
python 如何实现跳过异常继续执行
2022-07-03 11:34:02
Python使用tkinter实现摇骰子小游戏功能的代码
2021-03-18 09:15:16
python迭代器与生成器详解
2021-03-24 00:34:24
:hover在IE6下的问题
2009-06-18 21:09:00
Go语言快速入门图文教程
2023-07-23 10:30:16
Python 移动光标位置的方法
2023-09-07 03:15:25
JS完美实现对象克隆
2008-08-03 16:51:00
python基础之贪婪模式与非贪婪模式
2023-01-18 04:14:36
Python之Numpy的超实用基础详细教程
2021-12-05 19:06:23
Python3进制之间的转换代码实例
2022-06-13 05:22:35
html静态页面调用php文件的方法
2023-09-04 23:18:21
MySQL两种识别是否有中文字符的方法
2011-01-04 20:11:00
Python操作Sqlite正确实现方法解析
2023-01-24 14:23:23
asp采集常用的几个FUCTION
2007-09-05 19:45:00
python实现简单的学生管理系统
2022-11-25 08:34:04
Css 清除浮动
2008-09-15 18:47:00
轻量级的Web框架Flask 中模块化应用的实现
2021-04-07 13:08:16
Python本地与全局命名空间用法实例
2022-01-05 10:01:12
Python命令行定时任务自动化工作流程
2023-01-01 20:52:51