Python3直接爬取图片URL并保存示例
作者:TelAntiNomy 时间:2022-10-31 17:30:40
有时候我们会需要从网络上爬取一些图片,来满足我们形形色色直至不可描述的需求。
一个典型的简单爬虫项目步骤包括两步:获取网页地址和提取保存数据。
这里是一个简单的从图片url收集图片的例子,可以成为一个小小的开始。
获取地址
这些图片的URL可能是连续变化的,如从001递增到099,这种情况可以在程序中将共同的前面部分截取,再在最后递增并字符串化后循环即可。
抑或是它们的URL都保存在某个文件中,这时可以读取到列表中:
def getUrls(path):
urls = []
with open(path,'r') as f:
for line in f:
urls.append(line.strip('\n'))
return(urls)
保存图片
在python3中,urllib提供了一系列用于操作URL的功能,其中的request模块可以非常方便地抓取URL内容,也就是发送一个GET请求到指定的页面,然后返回HTTP的响应。具体细节请看注释:
def requestImg(url, name, num_retries=3):
img_src = url
# print(img_src)
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) \
AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/35.0.1916.114 Safari/537.36',
'Cookie': 'AspxAutoDetectCookieSupport=1'
}
# Request类可以使用给定的header访问URL
req = urllib.request.Request(url=img_src, headers=header)
try:
response = urllib.request.urlopen(req) # 得到访问的网址
filename = name + '.jpg'
with open(filename, "wb") as f:
content = response.read() # 获得图片
f.write(content) # 保存图片
response.close()
except HTTPError as e: # HTTP响应异常处理
print(e.reason)
except URLError as e: # 一定要放到HTTPError之后,因为它包含了前者
print(e.reason)
except IncompleteRead or RemoteDisconnected as e:
if num_retries == 0: # 重连机制
return
else:
requestImg(url, name, num_retries-1)
其他
捕获异常
以下是批量爬取网页时可能需要捕获的异常,同时可以看出,urllib2库对应urllib库,而httplib库对应http.client:
Python2 | Pyhton3 |
---|---|
urllib2.HTTPError | urllib.error.HTTPError |
urllib2.URLError | urllib.error.URLError (HTTPError被包含其中) |
httplib.IncompleteRead | http.client.IncompleteRead |
httplib.RemoteDisconnected | http.client.RemoteDisconnected |
重连机制
在函数参数中设置一个参数num_retries并对其进行初始化,即默认参数。在某些异常出现时可以将该参数递减,再让它递归调用自身,这就是基本的重连机制。
修饰器
有种设计模式叫修饰器模式,它可以在不修改目标函数代码的前提下,在目标函数执行前后增加一些额外功能。
def clock(func): # 修饰器函数,对函数计时
def clocked(*args):
t0 = timeit.default_timer()
result = func(*args)
elapsed = timeit.default_timer() - t0
name = func.__name__
arg_str = ', '.join(repr(arg) for arg in args)
print('[%0.8fs] %s(%s)' % (elapsed, name, arg_str))
# print('%s(%s) -> %r [%0.8fs]' % (name, arg_str, result, elapsed))
return result
return clocked
上面这段代码是修饰器函数的一个例子,用来对函数运行时间进行计时,在需要计时的函数上一行添加一点点代码即可:
@clock
完整代码
from urllib.error import HTTPError, URLError
from http.client import IncompleteRead, RemoteDisconnected
import timeit, time
import urllib.request
import socket
# timeout = 20
# socket.setdefaulttimeout(timeout) # 等待,防止被简单地反爬
def getUrls(path):
urls = []
with open(path,'r') as f:
for line in f:
urls.append(line.strip('\n'))
return(urls)
def clock(func): # 修饰器函数,对函数计时
def clocked(*args):
t0 = timeit.default_timer()
result = func(*args)
elapsed = timeit.default_timer() - t0
name = func.__name__
arg_str = ', '.join(repr(arg) for arg in args)
print('[%0.8fs] %s(%s)' % (elapsed, name, arg_str))
# print('%s(%s) -> %r [%0.8fs]' % (name, arg_str, result, elapsed))
return result
return clocked
@clock
def requestImg(url, name, num_retries=3):
img_src = url
# print(img_src)
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) \
AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/35.0.1916.114 Safari/537.36',
'Cookie': 'AspxAutoDetectCookieSupport=1'
}
req = urllib.request.Request(url=img_src, headers=header)
try:
response = urllib.request.urlopen(req)
filename = name + '.jpg'
with open(filename, "wb") as f:
content = response.read()
f.write(content)
response.close()
except HTTPError as e:
print(e.reason)
except URLError as e:
print(e.reason)
except IncompleteRead or RemoteDisconnected as e:
if num_retries == 0:
return
else:
requestImg(url, name, num_retries-1)
if __name__ =='__main__':
urls = getUrls('./'URLS.txt') # 换成你的URL文件路径
nLines = len(urls)
print(nLines)
for index, value in enumerate(urls):
requestImg(value, './'+str(index).zfill(6)) # zfill用来格式化数字:000001
来源:https://blog.csdn.net/Tele_Anti_Nomy/article/details/88092012
标签:Python3,爬取,图片URL,保存
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
vue 踩不完的异步之坑及解决
2024-04-28 09:30:05
![](https://img.aspxhome.com/file/2023/7/132947_0s.png)
Python 写入训练日志文件并控制台输出解析
2021-10-11 01:27:10
![](https://img.aspxhome.com/file/2023/5/131555_0s.jpg)
python学生管理系统的实现
2021-08-30 09:08:25
MySQL 中行转列的方法
2024-01-25 23:55:59
python中metaclass原理与用法详解
2023-11-26 23:27:56
使用SQL语句将相同名的多行字段内容拼接(方法详解)
2024-01-15 00:11:13
![](https://img.aspxhome.com/file/2023/2/116322_0s.png)
keras使用Sequence类调用大规模数据集进行训练的实现
2021-01-03 20:24:35
vscode配置远程开发与免密登录的技巧
2023-04-29 02:43:41
![](https://img.aspxhome.com/file/2023/3/132403_0s.png)
ASP使用连接MYSQL数据库全攻略
2007-09-23 09:06:00
html静态页面调用php文件的方法
2023-09-04 23:18:21
go实现服务优雅关闭的示例
2023-08-06 09:01:08
![](https://img.aspxhome.com/file/2023/7/90487_0s.jpg)
浅析ASP内置组件
2007-10-18 11:31:00
python-json校验-jsonpath解析
2023-11-20 11:40:01
Pycharm远程调试和MySQL数据库授权问题
2024-01-14 10:56:00
![](https://img.aspxhome.com/file/2023/9/127279_0s.png)
PHP排序二叉树基本功能实现方法示例
2023-07-10 04:45:53
Python实现求数列和的方法示例
2021-07-15 05:27:08
Python编写简单的HTML页面合并脚本
2022-08-13 09:13:07
Golang标准库binary详解
2024-04-25 13:19:47
![](https://img.aspxhome.com/file/2023/7/134337_0s.png)
SQL Server 2005 Express版企业管理器下载
2009-10-06 14:54:00
解决pycharm运行时interpreter为空的问题
2022-04-01 22:56:39
![](https://img.aspxhome.com/file/2023/4/103354_0s.jpg)