python利用urllib实现爬取京东网站商品图片的爬虫实例
作者:jingxian 时间:2022-05-01 12:32:56
本例程使用urlib实现的,基于python2.7版本,采用beautifulsoup进行网页分析,没有第三方库的应该安装上之后才能运行,我用的IDE是pycharm,闲话少说,直接上代码!
# -*- coding: utf-8 -*
import re
import os
import urllib
import urllib2
from bs4 import BeautifulSoup
def craw(url,page):
html1=urllib2.urlopen(url).read()
html1=str(html1)
soup=BeautifulSoup(html1,'lxml')
imagelist=soup.select('#J_goodsList > ul > li > div > div.p-img > a > img')
namelist=soup.select('#J_goodsList > ul > li > div > div.p-name > a > em')
#pricelist=soup.select('#plist > ul > li > div > div.p-price > strong')
#print pricelist
path = "E:/{}/".format(str(goods))
if not os.path.exists(path):
os.mkdir(path)
for (imageurl,name) in zip(imagelist,namelist):
name=name.get_text()
imagename=path + name +".jpg"
imgurl="http:"+str(imageurl.get('data-lazy-img'))
if imgurl == 'http:None':
imgurl = "http:" + str(imageurl.get('src'))
try:
urllib.urlretrieve(imgurl,filename=imagename)
except:
continue
'''
#J_goodsList > ul > li:nth-child(1) > div > div.p-img > a > img
#plist > ul > li:nth-child(1) > div > div.p-name.p-name-type3 > a > em
#plist > ul > li:nth-child(1) > div > div.p-price > strong:nth-child(1) > i
'''
if __name__ == "__main__":
goods=raw_input('please input the goos you want:')
pages=input('please input the pages you want:')
count =0.0
for i in range(1,int(pages+1),2):
url="https://search.jd.com/Search?keyword={}&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.def.0.T06&wq=diann&page={}".format(str(goods),str(i))
craw(url,i)
count += 1
print 'work completed {:.2f}%'.format(count/int(pages)*100)
图片的命名为商品的名称,京东商品图片地址的属性很可能会有所变动,所以大家进行编写的时候应该举一反三,灵活运用!
这是我下载下来的手机类图片文件的截图:
我本地的爬取的速度很快,不到一分钟就能爬取100页上千个商品的图片!
来源:http://www.cnblogs.com/kfpa/p/7418843.html
标签:京东,商品,爬取,python,图片
0
投稿
猜你喜欢
Linux手动部署远程的mysql数据库的方法详解
2024-01-28 16:52:42
远程部署工具Fabric详解(支持Python3)
2023-10-26 14:05:18
深入string理解Golang是怎样实现的
2024-02-07 06:45:24
详解mysql中的冗余和重复索引
2024-01-27 12:59:32
JavaScript高级程序设计 阅读笔记(十八) js跨平台的事件
2024-04-10 11:01:56
用Dreamweaver实现Real与网页结合
2010-07-13 12:11:00
MySQL安全性指南 (2)
2010-07-26 13:26:00
sql中count或sum为条件的查询示例(sql查询count)
2024-01-16 04:05:02
SQL Server附加数据库时出现错误的处理方法
2024-01-20 19:57:58
python网络编程 使用UDP、TCP协议收发信息详解
2021-02-15 14:37:41
Python3利用Dlib19.7实现摄像头人脸识别的方法
2022-08-08 06:41:22
Python图像运算之图像点运算与灰度化处理详解
2021-06-15 23:43:14
Python实现一键下载视频脚本
2023-08-26 18:51:17
window10下mysql 8.0.20 安装配置方法图文教程
2024-01-14 19:08:59
python实现事件驱动
2022-01-07 10:20:48
Go语言底层原理互斥锁的实现原理
2024-04-25 15:00:24
Vue组件间的通信方式详析
2024-05-09 15:12:29
mysql MGR 单主多主模式切换知识点详解
2024-01-28 00:13:00
基于javascript实现全国省市二级联动下拉选择菜单
2023-09-14 06:08:52
python 哈希表实现简单python字典代码实例
2023-12-28 06:11:32