python3使用scrapy生成csv文件代码示例
作者:不论如何未来很美好 时间:2021-03-21 04:36:24
去腾讯招聘网的信息,这个小项目有人做过,本着一个新手学习的目的,所以自己也来做着玩玩,大家可以参考一下。
这里使用的是调用cmdline命令来生成csv文件,而不是importcsv模块。
from scrapy import cmdline
cmdline.execute("scrapy crawl field -o info.csv -t csv".split())
这段代码我保存在一个自建的.py文件中,然后在主文件中调用这个模块,这样就不用每次在cmd中敲命令了,大家可以使用这种方法我觉得很方便的。
进入正题(获取腾讯招聘网的信息http://hr.tencent.com/position.php):
保存的csv文件内容:
我们需要获取的数据首先应该使用scrapy的items容器记录下来:
import scrapy
class GetItem(scrapy.Item):
name = scrapy.Field() #招聘单位
genre = scrapy.Field() #招聘类型
number = scrapy.Field() #招聘人数
place = scrapy.Field() #招聘地点
time = scrapy.Field() #招聘时间
以上为我们等一下需要获取的信息
然后我们新建spider文件来编写爬去网站的代码:
# _*_ coding:utf-8 _*_
import scrapy
from scrapy.http import Request
from time import sleep
import os
import sys
sys.path.append("D:\PYscrapy\get_Field") #我使用这种路径添加的方式来调用GetItem函数和main函数
from get_Field.items import GetItem
import main #main函数开头就说了两行调用程序的代码,你也可以在cmd中使用scrapy crawl field -o info.csv -t csv来调用。主要是方便
class Tencentzhaopin(scrapy.Spider):
name = "field" #这个程序要执行的唯一标识名 可以自己设置
start_urls = ["http://hr.tencent.com/position.php?&start=0#a"] #首页网址
url = "http://hr.tencent.com/" #由于有翻页操作所以我们设置翻页前缀,等一下获取后缀
count = 0
names = [] #这五个列表记录我们获取的信息
genres = []
numbers = []
places = []
times = []
filename = "data.txt" #保存的文件名
if os.path.exists(filename) == True: #判断这个文件是否已经存在文件夹中,有就移除掉。
os.remove(filename)
def parse(self,response):
self.count += 1 #设置我们需要爬去多少页,不设置的话会有几百页需要爬取
name = response.xpath('//table//td[@class="l square"]//a//text()').extract()
#通过xpath方法获取我们需要的内容,再使用extract()抽取器获取到
for i in name: #利用循环将每一次的内容存入我们上面设置的列表中去,方便后面存入csv文件(下面4个类似)
self.names.append(i)
genre = response.xpath('//table//tr[not(@class="h")]//td[2][not(@align="center")]//text()').extract()
for i in genre:
self.genres.append(i)
number = response.xpath('//table//tr[not(@class="h")]//td[3][not(@align="center")]//text()').extract()
for i in number:
self.numbers.append(i)
place = response.xpath('//table//tr[not(@class="h")]//td[4][not(@align="center")]//text()').extract()
for i in place:
self.places.append(i)
time = response.xpath('//table//tr[not(@class="h")]//td[5][not(@align="center")]//text()').extract()
for i in time:
self.times.append(i)
new_url = response.xpath('//*[@id="next"]//@href').extract()
#前面我们说过需要翻页操作,所以这里是获取到翻页的后缀
new_url = self.url+new_url[0] #再与前缀结合,获取到一个完整的下一页链接
sleep(0.5) #我们设置一个翻页的时间,太快了不好。。。。(我是这样想的)
#下面就是信息存入items容器
for i in range(len(self.genres)): #for循环列表的长度,获取到所有信息
info = GetItem() #实例一个类info用来保存数据
info["name"] = self.names[i] #将每一个属性列表中的每一个数据保存依次保存到info中去
info["genre"] = self.genres[i]
info["number"] = self.numbers[i]
info["place"] = self.places[i]
info["time"] = self.times[i]
yield info #这个yield注意了,嗯,这就很舒服了
#我们将每一次保存的数据返回,但是返回了我们还需要程序继续执行,所以使用yield函数返回后继续执行
if self.count<=20:
yield Request(url=new_url,callback=self.parse)
#如果满足20页以内,我们callback返回下一页的链接继续到parse这个默认函数,
以上是spider中的代码。
其实实现这个代码不难,唯一有一点小疑惑的地方可能就是第一个yield的使用,一开始我是使用调用一个新的函数,然后在里面实现值的返回,但是麻烦还有一点小问题,所以这里我们就是用这种简单的方式就行了,yield将每次循环的数据返回,返回后再继续执行循环。
来源:http://blog.csdn.net/qq_36523839/article/details/72730626#comments
标签:python,爬虫,scrapy
0
投稿
猜你喜欢
python中shell执行知识点
2022-11-30 08:41:15
Python 变量类型及命名规则介绍
2022-09-17 20:21:22
通过代码实例了解Python3编程技巧
2023-07-13 17:48:46
简单了解python调用其他脚本方法实例
2022-12-07 08:53:36
PHP日期和时间函数的使用示例详解
2023-06-28 07:28:25
Python实现批量压缩文件/文件夹zipfile的使用
2021-03-08 07:08:21
python读取word 中指定位置的表格及表格数据
2021-04-10 02:42:21
Python脚本实现代码行数统计代码分享
2023-02-26 00:24:13
python中安装Scrapy模块依赖包汇总
2023-11-08 07:06:25
Python Opencv中获取卷积核的实现代码
2021-04-07 07:11:50
python中安装django模块的方法
2023-08-27 13:30:21
如何根据用户银行帐户余额的多少进行显式的提交或终止?
2009-11-22 19:28:00
python神经网络Inception ResnetV2模型复现详解
2023-02-28 08:51:35
php实现二叉树中和为某一值的路径方法
2023-07-04 20:29:08
ASP 快速执行网页
2020-07-07 11:14:17
ASP连接MSSQL的错误: 拒绝访问
2008-11-23 20:40:00
django+js+ajax实现刷新页面的方法
2021-04-19 05:22:20
Python创建简单的神经网络实例讲解
2021-12-02 05:38:41
python 打印对象的所有属性值的方法
2023-11-05 04:06:00
python 调用win32pai 操作cmd的方法
2023-11-15 12:32:09