Django结合使用Scrapy爬取数据入库的方法示例
作者:shiguanggege 时间:2022-10-23 01:08:11
在django项目根目录位置创建scrapy项目,django_12是django项目,ABCkg是scrapy爬虫项目,app1是django的子应用
2.在Scrapy的settings.py中加入以下代码
import os
import sys
sys.path.append(os.path.dirname(os.path.abspath('.')))
os.environ['DJANGO_SETTINGS_MODULE'] = 'django_12.settings' # 项目名.settings
import django
django.setup()
3.编写爬虫,下面代码以ABCkg为例,abckg.py
# -*- coding: utf-8 -*-
import scrapy
from ABCkg.items import AbckgItem
class AbckgSpider(scrapy.Spider):
name = 'abckg' #爬虫名称
allowed_domains = ['www.abckg.com'] # 允许爬取的范围
start_urls = ['http://www.abckg.com/'] # 第一次请求的地址
def parse(self, response):
print('返回内容:{}'.format(response))
"""
解析函数
:param response: 响应内容
:return:
"""
listtile = response.xpath('//*[@id="container"]/div/div/h2/a/text()').extract()
listurl = response.xpath('//*[@id="container"]/div/div/h2/a/@href').extract()
for index in range(len(listtile)):
item = AbckgItem()
item['title'] = listtile[index]
item['url'] = listurl[index]
yield scrapy.Request(url=listurl[index],callback=self.parse_content,method='GET',dont_filter=True,meta={'item':item})
# 获取下一页
nextpage = response.xpath('//*[@id="container"]/div[1]/div[10]/a[last()]/@href').extract_first()
print('即将请求:{}'.format(nextpage))
yield scrapy.Request(url=nextpage,callback=self.parse,method='GET',dont_filter=True)
# 获取详情页
def parse_content(self,response):
item = response.meta['item']
item['content'] = response.xpath('//*[@id="post-1192"]/dd/p').extract()
print('内容为:{}'.format(item))
yield item
4.scrapy中item.py 中引入django模型类
pip install scrapy-djangoitem
from app1 import models
from scrapy_djangoitem import DjangoItem
class AbckgItem(DjangoItem):
# define the fields for your item here like:
# name = scrapy.Field() # 普通scrapy爬虫写法
# title = scrapy.Field()
# url = scrapy.Field()
# content = scrapy.Field()
django_model = models.ABCkg # 注入django项目的固定写法,必须起名为django_model =django中models.ABCkg表
5.pipelines.py中调用save()
import json
from pymongo import MongoClient
# 用于接收parse函数发过来的item
class AbckgPipeline(object):
# i = 0
def open_spider(self,spider):
# print('打开文件')
if spider.name == 'abckg':
self.f = open('abckg.json',mode='w')
def process_item(self, item, spider):
# # print('ABC管道接收:{}'.format(item))
# if spider.name == 'abckg':
# self.f.write(json.dumps(dict(item),ensure_ascii=False))
# # elif spider.name == 'cctv':
# # img = requests.get(item['img'])
# # if img != '':
# # with open('图片\%d.png'%self.i,mode='wb')as f:
# # f.write(img.content)
# # self.i += 1
item.save()
return item # 将item传给下一个管道执行
def close_spider(self,spider):
# print('关闭文件')
self.f.close()
6.在django中models.py中一个模型类,字段对应爬取到的数据,选择适当的类型与长度
class ABCkg(models.Model):
title = models.CharField(max_length=30,verbose_name='标题')
url = models.CharField(max_length=100,verbose_name='网址')
content = models.CharField(max_length=200,verbose_name='内容')
class Meta:
verbose_name_plural = '爬虫ABCkg'
def __str__(self):
return self.title
7.通过命令启动爬虫:scrapy crawl 爬虫名称
8.django进入admin后台即可看到爬取到的数据。
来源:https://blog.csdn.net/shiguanggege/article/details/114279146
标签:Django,Scrapy,爬取
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
Python实现查找数据库最接近的数据
2024-01-21 08:27:53
![](https://img.aspxhome.com/file/2023/9/114999_0s.png)
python 读取文本文件的行数据,文件.splitlines()的方法
2021-07-18 16:58:05
Python3 循环语句(for、while、break、range等)
2022-11-26 14:36:40
![](https://img.aspxhome.com/file/2023/5/128315_0s.png)
HTML5 Canvas 起步(2) - 路径
2009-05-12 12:06:00
![](https://img.aspxhome.com/file/UploadPic/20095/12/2-use-beginpath-60s.jpg)
python 实现dcmtk关联pacs功能推送下拉影像(推荐)
2021-10-15 15:58:43
Python selenium根据class定位页面元素的方法
2021-04-03 08:17:39
![](https://img.aspxhome.com/file/2023/2/127742_0s.png)
Python实现冒泡排序算法的完整实例
2021-03-04 10:47:33
寻找Dreamweaver鲜为人知的小秘诀
2008-04-28 12:10:00
人性化网页设计技巧
2007-10-15 13:02:00
Go语言并发模型的2种编程方案
2024-04-23 09:34:24
详解JavaScript匿名函数和闭包
2024-04-19 10:07:12
Python编程中字符串和列表的基本知识讲解
2022-02-19 16:39:25
Python安装xarray库读取.nc文件的详细步骤
2023-10-15 11:59:37
![](https://img.aspxhome.com/file/2023/4/133324_0s.png)
使用OpenCV实现人脸图像卡通化的示例代码
2023-01-03 13:38:49
![](https://img.aspxhome.com/file/2023/7/82527_0s.jpg)
段正淳的css笔记(6)-浅谈css框架开发
2008-01-13 22:42:00
![](https://img.aspxhome.com/file/UploadPic/20081/13/2008113224547397s.gif)
SQL学习笔记四 聚合函数、排序方法
2011-09-30 11:33:29
Django框架实现分页显示内容的方法详解
2023-05-31 17:06:38
python 获取谷歌浏览器保存的密码
2022-05-21 21:39:49
Python3网络爬虫之使用User Agent和代理IP隐藏身份
2022-03-05 13:13:07
![](https://img.aspxhome.com/file/2023/5/79625_0s.png)
浅谈PHP错误类型及屏蔽方法
2023-11-23 10:26:46