详解python3 + Scrapy爬虫学习之创建项目
作者:s_kangkang_A 时间:2022-07-22 18:02:05
最近准备做一个关于scrapy框架的实战,爬取腾讯社招信息并存储,这篇博客记录一下创建项目的步骤
pycharm是无法创建一个scrapy项目的
因此,我们需要用命令行的方法新建一个scrapy项目
请确保已经安装了scrapy,twisted,pypiwin32
一:进入你所需要的路径,这个路径存储你创建的项目
我的将放在E盘的Scrapy目录下
二:创建项目:scrapy startproject ***(这个是项目名)
这样就创建好了一个名为tencent的项目
三:进入项目新建一个爬虫:scrapy genspider tencent_spider hr.tencent.com
这里我们要注意,上面的命令,加黑的是爬虫名称,斜体是域名
这样,我们就新建了一个爬虫项目,打开文件夹查看
打开spiders
然后我们用pycharm打开
点击File —>open,找到项目所在文件夹,打开即可
这样,我们就新建了一个scrapy项目,如果安装了所需要的库,scrapy飘红,记得去切换解释器
在File—>settings的标红的地方
另外推荐大家,在根目录下新建一个start.py的文件并写入
from scrapy import cmdline
cmdline.execute("scrapy crawl tencent_spider".split())
这样,我们每次运行,运行start.py,即可,不用到命令行执行运行命令
鼠标右键tencent,新建python文件,即可创建。
以上所述是小编给大家介绍的python3 Scrapy爬虫创建项目详解整合网站的支持!
来源:https://blog.csdn.net/s_kangkang_A/article/details/89158648
标签:python,Scrapy,创建项目
0
投稿
猜你喜欢
Python 图像处理: 生成二维高斯分布蒙版的实例
2023-01-31 16:29:06
Python实现多张图片合成一张马赛克图片
2022-02-15 21:09:46
Python全面解读高级特性切片
2021-06-05 14:23:13
详解python第三方库的安装、PyInstaller库、random库
2023-03-13 06:57:46
Python函数式编程指南(二):从函数开始
2023-05-08 12:46:02
Python简单实现TCP包发送十六进制数据的方法
2021-04-26 06:00:04
css分页放大镜效果
2008-11-02 15:35:00
Pytorch统计参数网络参数数量方式
2021-03-13 03:09:04
Python数据分析Pandas Dataframe排序操作
2022-06-28 07:44:11
python 编码规范整理
2023-05-20 10:14:44
使用Python+wxpy 找出微信里把你删除的好友实例
2023-05-09 05:12:28
使用ASP调用C#写的COM组件
2010-04-03 20:45:00
怎样缩小SQL Server数据库的日志文件
2009-01-15 13:08:00
Python中range函数的基本用法完全解读
2021-02-28 05:33:45
设置jupyter中DataFrame的显示限制方式
2022-09-17 17:28:57
python使用scapy模块实现ARP扫描的过程
2023-07-16 11:55:26
jsp中文显示问号问题解决方法
2023-07-22 10:33:50
Python基础之logging模块知识总结
2021-12-20 04:20:07
讲解Python中运算符使用时的优先级
2022-12-28 14:40:17
搜索系统与导航系统的关系
2009-09-08 12:44:00