Python3环境安装Scrapy爬虫框架过程及常见错误
作者:looyee 时间:2021-10-19 00:01:05
Windows
•安装lxml
最好的安装方式是通过wheel文件来安装,http://www.lfd.uci.edu/~gohlke/pythonlibs/,从该网站找到lxml的相关文件。假如是Python3.5版本,WIndows 64位系统,那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl
这个文件并下载,然后通过pip安装。
下载之后,运行如下命令安装:
pip3 install wheel
pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl
即可完成lxml的安装,其他文件替换文件名即可。
•安装zope.interface
到官方网站https://pypi.python.org/pypi/zope.interface#downloads下载对应版本的wheel文件,然后pip安装。比如Python 3.5版本,Windows 64位系统,就下载zope.interface-4.3.3-cp35-cp35m-win_amd64.whl
。
然后安装wheel文件即可,命令如下:
pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl
其他版本替换文件名即可。
•安装pyOpenSSL
官方网站下载wheel文件,https://pypi.python.org/pypi/pyOpenSSL#downloads,如当前最新版本名称是pyOpenSSL-16.2.0-py2.py3-none-any.whl
,下载后安装即可。
pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl
•安装Twisted
同理,http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载wheel文件,利用pip安装即可。
如Python 3.5版本,Windows 64位系统,下载
Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
,然后pip安装。
pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
•安装pywin32
从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包安装即可。
•安装Scrapy
最后安装Scrapy即可,依然使用pip,命令如下:
pip3 install Scrapy
ps:下面看下Python 3.6 安装scrapy报错 Python.h: 没有那个文件或目录
安装scrapy的时候报错,其实这个错误是一个间接,由其依赖引起。
如果你是Python2.X
sudo apt-get install python-dev
如果是python3.6 以下的
sudo apt-get install python3-dev
如果是Python3.6的
sudo apt-get install python3.6-dev
最后一个好变态,我一直在更新自己的Python3-dev 一直报错,最后猜一下竟然真的有Python3.6-dev...心累.
总结
以上所述是小编给大家介绍的Python3环境安装Scrapy爬虫框架过程及常见错误,网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
来源:https://www.cnblogs.com/looyee/articles/8442744.html
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
Python中的支持向量机SVM的使用(附实例代码)
![](https://img.aspxhome.com/file/2023/6/75946_0s.png)
python基础教程之csv文件的写入与读取
![](https://img.aspxhome.com/file/2023/4/65524_0s.jpg)
如何利用python的tkinter实现一个简单的计算器
![](https://img.aspxhome.com/file/2023/6/82636_0s.png)
中国目前流行的网页设计风格
![](https://img.aspxhome.com/file/UploadPic/200712/20/200712201301861s.jpg)
Python调用实现最小二乘法的方法详解
![](https://img.aspxhome.com/file/2023/7/66377_0s.png)
PHP curl get post 请求的封装函数示例【get、post、put、delete等请求类型】
PHP中quotemeta()函数的用法讲解
![](https://img.aspxhome.com/file/2023/7/55377_0s.png)
php桥接模式的实例用法及代码分析
一篇文章带你学习Python3的高阶函数
浅谈pytorch 模型 .pt, .pth, .pkl的区别及模型保存方式
MySql数据库基本命令集会
细化解析:SQL Server 2000 的各种版本
Access保留字和变量名列表
正则表达式语法速查
利用types增强vscode中js代码提示功能详解
![](https://img.aspxhome.com/file/2023/1/55981_0s.png)
优化 MySQL 语句的十个建议
python 详解如何使用GPU大幅提高效率
![](https://img.aspxhome.com/file/2023/0/62550_0s.png)
Golang精编49面试题汇总(选择题)
PHP程序员玩转Linux系列 nginx初学者引导
Python安装图文教程 Pycharm安装教程
![](https://img.aspxhome.com/file/2023/4/90434_0s.jpg)