requests.gPython 用requests.get获取网页内容为空 ’ ’问题
作者:你隔壁的小王 时间:2021-12-06 08:52:31
下面先来看一个例子:
import requests
result=requests.get("http://data.10jqka.com.cn/financial/yjyg/")
result
输出结果:
继续运行,发现返回空值,在请求网页爬取的时候,输出的text信息中会出现抱歉,无法访问等字眼,这就是禁止爬取,需要通过反爬机制去解决这个问题。headers
是解决requests
请求反爬的方法之一,相当于我们进去这个网页的服务器本身,假装自己本身在爬取数据。对反爬虫网页,可以设置一些headers
信息,模拟成浏览器取访问网站 。
一、如何设置headers
拿两个常用的浏览器举例:
1、QQ浏览器
界面 F12
点击network 键入 CTRL+R
单击第一个 最下边就是我门需要的 把他设置成headers
解决问题
2、Miscrosft edge
二、微软自带浏览器
同样 F12 打开开发者工具
点击网络,CTRL+R
前文代码修改:
import requests
ur="http://data.10jqka.com.cn/financial/yjyg/"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3880.400 QQBrowser/10.8.4554.400 '}
result = requests.get(ur, headers=headers)
result.text
成功解决不能爬取问题
来源:https://blog.csdn.net/weixin_43212535/article/details/122290890
标签:requests.gPython,requests.get,获取,网页
0
投稿
猜你喜欢
详解Python并发编程之创建多线程的几种方法
2023-03-31 19:34:37
解决pip安装的第三方包在PyCharm无法导入的问题
2022-10-18 11:20:27
python打包成so文件过程解析
2022-03-19 18:08:46
Python+drawpad实现CPU监控小程序
2022-05-30 19:54:38
python爬虫 urllib模块发起post请求过程解析
2022-02-07 22:52:53
Python计算点到直线距离、直线间交点夹角
2022-09-05 10:27:04
window.location.hash的应用及浏览器的支持测试
2009-07-07 11:52:00
Python 连连看连接算法
2023-10-28 09:12:35
对Python3中bytes和HexStr之间的转换详解
2022-12-10 22:15:36
Python用SSH连接到网络设备
2022-01-20 08:57:41
asp经典入门教程 在ASP中使用SQL 语句
2013-06-01 20:23:21
如何让Firefox2和Firefox3在Windows下共存并同时运行?
2008-06-01 15:50:00
Go中strings的常用方法详解
2023-06-27 01:58:32
对Python Pexpect 模块的使用说明详解
2022-10-24 02:14:09
深入理解Python虚拟机中元组(tuple)的实现原理及源码
2022-07-12 14:14:21
ASP程序实现过滤脏话代码
2008-03-19 12:07:00
asp精妙的SQL语句例子
2008-03-04 17:42:00
向外扩展SQL Server 实现更高扩展性
2008-12-18 14:45:00
PHP实现生成Excel文件并导出的示例详解
2023-05-28 13:11:18
Python通过命令提示符安装matplotlib
2022-12-05 01:16:53