python爬虫中get和post方法介绍以及cookie作用
作者:fengzhizi76506 时间:2021-06-20 06:49:00
首先确定你要爬取的目标网站的表单提交方式,可以通过开发者工具看到。这里推荐使用chrome。
这里我用163邮箱为例
打开工具后再Network中,在Name选中想要了解的网站,右侧headers里的request method就是提交方式。status如果是200表示成功访问下面的有头信息,cookie是你登录之后产生的存储会话(session)信息的。第一次访问该网页需要提供用户名和密码,之后只需要在headers里提供cookie就可以登陆进去。
引入requests库,会提供get和post的方法。
代码示例:
import requests
import ssl
user_agent="Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0"
accept='text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
accept_language='zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3'
upgrade='1'
headers={
'User-Agent':user_agent,
'Accept':accept,
'Accept-Language':accept_language,
'Cookie':'....'#这里填入你登陆后产生的cookie
}
r = requests.get("http://mail.163.com/js6/main.jsp?sid=OAwUtGgglzEJoANLHPggrsKKAhsyheAT&df=mail163_letter#module=welcome.WelcomeModule%7C%7B%7D",headers=headers,verify=False)
fp = open("/temp/csdn.txt","w",encoding='utf-8')
fp.write(str(r.content,'utf-8'))
fp.close()
这里我引入了ssl库,因为我第一次访问的网页证书过期。如果我们使用爬虫进入这样的网站时,会报错:SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)
在requests的get和post方法中,有一个参数为verify,把他设为False后会禁掉证书的要求
来源:http://blog.csdn.net/fengzhizi76506/article/details/60783488
标签:python爬虫,get,post,cookie
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
python 弹窗提示警告框MessageBox的实例
2023-11-12 01:07:17
使用pyshp包进行shapefile文件修改的例子
2023-07-01 08:28:35
Python的Socket编程过程中实现UDP端口复用的实例分享
2022-07-03 21:59:56
python实现库存商品管理系统
2023-06-01 06:37:29
![](https://img.aspxhome.com/file/2023/7/80597_0s.jpg)
Python开发毕设案例之桌面学生信息管理程序
2021-03-02 14:56:08
![](https://img.aspxhome.com/file/2023/2/76752_0s.png)
ThinkPHP php 框架学习笔记
2023-09-10 08:20:32
Python figure参数及subplot子图绘制代码
2023-09-14 17:13:00
![](https://img.aspxhome.com/file/2023/4/67814_0s.png)
python线程信号量semaphore使用解析
2023-02-08 08:47:24
在Python中使用SimpleParse模块进行解析的教程
2021-04-11 12:17:53
JavaScript解释型模版
2009-10-19 23:12:00
Go语言区别于其他语言的特性
2023-06-26 02:52:10
Python判断以什么结尾以什么开头的实例
2021-07-31 06:42:58
使用python处理一万份word表格简历操作
2021-09-15 17:36:36
![](https://img.aspxhome.com/file/2023/0/72210_0s.jpg)
请站在用户的角度上说话
2009-05-12 12:03:00
Hibernate Oracle sequence的使用技巧
2023-07-06 05:18:42
python 梯度法求解函数极值的实例
2023-08-11 07:33:05
js简单实现Select互换数据的方法
2023-07-20 00:50:46
![](https://img.aspxhome.com/file/2023/5/55965_0s.jpg)
精巧支付宝导航条制作教程
2010-03-20 21:25:00
浅谈视觉设计的准确性
2007-09-18 17:59:00
![](https://img.aspxhome.com/file/uploadpic/20079/18/20079181814327.gif)
sql server数据库最大Id冲突问题解决方法之一
2012-01-05 19:28:42