Python3如何对urllib和urllib2进行重构
作者:Rogn 时间:2022-05-18 08:48:52
这篇文章主要介绍了Python3如何对urllib和urllib2进行重构,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python3对urllib和urllib2进行了重构,拆分成了urllib.request,urllib.response, urllib.parse, urllib.error等几个子模块,这样的架构从逻辑和结构上说更加合理。urllib库无需安装,python3自带。python 3.x中将urllib库和urilib2库合并成了urllib库。 其中
urllib2.urlopen() 变成了 urllib.request.urlopen()
urllib2.Request() 变成了 urllib.request.Request()
python2中的 cookielib 改为 http.cookiejar.
import http.cookiejar 代替 import cookielib
urljoin 现在对应的函数是 urllib.parse.urljoin
代码如下
import urllib.request
import http.cookiejar
url ="http://www.baidu.com"
print ('第一种方法')
response1=urllib.request.urlopen(url)
print (response1.getcode())
print (len(response1.read()))
print ('第二种方法')
request=urllib.request.Request(url)
request.add_header("user-agent","Mozilla/5.0")#将爬虫伪装成浏览器
response2=urllib.request.urlopen(request)
print (response2.getcode())#打印状态码
print (len(response2.read()))#打印内容长度
print ('第三种方法')
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)
response3=urllib.request.urlopen(url)
print (response1.getcode())
print (cj) #输出cookie
print (response1.read())
来源:https://www.cnblogs.com/lfri/p/11919593.html
标签:python,3,urllib,重构
0
投稿
猜你喜欢
CSS样式和JavaScript脚本是否放置于外部文件的探讨
2008-08-08 12:39:00
深入研究PHP中的preg_replace和代码执行
2023-11-22 07:36:55
最简洁的多重查询的解决方案
2008-03-02 15:51:00
Mootools 1.2教程(10)——Fx.Tween的使用
2008-12-02 18:03:00
用python下载百度文库的代码
2023-07-31 00:40:44
MySQL在命名用过程中所遇到的常见问题
2008-12-05 16:03:00
如何将多宿主计算机配置为允许SQL Server访问
2011-01-04 14:04:00
ORACLE常用数值函数、转换函数、字符串函数
2023-07-21 02:03:40
Python中的函数参数传递问题
2023-09-28 05:38:12
Web设计师的出路问题
2009-06-08 13:07:00
修炼设计能力的土办法
2008-07-16 10:34:00
Mysql入门系列:MySQL数据目录的位置
2008-11-24 12:59:00
python中dict字典的查询键值对 遍历 排序 创建 访问 更新 删除基础操作方法
2023-10-06 12:13:03
ASP JSON类源码
2011-04-30 16:38:00
高性能表现的网站(译)
2008-08-31 20:26:00
Go Gin实现文件上传下载的示例代码
2023-06-21 15:11:13
人性化网页设计技巧
2007-10-15 13:02:00
5个充满想象力的Web调色板
2008-08-02 12:55:00
MySQL5创建存储过程实例
2010-06-13 12:49:00
PHP CURL CURLOPT参数说明(curl_setopt)
2023-11-14 19:06:44