python3.7简单的爬虫实例详解
作者:pascal1000 时间:2023-06-30 15:55:13
python3.7简单的爬虫,具体代码如下所示:
#https://www.runoob.com/w3cnote/python-spider-intro.html
#Python 爬虫介绍
import urllib.parse
import urllib.request
from http import cookiejar
url = "http://www.baidu.com"
response1 = urllib.request.urlopen(url)
print("第一种方法")
#获取状态码,200表示成功
print(response1.getcode())
#获取网页内容的长度
print(str(response1.read()))
print(len(response1.read()))
print("第二种方法")
request = urllib.request.Request(url)
#模拟Mozilla浏览器进行爬虫
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print(len(response2.read()))
print("第三种方法")
cookie = cookiejar.CookieJar()
#加入urllib2处理cookie的能力#
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(len(response3.read()))
print(cookie)
code: https://github.com/pascal19821003/python
path: python/study/tutorial/pachong/1.py
总结
以上所述是小编给大家介绍的python3.7简单的爬虫实例详解,网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
来源:https://www.cnblogs.com/pascal1000/p/10849621.html
标签:python,3.7,爬虫
0
投稿
猜你喜欢
bootstrap table列和表头对不齐的解决方法
2023-08-24 16:30:08
对网站内嵌gradio应用的输入输出做审核实现详解
2023-07-22 08:22:05
使用Python和Prometheus跟踪天气的使用方法
2021-05-15 14:31:05
python request post 列表的方法详解
2023-10-04 11:46:19
在ASP中改善动态分页的性能
2008-05-08 14:27:00
Mootools 1.2教程(9)——输入过滤第二部分(字符串)
2008-12-01 12:25:00
CSS样式表:详细介绍IE7新支持的选择器
2007-10-09 18:24:00
python实现WebSocket服务端过程解析
2022-09-14 10:45:19
python的numpy模块安装不成功简单解决方法总结
2022-10-23 18:33:15
详解php处理大并发大流量大存储
2023-07-21 13:11:02
剑走偏锋:体验ebay的AIR
2008-11-13 11:51:00
JS出现失效的情况总结
2023-08-24 00:44:42
渗透和改变 非洲web 2.0网站Logo
2008-01-22 13:31:00
python中get和post有什么区别
2022-04-17 16:45:15
超强多功能php绿色集成环境详解
2023-07-15 01:07:22
全兼容的纯CSS级联菜单要点浅析
2009-06-10 14:42:00
理解JavaScript中的事件 Event
2008-03-19 11:16:00
DW自带的行为制作弹出菜单
2008-05-16 11:38:00
Python图像运算之图像掩膜直方图和HS直方图详解
2023-03-01 03:01:45
Oracle 低权限数据库账户得到 OS 访问权限 提权利用
2009-06-19 17:27:00