Python中使用socket发送HTTP请求数据接收不完整问题解决方法

作者:junjie 时间:2021-06-29 11:43:50 

由于工作的需求,需要用python做一个类似网络爬虫的采集器。虽然Python的urllib模块提供更加方便简洁操作,但是涉及到一些底层的需求,如手动设定User-Agent,Referer等,所以选择了直接用socket进行设计。当然,这样的话,需要对HTTP协议比较熟悉,HTTP协议这里就不做讲解了。整个python的代码如下:


#!/usr/bin env python
import socket
host="www.baidu.com"
se=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
se.connect((host,80))
se.send("GET / HTTP/1.1\n")
se.send("Accept:text/html,application/xhtml+xml,*/*;q=0.8\n")
#se.send("Accept-Encoding:gzip,deflate,sdch\n")
se.send("Accept-Language:zh-CN,zh;q=0.8,en;q=0.6\n")
se.send("Cache-Control:max-age=0\n")
se.send("Connection:keep-alive\n")
se.send("Host:"+host+"\r\n")
se.send("Referer:http://www.baidu.com/\n")
se.send("user-agent: Googlebot\n\n")
print se.recv(1024)

代码运行正常,但是发现一个比较重要的问题,运行结果只返回了HTTP的头部信息,网页的内容则没有被返回。网上查找了很多资料,一无所获,经过一夜的思考,突然想到了一个问题,有可能我请求的资源非常大,一个网络的IP包的大小,它是受很多因素制约的,最典型的便是MTU(最大传输单元),那么会不会我请求的数据被分割了,HTTP的头部信息只是一部分,其它数据还在传输或者缓冲区呢?于是做了这样一个遍历:


while True:
 buf = se.recv(1024)
 if not len(buf):
   break
 print buf

这样发现所有请求的数据均被返回了,看来要想做好网络编程,深入理解TCP/IP协议是非常必要的。

标签:Python,socket,HTTP,数据
0
投稿

猜你喜欢

  • numpy数组坐标轴问题解决

    2022-10-23 02:48:12
  • 全新感受Oracle 9i

    2010-07-16 13:32:00
  • HTML中事件触发列表与解说

    2007-10-22 12:50:00
  • 如何在vue中使用ant-design-vue组件

    2024-05-02 16:32:47
  • windows下MySQL5.6版本安装及配置过程附有截图和详细说明

    2024-01-13 18:58:56
  • python3 numpy中数组相乘np.dot(a,b)运算的规则说明

    2022-05-08 16:23:29
  • 5款Python程序员高频使用开发工具推荐

    2022-01-25 14:09:16
  • CentOS 7中升级MySQL 5.7.23的坑与解决方法

    2024-01-16 21:54:53
  • mysql分页的limit参数简单示例

    2024-01-19 05:58:31
  • Python word实现读取及导出代码解析

    2021-05-11 07:56:47
  • 5款非常棒的Python工具

    2023-03-22 15:58:03
  • mysql -参数thread_cache_size优化方法 小结

    2024-01-13 14:33:33
  • 用C++封装MySQL的API的教程

    2024-01-25 07:51:51
  • python实现三阶魔方还原的示例代码

    2021-03-12 08:45:04
  • pycharm创建scrapy项目教程及遇到的坑解析

    2022-05-02 12:55:38
  • Python3打包exe代码2种方法实例解析

    2022-03-31 14:36:30
  • python写日志封装类实例

    2022-07-23 22:40:47
  • adodb.stream对象的方法/属性

    2008-06-07 08:14:00
  • 如何在scrapy中捕获并处理各种异常

    2023-04-10 06:56:23
  • Windows下python3安装tkinter的问题及解决方法

    2023-03-30 11:45:31
  • asp之家 网络编程 m.aspxhome.com