golang爬虫colly 发送post请求

作者:liuyuncd 时间:2024-02-05 09:35:03 

继续还是工作中使用colly,不管是官网,还是网上的一些文章(其实90%就是把官网的案例抄过去),都是一样的格式,没有讲到post,测试了几次,记录一下post的使用

    c := colly.NewCollector()
    type data struct {
        Phone string `json:"phone" binding:"required"`
    }
    d:=&data{
        Phone:"18190897361",
    }
    da,err:=json.Marshal(d)

    if err!=nil{
        fmt.Println(err)
    }
    c.OnResponse(func(response *colly.Response) {
        fmt.Println(string(response.Body))
    })
    c.OnRequest(func(r *colly.Request) {
        fmt.Println(r)
        fmt.Println(r.Method)
        r.Headers.Set("Content-Type", "application/json;charset=UTF-8")
        r.Headers.Set("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36")
    })
    c.OnError(func(response *colly.Response, e error) {
        fmt.Println(e)
    })
    c.PostRaw("http://www.××××.com:×××/baseDevice/getUserInfo",da)
    //c.Visit("http://www.××××.com:×××/baseDevice/getUserInfo")

其实也没多少不一样,首先准备你要发送的json格式的数据(现在90%都是json格式请求了),

type data struct {
       Phone string `json:"phone" binding:"required"`
   }
   d:=&data{
       Phone:"18190897361",
   }
   da,err:=json.Marshal(d)

这里只发送一个电话号码,第二部就是最后的发送了

c.PostRaw("http://www.××××.com:×××/baseDevice/getUserInfo",da)

1:这句话一定要写到最后

c.Visit(“http://www.××××.com:×××/baseDevice/getUserInfo”)

Visit方法,点进去源码可以看到默认走的是get模式,我们这里发送post,就不需要写了
就这么简单—结束

来源:https://blog.csdn.net/liuyuncd/article/details/106900453

标签:golang,colly,post请求
0
投稿

猜你喜欢

  • django框架model orM使用字典作为参数,保存数据的方法分析

    2021-03-11 00:18:30
  • vue中使用iframe嵌入网页,页面可自适应问题

    2024-04-26 17:38:24
  • 数据分页显示按钮,自动获取url链接

    2009-06-22 12:59:00
  • 导致sql执行速度慢的几种情况盘点(生产环境踩过的坑)

    2024-01-17 17:07:21
  • SQL提取数据库表名及字段名等信息代码示例

    2024-01-26 23:18:54
  • 一文弄懂MySQL中redo log与binlog的区别

    2024-01-12 22:20:37
  • python3.5 + PyQt5 +Eric6 实现的一个计算器代码

    2021-02-27 17:00:28
  • 详解Linux终端 MySQL常用操作指令

    2024-01-28 04:50:38
  • MySQL 统计查询实现代码

    2024-01-25 06:41:14
  • PHP最常用的正则表达式

    2024-05-03 15:34:38
  • SQL Server 2000的视图中必须小心使用*符号

    2008-12-05 15:38:00
  • Python3中小括号()、中括号[]、花括号{}的区别详解

    2022-05-31 09:20:36
  • django项目环境搭建及在虚拟机本地创建django项目的教程

    2022-10-14 14:04:32
  • python 解决flask 图片在线浏览或者直接下载的问题

    2022-05-15 06:24:57
  • 使用beaker让Facebook的Bottle框架支持session功能

    2023-07-01 02:35:35
  • 如何动态在文档中加入<script></script>写入大段js?

    2010-07-02 13:17:00
  • python如何进入交互模式

    2023-08-10 19:57:12
  • python里glob模块知识点总结

    2022-10-06 18:13:18
  • SQL Server 安装出错:以前的某个程序安装已在安装计算机上创建挂起的文件操作

    2010-02-23 14:48:00
  • 关于python中逆序的三位数

    2021-08-09 05:17:28
  • asp之家 网络编程 m.aspxhome.com