Python实现的爬取百度贴吧图片功能完整示例

作者:xuezhangjun 时间:2021-06-30 19:22:13 

本文实例讲述了Python实现的爬取百度贴吧图片功能。分享给大家供大家参考,具体如下:


#coding:utf-8
import requests
import urllib2
import urllib
```
from lxml import etree
class Tieba:
 def __init__(self):
   self.tiebaName = raw_input("请输入需要爬取的贴吧:")
   self.beginPage = int(raw_input("请输入爬取的起始页:"))
   self.endPage = int(raw_input("请输入爬取的结束页:"))
   self.baseURL = "http://tieba.baidu.com"
   #self.headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"}
   self.headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"} def startWork(self):
   """
     发送贴吧每一页的url请求
   """
   for page in range(self.beginPage, self.endPage + 1):
     pn = (page - 1) * 50
     keyword = {"kw" : self.tiebaName, "pn" : pn}
     kw = urllib.urlencode(keyword)
     url = self.baseURL + "/f?" + kw
     #print url
     html = self.loadRequest(url)
     self.loadPage(html)
 def loadRequest(self, url):
   """
     发送请求,返回响应
     url: 发送请求的url地址
   """
   request = urllib2.Request(url, headers = self.headers)
   #request = urllib2.Request(url)
   response = urllib2.urlopen(request)
   return response.read()
 def loadPage(self, html):
   """
     提取每个帖子的url,并发送请求,获取响应
     html: 贴吧每一页的html
   """
   content = etree.HTML(html)
   print '------'
   print content
   # xpath 返回的所有匹配成功后的结果的列表
   #pagelink_list = content.xpath("//div[@class='threadlist_lz clearfix']/div/a[@class='j_th_tit']/@href")
   pagelink_list = content.xpath("//div[@class='col2_right j_threadlist_li_right']//div/a/@href")
   pagelink_list = content.xpath("//div[@class='t_con cleafix']//div/a/@href")
   for link in pagelink_list:
     print link
     self.loadImage(self.loadRequest(self.baseURL + link))
 def loadImage(self, html):
   """
     提取帖子里用户发送的图片的url地址
     html: 每个帖子的html
   """
   content = etree.HTML(html)
   imagelink_list = content.xpath("//div[@class='p_content ']//img[@class='BDE_Image']/@src")
   for link in imagelink_list:
     self.writeImage(self.loadRequest(link), link[-10:])
 def writeImage(self, data, filename):
   """
     将图片的响应数据,写入到本地磁盘里
     data: 图片的响应数据
     filename: 文件名(图片url的后10位)
   """
   print "正在保存图片...%s" % filename
   with open(filename, "wb") as f:
     f.write(data)
if __name__ == "__main__":
 tieba = Tieba()
 tieba.startWork()

希望本文所述对大家Python程序设计有所帮助。

来源:https://blog.csdn.net/xuezhangjun0121/article/details/73719059

标签:Python,爬取,百度贴吧,图片
0
投稿

猜你喜欢

  • Mysql中where与on的区别及何时使用详析

    2024-01-21 03:31:19
  • 浅谈webpack打包过程中因为图片的路径导致的问题

    2024-04-28 09:42:38
  • Python高级编程之继承问题详解(super与mro)

    2023-08-08 18:58:47
  • SpringBoot使用flyway初始化数据库

    2024-01-28 13:43:38
  • 利用Python语言的grpc实现消息传送详解

    2023-09-12 14:00:07
  • 用Python写冒泡排序代码

    2022-09-14 23:55:11
  • VSCode 云同步扩展设置Settings Sync插件

    2022-08-30 03:20:54
  • Python 监测文件是否更新的方法

    2022-05-11 02:37:20
  • Python借助with语句实现代码段只执行有限次

    2022-08-07 15:52:29
  • JavaScript 防盗链的原理以及破解方法

    2024-04-18 10:11:03
  • 详解mysql数据库增删改操作

    2024-01-15 02:23:05
  • Go语言开发redis封装及简单使用详解

    2024-05-08 10:53:30
  • SQL语句更改表所有者

    2010-02-04 09:12:00
  • MySQL语句中的主键和外键使用说明

    2024-01-28 12:49:33
  • Python获取秒级时间戳与毫秒级时间戳的示例代码

    2022-05-05 22:13:00
  • python由已知数组快速生成新数组的方法

    2022-11-01 09:08:36
  • python在windows和linux下获得本机本地ip地址方法小结

    2023-12-18 16:52:03
  • kafka rabbitMQ及rocketMQ队列的消息可靠性保证分析

    2022-05-06 08:10:23
  • pandas中df.groupby()方法深入讲解

    2024-01-01 15:30:24
  • python创建堆的方法实例讲解

    2022-11-20 05:20:49
  • asp之家 网络编程 m.aspxhome.com