教你如何利用python3爬虫爬取漫画岛-非人哉漫画

作者:空谷回音。 时间:2021-10-01 23:06:57 

最近学了一点点python爬虫的知识,面向百度编程爬了一本小说之后感觉有点不满足,于是突发奇想尝试爬一本漫画下来看看。

一、效果展示

首先是我们想要爬取的漫画网页:http://www.manhuadao.cn/

网页截图:

教你如何利用python3爬虫爬取漫画岛-非人哉漫画

其次是爬取下来的效果:

教你如何利用python3爬虫爬取漫画岛-非人哉漫画

每一回的文件夹里面是这样的: (因为网站图片的问题...所以就成了这个鬼样子)

教你如何利用python3爬虫爬取漫画岛-非人哉漫画

二、分析原理

1、准备:需要vscode或者其他能够编译运行python的软件,推荐python版本3.X ,否则有可能出现编译问题。

下载所需模块:win+R进入命令行,输入pipinstall <模块名>即可下载。例如:


pip install beautifulsoup4

2、原理: 模拟浏览器点击->打开漫画网页链接->获取网页源码->定位每一章漫画的链接->模拟点击->获取图片页面源码->定位图片链接->下载图片

三、实际操作(代码附在最后)

1、引入模块 (这里不再详述)

教你如何利用python3爬虫爬取漫画岛-非人哉漫画

2、模拟浏览器访问网页

教你如何利用python3爬虫爬取漫画岛-非人哉漫画

(1)、这里我们打开漫画的目录页,如下: url = ”http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628“ ,此链接就是目录页链接。

教你如何利用python3爬虫爬取漫画岛-非人哉漫画

(2)、按F12打开此网页的源码(谷歌浏览器),选中上方NetWork,Ctrl+R刷新。

教你如何利用python3爬虫爬取漫画岛-非人哉漫画

(3)、找到加载网页的源码文件,点击Headers,如下图: StatusCode表示网页返回的代码,值为200时表示访问成功。

教你如何利用python3爬虫爬取漫画岛-非人哉漫画

(4)、headers中的参数为下面红框User-Agent。


response = requests.get(url=url, headers=headers)  # 模拟访问网页
print(response)  # 此处应输出   <Response [200]>
print(response.text)   # 输出网页源码

两个输出分别输出:

教你如何利用python3爬虫爬取漫画岛-非人哉漫画 输出返回200表示访问成功。

教你如何利用python3爬虫爬取漫画岛-非人哉漫画(节选)

(5)、将html代码存入 data 中,xpath定位每一章链接。点击上方Element,点击:

教你如何利用python3爬虫爬取漫画岛-非人哉漫画

将鼠标移至目录处:

教你如何利用python3爬虫爬取漫画岛-非人哉漫画

右边代码区域出现每一章链接:

教你如何利用python3爬虫爬取漫画岛-非人哉漫画


data = etree.HTML(response.text)
# tp = data.xpath('//ul[@class="read-chapter"]/li/a[@class="active"]/@href')
tp = data.xpath('//*[@class="yesReader"]/@href')
zhang_list = tp   # tp为链接列表

输出zhang_list,结果如下:

教你如何利用python3爬虫爬取漫画岛-非人哉漫画

(6)、获取图片链接(获取方式同上一步)

点进第一章,同上一步,寻找到图片链接:

教你如何利用python3爬虫爬取漫画岛-非人哉漫画


i=1
for next_zhang in zhang_list:    # 在章节列表中循环
   i=i+1
   j=0
   hui_url = r_url+next_zhang
   name1 = "第"+str(i)+"回"
   file = 'C:/Users/wangyueke/Desktop/'+keyword+'/{}/'.format(name1)   # 创建文件夹
   if not os.path.exists(file):
       os.makedirs(file)
       print('创建文件夹:', file)
   response = requests.get(url=hui_url, headers=headers)    # 模拟访问每一章链接
   data = etree.HTML(response.text)
   # tp = data.xpath('//div[@class="no-pic"]//img/@src')
   tp = data.xpath('//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src')   # 定位
   ye_list = tp

(7)、下载图片


for k in ye_list:    # 在每一章的图片链接列表中循环
   download_url = tp[j]
   print(download_url)
   j=j+1
   file_name="第"+str(j)+"页"
   response = requests.get(url=download_url)    # 模拟访问图片链接
   with open(file+file_name+".jpg","wb") as f:
       f.write(response.content)

五、代码


'''
用于爬取非人哉漫画
目标网址:http://www.manhuadao.cn/
开始时间:2019/8/14 20:01:26
完成时间:2019/8/15 11:04:56
作者:kong_gu
'''
import requests
import json
import time
import os
from lxml import etree
from bs4 import BeautifulSoup

def main():
   keyword="非人哉"
   file = 'E:/{}'.format(keyword)
   if not os.path.exists(file):
       os.mkdir(file)
       print('创建文件夹:',file)
   r_url="http://www.manhuadao.cn/"
   url = "http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628"
   headers = {  # 模拟浏览器访问网页
       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) \\Chrome/75.0.3770.142 Safari/537.36'}
   response = requests.get(url=url, headers=headers)
   # print(response.text)   # 输出网页源码
   data = etree.HTML(response.text)
   # tp = data.xpath('//ul[@class="read-chapter"]/li/a[@class="active"]/@href')
   tp = data.xpath('//*[@class="yesReader"]/@href')
   zhang_list = tp
   i=1
   for next_zhang in zhang_list:
       i=i+1
       j=0
       hui_url = r_url+next_zhang
       name1 = "第"+str(i)+"回"
       file = 'C:/Users/wangyueke/Desktop/'+keyword+'/{}/'.format(name1)    # 这里需要自己设置路径
       if not os.path.exists(file):
           os.makedirs(file)
           print('创建文件夹:', file)
       response = requests.get(url=hui_url, headers=headers)
       data = etree.HTML(response.text)
       # tp = data.xpath('//div[@class="no-pic"]//img/@src')
       tp = data.xpath('//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src')
       ye_list = tp
       for k in ye_list:
           download_url = tp[j]
           print(download_url)
           j=j+1
           file_name="第"+str(j)+"页"
           response = requests.get(url=download_url)
           with open(file+file_name+".jpg","wb") as f:
               f.write(response.content)

if __name__ == '__main__':
   main()

来源:https://www.cnblogs.com/kong-gu/p/11360308.html

标签:python3,爬虫,漫画岛
0
投稿

猜你喜欢

  • asp显示左边的n个字符自动识别汉字的函数

    2007-09-13 12:16:00
  • JavaScript Memoization

    2008-05-01 12:48:00
  • Python计算两个矩形重合面积代码实例

    2021-12-18 23:34:22
  • ASP实例:处理多关键词查询实例代码

    2008-11-24 12:56:00
  • jquery弹出层背景变暗 Lee dialog

    2008-08-18 13:11:00
  • 文字链接,怎么办?

    2008-08-04 13:18:00
  • 解决MySQL8.0 输入无误仍然提示Access denied问题

    2024-01-16 06:00:37
  • 利用MySQL加密函数保护Web网站敏感数据

    2008-12-17 16:11:00
  • Django应用程序中如何发送电子邮件详解

    2023-11-04 02:07:54
  • Window10下mysql 5.7.21 安装配置方法图文教程

    2024-01-24 18:23:20
  • Oracle SID存在解決方法

    2009-06-19 17:34:00
  • 细化解析:MySQL+Webmin轻松创建数据库

    2009-01-14 13:13:00
  • 如何用ASP建立Index Server查询对象并为其参数赋值?

    2010-06-11 19:59:00
  • python实现图片彩色转化为素描

    2021-12-02 03:57:36
  • JsonServer安装及启动过程图解

    2023-08-12 20:06:02
  • swiper Scrollbar滚动条组件详解

    2024-04-19 10:03:28
  • linux下mysql乱码问题的解决方案

    2024-01-26 11:28:06
  • django 前端页面如何实现显示前N条数据

    2023-06-07 10:50:33
  • JavaScript 关于引用那点事

    2009-11-28 18:44:00
  • Python实现脚本转换为命令行程序

    2022-02-28 10:48:30
  • asp之家 网络编程 m.aspxhome.com