Python爬取三国演义的实现方法
作者：bluescorpio 时间：2022-12-11 20:07:37
本文的爬虫教程分为四部：
1.从哪爬 where
2.爬什么 what
3.怎么爬 how
4.爬了之后信息如何保存 save
一、从哪爬
三国演义
二、爬什么
三国演义全文
三、怎么爬
在Chrome页面打开F12，就可以发现文章内容在节点
<div id="con" class="bookyuanjiao">
只要找到这个节点，然后把内容写入到一个html文件即可。
content = soup.find("div", {"class": "bookyuanjiao", "id": "con"})
四、爬了之后如何保存
主要就是拿到内容，拼接到一个html文件，然后保存下来就可以了。
#!usr/bin/env
# -*-coding:utf-8 -*-
import urllib2
import os
from bs4 import BeautifulSoup as BS
import locale
import sys
from lxml import etree
import re
reload(sys)
sys.setdefaultencoding('gbk')
sub_folder = os.path.join(os.getcwd(), "sanguoyanyi")
if not os.path.exists(sub_folder):
os.mkdir(sub_folder)
path = sub_folder
# customize html as head of the articles
input = open(r'0.html', 'r')
head = input.read()
domain = 'http://www.shicimingju.com/book/sanguoyanyi.html'
t = domain.find(r'.html')
new_domain = '/'.join(domain.split("/")[:-2])
first_chapter_url = domain[:t] + "/" + str(1) + '.html'
print first_chapter_url
# Get url if chapter lists
req = urllib2.Request(url=domain)
resp = urllib2.urlopen(req)
html = resp.read()
soup = BS(html, 'lxml')
chapter_list = soup.find("div", {"class": "bookyuanjiao", "id": "mulu"})
sel = etree.HTML(str(chapter_list))
result = sel.xpath('//li/a/@href')
for each_link in result:
each_chapter_link = new_domain + "/" + each_link
print each_chapter_link
req = urllib2.Request(url=each_chapter_link)
resp = urllib2.urlopen(req)
html = resp.read()
soup = BS(html, 'lxml')
content = soup.find("div", {"class": "bookyuanjiao", "id": "con"})
title = soup.title.text
title = title.split(u'_《三国演义》_诗词名句网')[0]
html = str(content)
html = head + html + "</body></html>"
filename = path + "\\" + title + ".html"
print filename
# write file
output = open(filename, 'w')
output.write(html)
output.close()
0.html的内容如下
<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8"></head><body>
总结
标签：python,爬取,网页
0
投稿猜你喜欢
Python实现计算两个时间之间相差天数的方法
2022-11-09 06:04:59
Python漏洞验证程序Poc利用入门到实战编写
2022-05-08 00:00:31
Python turtle实现贪吃蛇游戏
2021-07-20 12:57:57
python hmac模块验证客户端的合法性
2021-08-21 19:18:11
详解如何基于Pyecharts绘制常见的直角坐标系图表
2022-07-08 05:18:31
使用python3实现操作串口详解
2021-10-21 18:32:41
Python实现的简单线性回归算法实例分析
2021-06-05 17:16:12
python3实现语音转文字(语音识别)和文字转语音(语音合成)
2022-10-02 03:40:33
Python中的super()方法使用简介
2021-03-06 21:27:35
使用Python机器学习降低静态日志噪声
2021-11-09 23:48:57
Python3中关于cookie的创建与保存
2023-11-29 00:29:22
CentOS7.4 源码安装MySQL8.0的教程详解
2024-01-20 01:44:47
Python pytorch实现绘制一维热力图
2022-04-03 21:09:14
python3定位并识别图片验证码实现自动登录功能
2022-07-23 13:23:59
python中如何实现径向基核函数
2023-11-28 02:48:45
Python绘图Matplotlib之坐标轴及刻度总结
2023-10-01 15:56:39
python获取文件路径、文件名、后缀名的实例
2022-05-05 10:47:27
教你pycharm运行Django第一个项目
2021-08-25 16:40:07
Python虚拟机栈帧对象及获取源码学习
2022-08-26 07:15:30
如何使用python把ppt转换成pdf
2022-09-20 14:27:14