Python简单爬虫导出CSV文件的实例讲解
作者:藏何 时间:2022-10-11 03:39:19
流程:模拟登录→获取Html页面→正则解析所有符合条件的行→逐一将符合条件的行的所有列存入到CSVData[]临时变量中→写入到CSV文件中
核心代码:
####写入Csv文件中
with open(self.CsvFileName, 'wb') as csvfile:
spamwriter = csv.writer(csvfile, dialect='excel')
#设置标题
spamwriter.writerow(["游戏账号","用户类型","游戏名称","渠道","充值类型","充值金额","返利金额","单号","日期"])
#将CsvData中的数据循环写入到CsvFileName文件中
for item in self.CsvData:
spamwriter.writerow(item)
完整代码:
# coding=utf-8
import urllib
import urllib2
import cookielib
import re
import csv
import sys
class Pyw():
#初始化数据
def __init__(self):
#登录的Url地址
self.LoginUrl="http://v.pyw.cn/login/check"
#所要获取的Url地址
self.PageUrl="http://v.pyw.cn/Data/accountdetail/%s"
# 传输的数据:用户名、密码、是否记住用户名
self.PostData = urllib.urlencode({
"username": "15880xxxxxx",
"password": "a123456",
"remember": "1"
})
#第几笔记录
self.PageIndex=0;
#循环获取共4页内容
self.PageTotal=1
#正则解析出tr
self.TrExp=re.compile("(?isu)<tr[^>]*>(.*?)</tr>")
#正则解析出td
self.TdExp = re.compile("(?isu)<td[^>]*>(.*?)</td>")
#创建cookie
self.cookie = cookielib.CookieJar()
#构建opener
self.opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookie))
#解析页面总页数
self.Total=4
#####设置csv文件
self.CsvFileName="Pyw.csv"
#####存储Csv数据
self.CsvData=[]
#解析网页中的内容
def GetPageItem(self,PageHtml):
#循环取出Table中的所有行
for row in self.TrExp.findall(PageHtml):
#取出当前行的所有列
coloumn=self.TdExp.findall(row)
#判断符合的记录
if len(coloumn) == 9:
# print "游戏账号:%s" % coloumn[0].strip()
# print "用户类型:%s" % coloumn[1].strip()
# print "游戏名称:%s" % coloumn[2].strip()
# print "渠道:%s" % coloumn[3].strip()
# print "充值类型:%s" % coloumn[4].strip()
# print "充值金额:%s" % coloumn[5].strip().replace("¥", "")
# print "返利金额:%s" % coloumn[6].strip().replace("¥", "")
# print "单号:%s" % coloumn[7].strip()
# print "日期:%s" % coloumn[8].strip()
#拼凑行数据
d=[coloumn[0].strip(),
coloumn[1].strip(),
coloumn[2].strip(),
coloumn[3].strip(),
coloumn[4].strip(),
coloumn[5].strip().replace("¥", ""),
coloumn[6].strip().replace("¥", ""),
coloumn[7].strip(),
coloumn[8].strip()]
self.CsvData.append(d)
#模拟登录并获取页面数据
def GetPageHtml(self):
try:
#模拟登录
request=urllib2.Request(url=self.LoginUrl,data=self.PostData)
ResultHtml=self.opener.open(request)
#开始执行获取页面数据
while self.PageTotal<=self.Total:
#动态拼凑所要解析的Url
m_PageUrl = self.PageUrl % self.PageTotal
#计算当期第几页
self.PageTotal = self.PageTotal + 1
#获取当前解析页面的所有内容
ResultHtml=self.opener.open(m_PageUrl)
#解析网页中的内容
self.GetPageItem(ResultHtml.read())
####写入Csv文件中
with open(self.CsvFileName, 'wb') as csvfile:
spamwriter = csv.writer(csvfile, dialect='excel')
#设置标题
spamwriter.writerow(["游戏账号","用户类型","游戏名称","渠道","充值类型","充值金额","返利金额","单号","日期"])
#将CsvData中的数据循环写入到CsvFileName文件中
for item in self.CsvData:
spamwriter.writerow(item)
print "成功导出CSV文件!"
except Exception,e:
print "404 error!%s" % e
#实例化类
p=Pyw()
#执行方法
p.GetPageHtml()
导出结果
来源:https://blog.csdn.net/u013533810/article/details/54849230
标签:Python,CSV
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
AJAX缓存问题的两种解决方法(IE)
2008-05-02 20:57:00
Python Opencv任意形状目标检测并绘制框图
2023-06-06 19:03:43
![](https://img.aspxhome.com/file/2023/7/92417_0s.jpg)
DW MX 2004新功能:加密FTP
2009-09-13 18:42:00
![](https://img.aspxhome.com/file/UploadPic/20072/200723113026689s.gif)
Python类装饰器实现方法详解
2021-11-15 20:01:05
Python 基于Selenium实现动态网页信息的爬取
2023-10-31 12:00:22
![](https://img.aspxhome.com/file/2023/3/100773_0s.jpg)
Python3的urllib.parse常用函数小结(urlencode,quote,quote_plus,unquote,unquote_plus等)
2021-01-23 04:23:13
Python和Sublime整合过程图示
2023-04-11 15:23:33
![](https://img.aspxhome.com/file/2023/4/98834_0s.png)
合并网页中的多个script引用实现思路及代码
2023-06-29 09:02:19
记Qzone项目组视觉设计标注的前前后后
2010-03-24 18:03:00
![](https://img.aspxhome.com/file/UploadPic/20103/24/1321290-25s.jpg)
用JS实现一个页面两份样式表
2008-07-23 12:37:00
Python实现曲线拟合的最小二乘法
2022-03-24 16:13:25
Python Vaex实现快速分析100G大数据量
2021-05-24 08:48:58
![](https://img.aspxhome.com/file/2023/8/80538_0s.png)
制定设计的原则
2011-01-10 20:43:00
![](https://img.aspxhome.com/file/UploadPic/20111/10/01-21s.jpg)
Python如何使用pymongo连接MongoDB数据库并进行相关操作
2023-05-12 01:21:49
![](https://img.aspxhome.com/file/2023/7/72017_0s.png)
Python %r和%s区别代码实例解析
2023-10-07 17:01:08
解决bootstrap导航栏navbar在IE8上存在缺陷的方法
2023-09-03 10:55:07
![](https://img.aspxhome.com/file/2023/0/56080_0s.gif)
破解 屏蔽 防框架代码 top.location != self.location
2008-11-27 12:59:00
asp如何建立和删除文件夹?
2009-11-26 20:34:00
Python中字符串的基本使用详解
2022-08-13 07:05:42
![](https://img.aspxhome.com/file/2023/0/100970_0s.png)
学习ASP和编程的28个观点
2008-06-27 12:57:00