ASP网站数据采集经验谈(2)
时间:2008-03-09 15:30:00
二、从获取代码中提取所有用的数据
目前我掌握的方法有:
1、用ASP内置的MID函数截取需要的数据
Function body(wstr,start,over)
start=Newstring(wstr,start)
'设置需要处理的数据的唯一的开始标记
over=Newstring(wstr,over)
'和start相对应的就是需要处理的数据的唯一的结束标记
body=mid(wstr,start,over-start)
'设置显示页面的范围
End Function
调用方法:body(被采集的页面的内容,开始标记,结束标记)
2、用正则获取需要的数据
Function body(wstr,start,over)
Set xiaoqi = New Regexp'设置配置对象
xiaoqi.IgnoreCase = True'忽略大小写
xiaoqi.Global = True'设置为全文搜索
xiaoqi.Pattern = "”&start&“.+?”&over&“"'正则表达式
Set Matches =xiaoqi.Execute(wstr)'开始执行配置
set xiaoqi=nothing
body=""
For Each Match in Matches
body=body&Match.Value '循环匹配
Next
End Function
调用方法:body(被采集的页面的内容,开始标记,结束标记)
采集程序祥细思路:
1、取得网站的分页列表页的每页地址
目前绝大部分 * 站的分页地址都有规则,如:
动态页
第一页:index.asp?page=1
第二页:index.asp?page=2
第三页:index.asp?page=3
.....
静态页
第一页:page_1.htm
第二页:page_2.htm
第三页:page_3.htm
.....
取得网站的分页列表页的每页地址,只需要用变量替代每页地址的变化的字符即可如:page_<%="&page&"%>.htm
2、获取被采集网站的分页列表页内容
3、从分页列表代码中提取被采集的内容页面的URL连接地址
绝大部分分页页面里的内容页连接也有固定规则,如:
<a href="url1">连接1</a> <br>
<a href="url2">连接2</a> <br>
<a href="url3">连接3</a> <br>
用以下代码就可以获得一个URL连接集合
Set xiaoqi = New Regexp
xiaoqi.IgnoreCase = True
xiaoqi.Global = True
xiaoqi.Pattern = ””“.+?”““
Set Matches =xiaoqi.Execute(页面列表内容)
set xiaoqi=nothing
url=""
For Each Match in Matches
url=url&Match.Value
Next
4、取得被采集的内容页面内容,根据”提取标记“从被采集的内容页面分别截取要取得的数据
因为是动态生成的页面,大多数内容页面内都有相同的html标记,我们可以根据这些有规则的标记提取需要的各个部分的内容。
如: 每个页面都有网页标题<title>网页标题</title>,用我上面写的MID截取函数就可以获得<title></title>之间的值,也可以用正则表达式来获得。
例:
body("<title>网页标题</title>","<title>","</title>")
标签:采集,数据,xmlhttp,asp
0
投稿
猜你喜欢
Python内置函数的用法实例教程
2021-03-02 01:08:15
详解vue-router 2.0 常用基础知识点之router.push()
2024-04-09 10:49:35
使用base64对图片的二进制进行编码并用ajax进行显示
2024-05-02 16:18:24
使用Pycharm创建一个Django项目的超详细图文教程
2021-07-13 10:47:17
VSCode 最全实用插件小结
2022-12-11 17:03:47
总结Pyinstaller打包的高级用法
2021-03-27 02:48:16
简单谈谈python中的Queue与多进程
2021-06-13 04:16:45
numpy.reshape(-1,1)的具体使用
2021-12-26 13:25:30
JScript 运算符
2007-08-22 16:22:00
Python pyautogui模块实现鼠标键盘自动化方法详解
2023-07-25 09:16:42
Python获取数据库数据并保存在excel表格中的方法
2024-01-22 00:32:56
JavaScript中的ArrayBuffer详细介绍
2024-04-19 11:02:13
关于tensorflow的几种参数初始化方法小结
2023-10-15 12:05:26
vue动态注册组件实例代码详解
2023-07-02 17:01:11
Python实现将长图制作成一个视频
2022-09-28 06:09:09
Numpy中的repeat函数使用
2023-03-06 19:16:38
利用nohup来开启python文件的方法
2023-05-08 07:51:29
微信小程序实现搜索功能
2024-05-02 16:17:16
MySQL中使用流式查询避免数据OOM
2024-01-23 01:23:00
简易的全屏透明遮罩(lightBox)
2010-06-09 20:56:00