基于C#实现网络爬虫 C#抓取网页Html源码
作者:小虾Joe 时间:2022-11-16 22:19:05
最近刚完成一个简单的网络爬虫,开始的时候很迷茫,不知道如何入手,后来发现了很多的资料,不过真正能达到我需要,有用的资料--代码很难找。所以我想发这篇文章让一些要做这个功能的朋友少走一些弯路。
首先是抓取Html源码,并选择<ul class="post_list"> </ul>节点的href:要添加using System.IO;using System.Net;
private void Search(string url)
{
string rl;
WebRequest Request = WebRequest.Create(url.Trim());
WebResponse Response = Request.GetResponse();
Stream resStream = Response.GetResponseStream();
StreamReader sr = new StreamReader(resStream, Encoding.Default);
StringBuilder sb = new StringBuilder();
while ((rl = sr.ReadLine()) != null)
{
sb.Append(rl);
}
string str = sb.ToString().ToLower();
string str_get = mid(str, "<ul class=\"post_list\">", "</ul>");
int start = 0;
while (true)
{
if (str_get == null)
break;
string strResult = mid(str_get, "href=\"", "\"", out start);
if (strResult == null)
break;
else
{
lab[url] += strResult;
str_get = str_get.Substring(start);
}
}
}
private string mid(string istr, string startString, string endString)
{
int iBodyStart = istr.IndexOf(startString, 0); //开始位置
if (iBodyStart == -1)
return null;
iBodyStart += startString.Length; //第一次字符位置起的长度
int iBodyEnd = istr.IndexOf(endString, iBodyStart); //第二次字符在第一次字符位置起的首次位置
if (iBodyEnd == -1)
return null;
iBodyEnd += endString.Length; //第二次字符位置起的长度
string strResult = istr.Substring(iBodyStart, iBodyEnd - iBodyStart - 1);
return strResult;
}
private string mid(string istr, string startString, string endString, out int iBodyEnd)
{
//初始化out参数,否则不能return
iBodyEnd = 0;
int iBodyStart = istr.IndexOf(startString, 0); //开始位置
if (iBodyStart == -1)
return null;
iBodyStart += startString.Length; //第一次字符位置起的长度
iBodyEnd = istr.IndexOf(endString, iBodyStart); //第二次字符在第一次字符位置起的首次位置
if (iBodyEnd == -1)
return null;
iBodyEnd += endString.Length; //第二次字符位置起的长度
string strResult = istr.Substring(iBodyStart, iBodyEnd - iBodyStart - 1);
return strResult;
}
好了,上面就是全部代码了,如果你想要运行出来的话,有些细节要自己修改下。
标签:C#,网络爬虫,抓取网页
0
投稿
猜你喜欢
Android自定义控件实现简单滑动开关效果
2022-09-07 16:46:01
Fragment 多层嵌套方法调用问题的解决方案
2023-09-29 08:12:38
Spring实战之方法级别缓存用法示例
2022-10-20 02:00:32
Android6.0 消息机制原理解析
2023-08-06 12:19:44
MyBatis-Plus实现公共字段自动填充功能详解
2021-10-19 22:14:39
c#中分割字符串的几种方法
2023-04-11 16:04:30
解决mybatis #{}无法自动添加引号的错误
2023-09-21 11:45:02
二分查找算法在C/C++程序中的应用示例
2021-06-01 08:15:30
Java实现定时任务的方法详解
2022-12-30 04:14:00
基于Mybatis映射的一点心得(分享)
2023-08-08 13:15:53
Android实现多线程断点下载
2023-08-11 00:45:28
C#通过反射打开相应窗体方法分享
2023-09-21 07:37:14
解决pageHelper分页失效以及如何配置问题
2022-03-15 06:45:44
SpringBoot深入分析运行原理与功能实现
2022-01-03 14:48:43
关于SpringCloudStream配置问题
2023-08-08 20:12:00
Android亮屏速度分析总结
2023-11-06 11:55:21
Java的反射机制---动态调用对象的简单方法
2023-08-16 19:23:26
java快速生成数据库文档详情
2023-11-10 05:25:20
Java实现Dijkstra输出最短路径的实例
2023-09-01 17:44:02
Android开发之SQLite的使用方法
2022-11-12 05:26:38