C#使用ScrapySharp快速从网页采集数据
作者:天方 时间:2021-08-14 09:25:14
ScrapySharp是一个帮助我们快速实现网页数据采集的库,它主要提供了如下两个功能
从Url获取Html数据
提供CSS选择器的方式解析Html节点
安装:
ScrapySharp可以直接从Nuget上下载,直接从Package Console里面输入如下命令即可:
PM> Install-Package ScrapySharp
Html下载
首先我们来看看它的Html下载功能,它是通过ScrapingBrowser类来实现的:
var browser = new ScrapingBrowser();
var html = browser.DownloadString(new Uri("http://www.cnblogs.com/"));
这个只是一个简单的示例,实际上ScrapingBrowser的功能还是非常全面的,常见的功能如:Charset探测,AutoRedirect、Cache、 Proxy、Cookie、UserAgent、表单提交等都支持得非常好,用它来获取网页比HttClient要方便很多。
Html解析
ScrapySharp的Html解析是基于大名鼎鼎的HtmlAgilityPack来实现的,它主要提供了两个扩展函数CssSelect和CssSelect:
static IEnumerable<HtmlNode> CssSelect(this HtmlNode node, string expression);
static IEnumerable<HtmlNode> CssSelect(this IEnumerable<HtmlNode> nodes, string expression);
static IEnumerable<HtmlNode> CssSelectAncestors(this HtmlNode node, string expression);
static IEnumerable<HtmlNode> CssSelectAncestors(this IEnumerable<HtmlNode> nodes, string expression);
相比HtmlAgilityPack提供的层级式解析和Xpath方式的解析比起来,CSS选择器的更为简单快捷,这里以解析博客园的首页标题为例,首先用开发者工具定位标题,可以看到其HTML结构的方式如下:
解析的代码如下:
var doc = new HtmlDocument();
doc.LoadHtml(html);
var docNode = doc.DocumentNode;
var nodes = docNode.CssSelect(".titlelnk");
foreach (var htmlNode in nodes)
{
Console.WriteLine(htmlNode.InnerText);
}
其中关键代码只有docNode.CssSelect(".titlelnk")一句,非常简洁。另外,由于CSS方式比较灵活,如下方式也能获取到标题
var nodes = docNode.CssSelect(".post_item_body > h3");
var nodes = docNode.CssSelect("div#post_list").CssSelectAncestors("h3");
最后,列举一下常用的CSS查询,以方便后续的使用:
html.CssSelect("div"); //all div elements
html.CssSelect("div.content"); //all div elements with css class 'content'
html.CssSelect("div.widget.monthlist"); //all div elements with the both css class
html.CssSelect("#postPaging"); //all HTML elements with the id postPaging
html.CssSelect("div#postPaging.testClass"); // all HTML elements with the id postPaging and css class testClass
html.CssSelect("div.content > p.para"); //p elements who are direct children of div elements with css class 'content'
html.CssSelect("input[type = text].login"); // textbox with css class login
更多的CSS选择器使用方法可以参看W3的网页:CSS 选择器参考手册
来源:https://www.cnblogs.com/TianFang/p/4804289.html
标签:C#,ScrapySharp,网页,采集,数据
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
Java编写日历表的3种方式
2023-02-16 00:50:31
![](https://img.aspxhome.com/file/2023/8/70978_0s.jpg)
Java 字符终端上获取输入三种的方式分享
2021-12-31 04:52:45
Java创建随机数的四种方式总结
2022-05-11 10:29:17
MyBatis插入Insert、InsertSelective的区别及使用心得
2023-08-25 04:34:28
java 三种将list转换为map的方法详解
2023-09-13 03:35:39
Spring框架中@PostConstruct注解详解
2021-09-20 09:35:58
图解Java排序算法之快速排序的三数取中法
2022-02-26 17:58:23
![](https://img.aspxhome.com/file/2023/9/65159_0s.png)
Java多线程编程中使用Condition类操作锁的方法详解
2023-10-19 13:30:55
为什么wait和notify必须放在synchronized中使用
2022-07-20 07:32:39
![](https://img.aspxhome.com/file/2023/7/71187_0s.webp)
Java中List.of()和Arrays.asList()的区别及原因分析
2023-08-06 00:33:16
mybatis foreach遍历LIST读到数据为null的问题
2021-05-24 20:15:27
![](https://img.aspxhome.com/file/2023/4/68554_0s.jpg)
IntelliJ IDEA中查看当前类的所有继承关系图
2023-08-06 12:40:19
![](https://img.aspxhome.com/file/2023/6/57906_0s.png)
Android使用xUtils3.0实现文件上传
2023-08-04 19:50:02
c# 网址压缩简单实现短网址
2022-10-06 15:37:17
Java中的static关键字你了解多少
2022-05-21 11:25:51
![](https://img.aspxhome.com/file/2023/9/65609_0s.jpg)
浅谈Android开发中项目的文件结构及规范化部署建议
2022-05-13 12:47:37
Java二维数组查找功能代码实现
2023-01-04 19:47:17
java图形界面编程之模拟血压计
2023-10-01 07:16:05
详解Java中ThreadLocal类型及简单用法
2022-03-09 11:51:51
![](https://img.aspxhome.com/file/2023/1/71011_0s.png)
详解Spring boot/Spring 统一错误处理方案的使用
2023-11-24 12:56:07
![](https://img.aspxhome.com/file/2023/7/59897_0s.png)