C# 利用代理爬虫网页的实现方法
作者:lqh 时间:2023-02-26 18:51:43
C# 利用代理爬虫网页
实现代码:
// yanggang@mimvp.com
// http://proxy.mimvp.com
// 2015-11-09
using System;
using System.IO;
using System.Net;
using System.Text;
namespace ConsoleApplication1
{
class Program
{
public static void Main(string[] args)
{
System.Net.WebProxy proxy = new WebProxy("218.21.230.156", 443); // "107.150.96.188", 8080
HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://proxy.mimvp.com");
request.Proxy = proxy;
using (WebResponse response = request.GetResponse())
{
using (TextReader reader = new StreamReader(response.GetResponseStream()))
{
string line;
while ((line = reader.ReadLine()) != null)
Console.WriteLine(line);
}
}
}
public static void Main2()
{
// your code goes here
System.Net.WebProxy proxy = new WebProxy("107.150.96.188", 8080);
System.Net.HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://www.baidu.com");
req.Proxy = proxy;
req.Timeout = 30 * 1000;
System.Net.HttpWebResponse resp = (HttpWebResponse)req.GetResponse();
Encoding bin = Encoding.GetEncoding("UTF-8");
StreamReader reader = new StreamReader(resp.GetResponseStream(), bin);
string str = reader.ReadToEnd();
Console.WriteLine(str);
reader.Close();
reader.Dispose();
}
}
}
获取更多代理,请访问米扑代理:
http://proxy.mimvp.com
如有疑问请留言或者到本站社区交流讨论,感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!
来源:https://blog.mimvp.com/2015/12/c-proxy-crawl-page/
标签:C#,爬虫,网页
0
投稿
猜你喜欢
分享我在工作中遇到的多线程下导致RCW无法释放的问题
2022-10-14 21:07:29
Java方法的覆盖与隐藏的区别分析
2021-12-19 05:15:52
JavaWeb中Servlet的深入讲解
2022-03-07 21:12:36
java 引用传递的三种类型小结
2023-09-03 03:59:47
Android自定义View实现渐变色进度条
2022-11-25 08:27:17
Java实现分解任意输入数的质因数算法示例
2022-07-29 23:07:08
结合mybatis-plus实现简单不需要写sql的多表查询
2021-06-25 12:54:22
Java实现简单猜数字小游戏
2023-11-28 08:10:07
Java连接redis及基本操作示例
2023-12-07 03:27:03
C#删除只读文件或文件夹(解决File.Delete无法删除文件)
2022-06-30 15:01:59
Android使用WebView实现文件下载功能
2022-03-01 09:41:44
Android编程实现自定义手势的方法详解
2023-09-14 16:02:36
Android客户端程序Gradle如何打包
2023-06-05 14:10:07
C#读取word中表格数据的方法实现
2023-09-12 22:54:53
Java的Struts框架中Action的编写与拦截器的使用方法
2021-11-22 02:58:53
SpringBean依赖和三级缓存的案例讲解
2023-06-25 09:33:22
Java 是如何利用接口避免函数回调的方法
2023-11-11 10:14:00
BroadcastReceiver静态注册案例详解
2022-12-30 18:31:10
Java查找并高亮PDF文本过程解析
2022-02-17 07:20:32
谈谈Java中整数类型(short int long)的存储方式
2023-01-01 08:24:33