首页 / C# / C# FiddlerCore 抓取

用C#调用FiddlerCore，开发出软件，本软件可以抓取本机（运行本软件的电脑）上的http/https请求响应，可以抓取同一局域网内设备（如本机局域网ip为192.168.1.2，路由器ip为192.168.1.1，同一路由器下还连接了一部手机，其ip为192.168.1.3，那么，这个手机的http/https也是可以抓取的）。

添加引用

需要的库文件：
BCMakeCert.dll
CertMaker.dll
FiddlerCore4.dll

FiddlerCore4.pdb
FiddlerCore4.xml

using Fiddler;
1

初始化FiddlerCore

		//https代理
		Proxy oSecureEndpoint;
		//主机名
		string sSecureEndpointHostname = "localhost";
		//伪装https服务器（别人这么说，我也没搞明白这个技术细节）
		int iSecureEndpointPort = 8877;
		//代理端口
		int iStartPort = 8888;
		//FiddlerCore抓取到的会话不会缓存，所以，要自己维护一个会话列表，来保存所关心的请求
		List<Session> oAllSessions = new List<Session>();

		//初始化Fiddler
		private void InitFiddler()
		{
			//这个名字随便
			FiddlerApplication.SetAppDisplayName("test");
			//绑定事件处理————当发起请求之前
			FiddlerApplication.BeforeRequest += On_BeforeRequest;
			//绑定事件处理————当会话结束之后
			FiddlerApplication.AfterSessionComplete += On_AfterSessionComplete;

			//-----------处理证书-----------
			//伪造的证书
			X509Certificate2 oRootCert;
			//如果没有伪造过证书并把伪造的证书加入本机证书库中
			if(null== CertMaker.GetRootCertificate())
			{
				//创建伪造证书
				CertMaker.createRootCert();

				//重新获取
				oRootCert = CertMaker.GetRootCertificate();

				//打开本地证书库
				X509Store certStore = new X509Store(StoreName.Root, StoreLocation.LocalMachine);
				certStore.Open(OpenFlags.ReadWrite);
				try
				{
					//将伪造的证书加入到本地的证书库
					certStore.Add(oRootCert);
				}
				finally
				{
					certStore.Close();
				}
			}
			else
			{
				//以前伪造过证书，并且本地证书库中保存过伪造的证书
				oRootCert = CertMaker.GetRootCertificate();
			}

			//-----------------------------

			//指定伪造证书
			FiddlerApplication.oDefaultClientCertificate = oRootCert;
			//忽略服务器证书错误
			CONFIG.IgnoreServerCertErrors = true;
			//信任证书
			CertMaker.trustRootCert();
			//看字面意思知道是啥，但实际起到啥作用。。。鬼才知道，官方例程里有这句，加上吧，管它呢。
			FiddlerApplication.Prefs.SetBoolPref("fiddler.network.streaming.abortifclientaborts", true);
			//启动代理服务————启动参数1：捕捉https；启动参数2：允许局域网其他终端连入本代理
			FiddlerApplication.Startup(iStartPort, FiddlerCoreStartupFlags.DecryptSSL | FiddlerCoreStartupFlags.AllowRemoteClients | FiddlerCoreStartupFlags.Default, null);
			//创建https代理
			oSecureEndpoint = FiddlerApplication.CreateProxyEndpoint(iSecureEndpointPort, true, oRootCert);
		}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68

实现事件处理

		//封包发送之前事件————基于这个Session oS可以做很多很多事
		private void On_BeforeRequest(Session oS)
		{
			oS.bBufferResponse = false;
			Monitor.Enter(oAllSessions);
			if (oS.fullUrl.ToLower().Length >= 0)
			{
				oAllSessions.Add(oS);
			}
			Monitor.Exit(oAllSessions);
			if (oS.oRequest.pipeClient.LocalPort == iSecureEndpointPort && oS.hostname == sSecureEndpointHostname)
			{
				oS.utilCreateResponseAndBypassServer();
				oS.oResponse.headers.SetStatus(200, "Ok");
				oS.oResponse["Content-Type"] = "text/html; charset=UTF-8";
				oS.oResponse["Cache-Control"] = "private, max-age=0";
				oS.utilSetResponseBody("<html><body>Request for httpS://" + sSecureEndpointHostname + ":" + iSecureEndpointPort.ToString() + " received. Your request was:<br /><plaintext>" + oS.oRequest.headers.ToString());
			}
		}

		//封包响应结束事件————同样，基于这个Session oS可以做很多很多事
		private void On_AfterSessionComplete(Session oS)
		{
			string respStr = "";
			respStr = oS.GetResponseBodyAsString();
			if (oS.bHasResponse && respStr.Length > 0)
			{
				Invoke(new Action(() =>
				{
					textBox1.AppendText($"{oS.fullUrl}\r\n");
				}));
			}

			if (oAllSessions.Count > 300)
			{
				Monitor.Enter(oAllSessions);
				oAllSessions.Clear();
				Monitor.Exit(oAllSessions);
				GC.Collect();
			}
		}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

启动、停止

到这里，程序已经准备好了。现在我们来启动它。

冷启动

程序刚运行起来，从未将自身作为系统代理。这时，只需要调用InitFiddler就行了。

彻底停止

由于本程序将自身设置为系统代理了，当本程序退出时，如果你没有做善后处理，那么系统代理还在Internet选项——>连接——>局域网设置——>代理服务器的设置里躺着，可由于你的程序已经退出了，这个系统代理指向的是一个没有在工作的代理，那么此路不同，你可能会浏览器打不开网页，通过本机代理上网的其他设备也无法发起http请求。因此，当你确定不再抓取请求的时候，要做善后处理。

FiddlerApplication.Shutdown();
1

关于这个，官方有段建议：
Shuts down the FiddlerCore proxy and disposes it. Note: If there’s any traffic in progress while you’re calling this method, your background threads are likely to blow up with ObjectDisposedExceptions or NullReferenceExceptions. In many cases, you’re better off simply calling oProxy.Detach() and letting the garbage collector clean up when your program exits.
意思是：当你调用这个方法的时候，如果存在任何正在处理的通信，那么你的后台线程很有可能带着ObjectDisposedExceptions异常或NullReferenceExceptions异常而崩溃。
在的大多数情况下，你最好只是简单地调用一下oProxy.Detach() 然后当你的程序退出时让GC来处理。

热启动、停止

有时候，程序可能需要暂停一下抓取，但并不完全退出程序，只是暂时不让它作为代理了。这时候有两种方法：

方式一：解绑事件处理函数

			//解绑事件处理————当发起请求之前
			FiddlerApplication.BeforeRequest -= On_BeforeRequest;
			//解绑事件处理————当会话结束之后
			FiddlerApplication.AfterSessionComplete -= On_AfterSessionComplete;
1
2
3
4

这种方式只是不再介入请求和响应了，实际上，所有的会话还是通过本程序的代理走的流量。

方式二：解除系统代理

暂停代理

			if(FiddlerApplication.oProxy.IsAttached)
			{
				FiddlerApplication.oProxy.Detach();
				oSecureEndpoint.Detach();
			}
1
2
3
4
5

这种方式是将本程序的代理彻底解除，当代理解除之后，所有的请求都将不再走本程序。

当你需要再启动代理的时候，重新设置一下代理即可：
重设代理

			if(!FiddlerApplication.oProxy.IsAttached)
			{
				FiddlerApplication.oProxy.Attach();
				oSecureEndpoint.Attach();
			}
1
2
3
4
5

终端设置

现在程序已经准备好拦截抓取了，就等着连入请求了。

抓取本机请求

一般情况下，浏览器的代理设置都默认为使用IE代理设置，如果不是，需要手动设置一下：
代理服务器IP设置为localhost或127.0.0.1
端口设置为8888，也就是iStartPort = 8888指定的端口号

抓取非本机请求

这种场景，我只实验成功了抓取同一局域网内的终端请求。

保证目标终端与代理机处于同一网段

如果你的软件运行的计算机（我们称它为代理机）连接在一台192.168.1.1的路由器下，那么你的代理机的局域网IP应该是192.168.1.X，那么你必须要将要抓取的终端（它可以是同一局域网内的另一台计算机，可以是通过WiFi上网的手机、iPad等，我们称它为目标终端）通过网线或者WiFi连接到同一个路由器下。

下载证书

在目标终端上，打开浏览器，输入网址，格式为：代理机的局域网IP:代理端口，比如192.168.1.5:8888
这时，会看到一个网页，这是FiddlerCore生成的一个网页，提供伪造证书下载的页面:

Fiddler Echo Service

GET / HTTP/1.1
Host: localhost:8888
Proxy-Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8
DNT: 1
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9
Cookie: _ga=GA1.1.1679095215.1533305166

This page returned a HTTP/200 response
Originating Process Information: 360se:3664
To configure Fiddler as a reverse proxy instead of seeing this page, see Reverse Proxy Setup
You can download the FiddlerRoot certificate

注意这个页面最下方的You can download the FiddlerRoot certificate带有一个超链接，这个连接就可以下载伪造的证书。

安装证书

这个就不说了，不同的系统、设备，安装证书的方法不尽相同，百度一下就知道了。

设置代理

同上，不同系统设备的设置方法不尽相同，百度之。
但重要的参数不能填错：
代理服务器ip就填代理机的IP
代理端口就填你FiddlerApplication.Startup时给的端口，也就是代码中的iStartPort，8888

真正开始抓取

启动软件，打开目标机上的浏览器、app等，看看你软件里的On_BeforeRequest 和 On_AfterSessionComplete 能干些啥事吧~

待实现

截至写本文的时候，我依然没搞定将Fiddler作为广域网代理服务器来抓取来自外网IP的代理数据。而网上有资料说这个功能也是可以实现的。以后再试验一下吧。
我想原因应该是跨请求跨路由器网段了，需要做端口映射、防火墙设置之类的东西吧。当然，只是暂时猜测，真正原因还有待查明。

项目合作

本人在爬虫、网页自动化以及验证码识别方面经验还算丰富，有合适的项目的话，可以联系我
QQ：116703690

内容总结

以上是互联网集市为您收集整理的C# FiddlerCore 抓取全部内容，希望文章能够帮你解决C# FiddlerCore 抓取所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/633503.html

来源：【匿名】

【上一篇】Dynamics CRM - 在 C# Plugin 中如何對 PartyList 類型字段進行取值【下一篇】assemblyinfo.csC#Assembly类访问程序集信息

更多 ►

【C# FiddlerCore 抓取】教程文章相关的互联网学习教程文章

抓取网页数据C#文件

using System;using System.Collections.Generic;using System.Linq;using System.Web;using System.Web.Mvc;using System.Collections.Generic;using System.Text.RegularExpressions;using System.Text;using System.Net;using System.IO;namespace WebJSON.Controllers{ public class LibraryController : Controller { // // GET: /Library/ public String Index( ) { string pa...

C#使用Selenium+PhantomJS抓取数据【代码】【图】

C#使用Selenium+PhantomJS抓取数据参考：https://www.cnblogs.com/endlock/p/6423613.html 非原创，来自上面的链接手头项目需要抓取一个用js渲染出来的网站中的数据。使用常用的httpclient抓回来的页面是没有数据。上网百度了一下，大家推荐的方案是使用PhantomJS。PhantomJS是一个没有界面的webkit浏览器，能够和浏览器效果一致的使用js渲染页面。Selenium是一个web测试框架。使用Selenium来操作PhantomJS绝配。但是网上的例子多...

C# .net 抓取网页内容

ASP.NET 中抓取网页内容是非常方便的，而其中更是解决了 ASP 中困扰我们的编码问题。1、抓取一般内容需要三个类：WebRequest、WebResponse、StreamReader所需命名空间：System.Net、System.IO核心代码： WebRequest 类的 Create 为静态方法，参数为要抓取的网页的网址； Encoding 指定编码，Encoding 中有属性 ASCII、UTF32、UTF8 等全球通用的编码，但没有 gb2312 这个编码属性，所以我们使用 GetEncoding 获得 gb2312 ...

C#网页爬虫抓取行政区划【代码】【图】

借鉴C#网页爬虫抓取行政区划，从国家统计局获取了最新行政区域数据。以下为代码贴片：数据库类：publicclass City {publicdecimal ID { get; set; }publicstring Name { get; set; }publicstring Code { get; set; }publicstring Org_Level { get; set; }publicstring ParentCode { get; set; }publicdecimal ParentID { get; set; }publicstring Contry { get; set; }publicstring Loc_x { get; set; }publicstring Loc_y { get; ...

c#语言输入关键字，抓取你想要的所有网址【代码】

using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms; using mshtml; using System.Collections; using System.Threading;namespace 遍历百度网页 {publicdelegatevoid baidu111();publicpartialclass Form1 : Form{public Form1(){InitializeComponent();}privatevoid Form1_Load(object...

C# 实现抓取网站页面内容的实例方法【图】

抓取新浪网的新闻栏目，如图所示：使用谷歌浏览器的查看源代码：通过分析得知，我们所要找的内容在以下两个标签之间：代码如下: 内容。。。。 如图所示：内容。。。。使用VS建立一个如图所示的网站：我们下载网络数据主要通过 WebClient 类来实现。使用下面源代码获取我们选择的内容：代码如下...

asp.net c# 抓取页面信息方法介绍【图】

一：网页更新我们知道，一般网页中的信息是不断翻新的，这也要求我们定期的去抓这些新信息，但是这个“定期”该怎么理解，也就是多长时间需要抓一次该页面，其实这个定期也就是页面缓存时间，在页面的缓存时间内我们再次抓取该网页是没有必要的，反而给人家服务器造成压力。就比如说我要抓取博客园首页，首先清空页面缓存，从Last-Modified到Expires，我们可以看到，博客园的缓存时间是2分钟，而且我还能看到当前的服务器时间Da...

ASP.net(C#)从其他网站抓取内容并截取有用信息的实现代码

1. 需要引用的类库代码如下:using System.Net; using System.IO; using System.Text; using System.Text.RegularExpressions; 2. 获取其他网站网页内容的关键代码代码如下:WebRequest request = WebRequest.Create("http://目标网址.com/"); WebResponse response = request.GetResponse(); StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312")); //reader.ReadToEnd() 表...

C#正则解析HTML抓取所有的图片_html/css_WEB-ITnose

抓取html中的所有图片，目前img标签中的已经能够拿出来了，但是还有一些是这样写的比如或者是这种写法也有可能不是div，可能是td，或者其他标签。弄了半天，始终没弄好。求大神帮助。回复讨论(解决方案) 有的图片是流输出的也是要考虑的说起来，感觉你去抓取这些没有意义的啊，大部分的背景图片，都是以class中加载过来的。一般不写在标签中的啊。说起来，...

C#运用实例.读取csv里面的词条，对每一个词条抓取百度百科相关资料，然后存取到数据库【代码】【图】

将CSV文件的数据读取到DataTable中/// CSV文件路径/// 返回读取了CSV数据的DataTablepublic DataTable OpenCSV(string fileName){DataTable dt = new DataTable();FileStream fs = new FileStream(fileName, System.IO.FileMode.Open, System.IO.FileAccess.Read);StreamReader sr = new StreamReader(fs, System.Text.Encoding.Default);//记录每次读取的一行记录string strLine = "";//记录每行记录中的各字段内容string[] aryLi...

C#用HttpWebRequest通过代理服务器验证后抓取网页内容【图】

内网用户或代理上网的用户使用 using System.IO; using System.Net; public string get_html() { string urlStr = "http://www.domain.com"; //設定要獲取的地址 HttpWebRequest hwr = (HttpWebRequest)HttpWebRequest.Create(urlStr); //建立HttpWebRequest對象 hwr.Timeout = 60000; //定義服務器超時時間 WebProxy proxy = new WebProxy(...

C# FiddlerCore 抓取

原文:C# FiddlerCore 抓取C# FiddlerCore 抓取本文目的情景介绍添加引用初始化FiddlerCore实现事件处理启动、停止冷启动彻底停止热启动、停止方式一：解绑事件处理函数方式二：解除系统代理终端设置抓取本机请求抓取非本机请求保证目标终端与代理机处于同一网段下载证书安装证书设置代理真正开始抓取待实现项目合作本文目的记录FiddlerCore怎样实现以下功能：抓取本机的请求响应抓取本机局域网内其它设备的请求响应情景介绍用...

c#批量抓取免费代理并验证有效性【代码】【图】

之前看到某公司的官网的文章的浏览量刷新一次网页就会增加一次，给人的感觉不太好，一个公司的官网给人如此直白的漏洞，我批量发起请求的时候发现页面打开都报错，100多人的公司的官网文章刷新一次你给我看这个，这公司以前来过我们学校宣传招人+在园子里搜招聘的时候发现居然以前招xamarin，挺好奇的，所以就关注过。好吧不说这些了，只是扯扯蛋而已，回归主题，我想说的是csdn的文章可以通过设置代理ip刷新文章的浏览量，所以首先...

c#实现从其他网站抓取imei码信息,手工输入验证码

阅读全文：http://www.yzswyl.cn/blread-1603.html 功能：从其他网站手工输入验证码并抓取手机IMEI信息 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms; using System.Net; using System.IO; ???? namespace getImei { ????public partial class Form1 : Form ????{ ????????pri...

C#-从屏幕抓取中解析文本

不确定解释此问题的最佳方法,但我会尝试一下.我正在尝试寻找一种方法来解析C#或Java中的屏幕抓取中的文本/数字-哪种方法提供最简单的方法,但最好是java. 一个例子如下.您有一个带有文本块的网站/文档/应用程序.您可以截取包含该文本的特定区域的屏幕快照.截取屏幕截图后,您可以从其中提取包含相关字符的字符串. 任何反馈表示赞赏.谢谢解决方法:您可以尝试Tessnet2 a .NET 2.0 Open Source OCR assembly using Tesseract engine.

首页 / C# / C# FiddlerCore 抓取

C# FiddlerCore 抓取

内容导读

内容图文

C# FiddlerCore 抓取

本文目的

情景介绍

添加引用

初始化FiddlerCore

实现事件处理

启动、停止

冷启动

彻底停止

热启动、停止

方式一：解绑事件处理函数

方式二：解除系统代理

终端设置

抓取本机请求

抓取非本机请求

保证目标终端与代理机处于同一网段

下载证书

安装证书

设置代理

真正开始抓取

待实现

项目合作

内容总结

内容备注

内容手机端

【C# FiddlerCore 抓取】教程文章相关的互联网学习教程文章

FIDDLER - 相关标签

C# - 技术教程分类

C# - 最新教程

C# - 最热教程