终本案件：http://zxgk.court.gov.cn/zhongben/new_index.html综合执行人：http://zxgk.court.gov.cn/zhixing/new_index.html裁判文书：http://wenshu.court.gov.cn终本案件和执行人爬取还是挺简单的，没有涉及到加密，验证码也可以直接识别过掉，主要是网站不是很稳定，经常出现502,504,500错误，涉及到一些失败重连机制。IP限制我们用的是拨号来解决的，客户对于速度的要求不是很高，考虑到客户预算有限没有上优质HTTP代理。 ...
HTTP请求工具类(功能：1、获取网页html；2、下载网络图片；)：using System; using System.Collections.Generic; using System.IO; using System.Linq; using System.Net; using System.Text; using System.Threading.Tasks; using System.Windows.Forms;namespace Utils {///<summary>/// HTTP请求工具类///</summary>publicclass HttpRequestUtil{///<summary>/// 获取页面html///</summary>publicstaticstring GetPageHtml(stri...
AngleSharp 简介AngleSharp是基于.NET（C#）开发的专门解析HTML源码的DLL组件。根据HTML的DOM结构操作HTML，整个DOM已传输到逻辑类结构中。这种结构可以更好的操作DOM元素。AngleSharp还带来了一些非常有用的扩展方法，它们跟jQuery和JavaScript中的用法类似。 使用命名空间AngleSharp可以访问Html，Css，Attr或Text等方法。 这些方法向给定的IHtmlCollection一样在给定的IEnumerable <IElement>上运行。 目的很简单：轻松修改给定...
新手学习C#,自己折腾弄了个简单的小说爬虫，实现了把小说内容爬下来写入txt，还只能爬指定网站。第一次搞爬虫，涉及到了网络协议，正则表达式，弄得手忙脚乱跑起来效率还差劲，慢慢改吧。爬的目标：http://www.166xs.com/xiaoshuo/83/83557/ 一、先写HttpWebRequest把网站扒下来这里有几个坑，大概说下：第一个就是记得弄个代理IP爬网站，第一次忘了弄代理然后ip就被封了。。。。。第二个就是要判断网页是否压缩，第一次没弄结...
借鉴C#网页爬虫抓取行政区划，从国家统计局获取了最新行政区域数据。以下为代码贴片：数据库类：publicclass City {publicdecimal ID { get; set; }publicstring Name { get; set; }publicstring Code { get; set; }publicstring Org_Level { get; set; }publicstring ParentCode { get; set; }publicdecimal ParentID { get; set; }publicstring Contry { get; set; }publicstring Loc_x { get; set; }publicstring Loc_y { get; ...
介绍 网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 背景 最近在玩爬虫，但是发现基本都是python的资料居多。如今代码圈很多做网络爬虫的例子，这里给大家分享的是如何用C#做网络爬虫。注意这里的分享只是分享思路和遇到的一些问题，并不是一整个例子，因为如果要讲...
匹配一对括号，用于在一个html文本中提取JSon 文本。例如 { “duration”:7599,"minBufferTime{second bracket }{third bracket} } 一对加粗的{} ，而不要中间的{}。简单写法会出现错误匹配。 在.Net Framework的正则表达式中，提供了”平衡组/递归匹配“的处理方法（见《正则表达式30分钟入门教程》） 仔细研读之后，文中给出了匹配div的表达式，但是测试失败。 原文反而表达式如下： <div[^>]*>[^<>]*(((?'Open'<div[^>]*>)[^<>]...
刚学c#不久，想体验一下使用c#语言来爬虫，之前是用python来爬取的。（其实就是语法不一样而已， (adsbygoogle = window.adsbygoogle || []).push({});标签：xpath,HtmlDocument,string,c#,request,爬虫,html,new 来源： https://www.cnblogs.com/hwxing/p/12949020.html(adsbygoogle = window.adsbygoogle || []).push({});(adsbygoogle = window.adsbygoogle || []).push({});关于我们|联系我们|留言反馈专注分享技术，共同学习...
原本是发布在【原创发布区】板块的，但是审核太慢了，一天了新帖都不超过3个，所以改发布到精品软件区。因为昨天的帖子还没通过审核，不能修改，但是我今天又升级了一下功能，所以把新版本发布到这里。 2020/03/14更新内容：1、可以自定义保存图片目录，但还是会保存在软件目录下的images目录下，可以选择当前日期，或者网站域名，或者自己输入文件夹名称，请勿输入特殊字符，支持中文2、去掉非站内url的跳转，提升爬虫效率3、软件...
为什么说到数据流了呢，因为上一节中介绍了一下异步发送请求。同样，在数据流的处理上，C#也为我们提供几个有用的异步处理方法。而且，爬虫这生物，处理数据流是基础本能，比较重要。本着这个原则，就聊一聊吧。 我们经常使用到的流有文件流、内存流、网络流，爬虫与这三种流都有着密不可分的联系，可以联想以下这些场景：当我们采集的数据，是一个压缩包或者照片，那么要存储它们到硬盘上，就需要使用到文件流了； 当我们采集的数...
本文通过文章同步功能推送至博客园，显示排版可能会有所错误，请见谅!事情源于有人找我从科创板官网帮忙下载已挂牌上市企业的问询函虽然目前符合条件的只有二三十家，但文件可有好几百个，一个个点手应该是没了，于是拿起C#愉快的敲起了代码。一开始构思要实现披露文件下载和检索下载内容两大功能（一般是pdf文件）奈何能力有限，没有找到按段落解析pdf的方法，检索的效率和结果都难以令人满意，所以最后调用FileLocator作为替代方...
本文通过文章同步功能推送至博客园，显示排版可能会有所错误，请见谅!事情源于有人找我从科创板官网帮忙下载已挂牌上市企业的问询函虽然目前符合条件的只有二三十家，但文件可有好几百个，一个个点手应该是没了，于是拿起C#愉快的敲起了代码。一开始构思要实现披露文件下载和检索下载内容两大功能（一般是pdf文件）奈何能力有限，没有找到按段落解析pdf的方法，检索的效率和结果都难以令人满意，所以最后调用FileLocator作为替代方...
我刚开始学习ZeroMQ,并希望在学习的同时构建一个分布式webcrawler作为示例. 我的想法是有一个用PHP编写的“服务器”,它接受一个应该开始爬行的URL. Worker(C#cli)必须抓取该URL,提取链接,并将它们推回到服务器上的堆栈中.服务器不断将堆栈中的URL发送给工作人员.也许redis会跟踪所有已爬网的网址,因此我们不会多次抓取网站,并且能够提取当前进程的统计信息. 我想让服务器均匀地分配任务,注意新工作/缺少工作人员,并在工人没有响应时...
HtmlAgilityPack真是一把网抓利器，可以迅速地从网页抓到想要的文本或数据，使用起来十分方便，引用时在NuGet安装添加并在头部引用using HtmlAgilityPack;即可。HtmlWeb webc = new HtmlWeb(); HtmlDocument htmlDoc = webc.Load(@"https://doc。。。"); HtmlNodeCollection hc = htmlDoc.DocumentNode.SelectNodes("//td[contains(normalize-space(text()),Investment Advisor:)]/../../../../preceding-sibling::div[position()<...
和我，在成都的街头走一走，哦~喔~哦~public JsonResult GetHtml(){string url = "http://www.xxxxxxxxxxxxxxxxxx.com/index.php?f=order&no=618621";//网站地址HttpWebRequest Myrq = (HttpWebRequest)WebRequest.Create(url);Myrq.KeepAlive = false;Myrq.Timeout = 30*1000;Myrq.Method = "GET";Myrq.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exc...