C# 采集页面

所以当你要开发数据采集程序的时候，你必须先对你试图采集的网站的前台页面结构（HTML）要有所了解。

当你对要采集数据的网站里的HTML源文件内容十分熟悉之后，剩下程序上的事情就很好办了。因为C#对Web站点进行数据采集其原理就在于“把你要采集的页面HTML源文件下载下来，分析其中HTML代码然后抓取你需要的数据，最后将这些数据保存到本地文件”。

基本流程如下图所示：

首先引用System.Net命名空间

using System.Net;
此外还需引用

using System.Text;
using System.IO;
 引用完后实例化一个WebClient对象

private WebClient wc = new WebClient();
 调用DownloadData方法将指定网页的源文件下载一组BYTE数据，然后将BYTE数组转为字符串。

//下载页面源文件并将其转换成UTF8编码格式的STRING
string mainData = Encoding.UTF8.GetString(wc.DownloadData(string.Format("你要采集的网页地址")));
 或则也可以调用DownloadFile方法，先将源文件下载到本地然后再读取其字符串

//下载网页源文件到本地
wc.DownloadFile("你要采集的网页URL","保存源文件的本地文件路径");
//读取下载下来的源文件HTML格式的字符串
string mainData = File.ReadAllText("保存源文件的本地文件路径",Encoding.UTF8);
有了网页HTML格式字符串，就可以对网页分析采集并抓取你所需要的内容了。

2.页面分析采集

页面分析就是要将网页源文件中某个特定或是唯一的字符（串）作为抓取点，以这个抓取点作为开端来截取你想要的页面上的数据。

以博客园为列，比方说我要采集博客园首页上列出来的文章的标题和链接，就必须以"<a class="titlelnk" href=""作为抓取点，以此展开来抓取文章的标题和链接。

CODE:

//以"<a class="titlelnk" href=""作为抓取点开始采集
mainData=mainData.Substring(mainData.IndexOf("<a class="titlelnk" href="") + 26);

//获取文章页面的链接地址
string articleAddr = mainData.Substring(0,mainData.IndexOf("""));

//获取文章标题
string articleTitle = mainData.Substring(mainData.IndexOf("target="_blank">") + 16,
                                               mainData.IndexOf("</a>") - mainData.IndexOf("target="_blank">") - 16);
 

 注意：当你要采集的网页前台HTML格式变了之后，作为抓取点的字符窜也因做相应地改变，否则是采集不到任何东西的

3.数据保存

当你把需要的数据从网页截取下来后，将数据在程序中稍加整理保存到本地文件(或插入到自己本地的数据库中)。这样整个采集工作就算搞一段落了。

//输出数据到本地文件
File.AppendAllText(CreateFolderIfNot(Settings.Default.OutPath) + articleTitle + ".txt",
                                       articleData,
                                       Encoding.UTF8);