C# 实现抓取网站页面内容的实例方法

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了C# 实现抓取网站页面内容的实例方法，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1627字，纯文字阅读大概需要3分钟。

内容图文

抓取新浪网的新闻栏目，如图所示：

使用 谷歌浏览器的查看源代码： 通过分析得知，我们所要找的内容在以下两个标签之间：
代码如下:
<!-- publish_helper name='要闻-新闻' p_id='1' t_id='850' d_id='1' -->

内容。。。。

<!-- publish_helper name='要闻-财经' p_id='30' t_id='98' d_id='1' -->

如图所示：

内容。。。。

使用VS建立一个如图所示的网站：

我们下载网络数据主要通过   WebClient 类来实现。

使用下面源代码获取我们选择的内容：
代码如下:
protected void Enter_Click(object sender, EventArgs e)
        {
            WebClient we = new WebClient();  //主要使用WebClient类
            byte[] myDataBuffer;
            myDataBuffer = we.DownloadData(txtURL.Text);  //该方法返回的是 字节数组，所以需要定义一个byte[]
            string download = Encoding.Default.GetString(myDataBuffer);  //对下载的数据进行编码

          
            //通过查询源代码，获取某两个值之间的新闻内容
            int startIndex = download.IndexOf("<!-- publish_helper name='要闻-新闻' p_id='1' t_id='850' d_id='1' -->");
            int endIndex = download.IndexOf("<!-- publish_helper name='要闻-财经' p_id='30' t_id='98' d_id='1' -->");

            string temp = download.Substring(startIndex, endIndex - startIndex + 1);  //截取新闻内容

            lblMessage.Text = temp;//显示所截取的新闻内容
        }

效果如图：

最后: 除了把下载的数据保存为文本以外，还可以保存为 文件类型 和 流 类型。
代码如下:
WebClient wc = new WebClient();
            wc.DownloadFile(TextBox1.Text, @"F:\test.txt");
            Label1.Text = "文件下载完成";

代码如下:
WebClient wc = new WebClient();
            Stream  s =  wc.OpenRead(TextBox1.Text);

            StreamReader sr = new StreamReader(s);
            Label1.Text =  sr.ReadToEnd();

内容总结

以上是互联网集市为您收集整理的C# 实现抓取网站页面内容的实例方法全部内容，希望文章能够帮你解决C# 实现抓取网站页面内容的实例方法所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端