在c#中模拟无限滚动以获取页面的完整html

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了在c#中模拟无限滚动以获取页面的完整html，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1501字，纯文字阅读大概需要3分钟。

内容图文

有很多网站使用这种(imo)恼人的“无限滚动”风格.
例如tumblr,twitter,9gag等网站.

我最近尝试使用HtmlAgilityPack以编程方式从这些网站中删除一些图片.
像这样：

HtmlWeb web = new HtmlWeb();  
HtmlDocument doc = web.Load(url);
var primary = doc.DocumentNode.SelectNodes("//img[@class='badge-item-img']");
var picstring = primary.Select(r => r.GetAttributeValue("src", null)).FirstOrDefault();

这工作正常,但当我尝试从某些网站加载HTML时,我注意到我只收回了少量内容(比如前10个“帖子”或“图片”,或其他什么……)
这让我想知道是否可以在c#中模拟页面的“向下滚动”.

这不仅仅是我以编程方式加载html的情况,当我只是去tumblr这样的网站时,我检查firebug或只是“查看源代码”,我预计所有内容都会在某处,但很多好像是用javascript隐藏/插入. HTML源中只显示我的屏幕上实际可见的内容.

所以我的问题是：是否可以模拟无限滚动到页面,并用c#(最好)加载到那个HTML？

(我知道我可以使用API??用于tumblr和twitter,但我只是想和HtmlAgilityPack一起玩一些有趣的黑客攻击)

解决方法:

除了嵌入网络浏览器(通常无法在无头环境中工作)之外,没有办法一次性可靠地为所有这些网站做到这一点.

您应该考虑做的是查看网站的JavaScript,以便在用户向下滚动时查看用于获取内容的AJAX查询.

或者,在浏览器中使用Web调试器(例如Chrome中包含的调试器).这些调试器通常具有“网络”窗格,您可以使用它来检查页面执行的AJAX请求.在向下滚动时查看这些请求应该为您提供足够的信息来编写模拟这些请求的C#代码.

然后,您将必须解析来自这些请求的响应,因为特定API提供的内容类型可能是JSON或XML,但几乎肯定不是HTML. (无论如何,这对你来说可能更好,因为它可以节省你必须解析面向显示的HTML,而AJAX API将为你提供更容易使用的数据对象.)

内容总结

以上是互联网集市为您收集整理的在c#中模拟无限滚动以获取页面的完整html全部内容，希望文章能够帮你解决在c#中模拟无限滚动以获取页面的完整html所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端