C#：通过URL地址获取HTML内容

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了C#：通过URL地址获取HTML内容，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1841字，纯文字阅读大概需要3分钟。

内容图文

//方法1 WebClient
public static string GetHTMLByURL(string URL)
{
	try
	{
		string pageHtml = "";
		WebClient MyWebClient = new WebClient();
		MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据
		Byte[] pageData = MyWebClient.DownloadData(URL); //从指定网站下载数据
		MemoryStream ms = new MemoryStream(pageData);
		using (StreamReader sr = new StreamReader(ms, Encoding.GetEncoding("GB2312")))
		{
			pageHtml = sr.ReadLine();
		}
		return pageHtml;
	}
	catch (Exception ex)
	{
		return ex.Message.ToString();
	}
}

//方法2 WebRequest & WebResponse
public static string GetHTMLByURLRequest(string URL)
{
	//Get请求中请求参数等直接拼接在url中
	WebRequest request = WebRequest.Create(URL);

	//返回对Internet请求的响应
	WebResponse resp = request.GetResponse();

	//从网络资源中返回数据流
	Stream stream = resp.GetResponseStream();

	StreamReader sr = new StreamReader(stream, Encoding.UTF8);

	//将数据流转换文字符串
	string result = sr.ReadToEnd();

	//关闭流数据
	stream.Close();
	sr.Close();

	return result;
}

//方法3 Selenium Chrome浏览器
public static string GetHTMLBySelenium(string URL)
{
	ChromeDriverService driverService = ChromeDriverService.CreateDefaultService();
	driverService.HideCommandPromptWindow = true;

	ChromeOptions options = new ChromeOptions();
	// 不显示浏览器
	//options.AddArgument("--headless");

	// GPU加速可能会导致Chrome出现黑屏及CPU占用率过高,所以禁用
	options.AddArgument("--disable-gpu");

	// 伪装user-agent
	options.AddArgument("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1");

	// 设置chrome启动时size大小
	//options.AddArgument("--window-size=414,736");

	// 禁用图片
	options.AddUserProfilePreference("profile.default_content_setting_values.images", 2);

	IWebDriver selenium = new ChromeDriver(driverService, options);
	selenium.Navigate().GoToUrl(URL);
	return selenium.PageSource
}

内容总结

以上是互联网集市为您收集整理的C#：通过URL地址获取HTML内容全部内容，希望文章能够帮你解决C#：通过URL地址获取HTML内容所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端