首页 / JAVA / Java网页抓取

Java网页抓取

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Java网页抓取，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1239字，纯文字阅读大概需要2分钟。

内容图文

程序逻辑：
从文件config.txt读取url链接，根据url打开输入流，将接收到的网页内容保存到文件。


package com.changying.spider;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileOutputStream;
import java.io.FileReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URL;

public class Spider {
	public static void main(String[] args) throws IOException {
		System.out.println(args[0]);
		System.out.println(args[1]);
		File config = new File(args[0]);
		//System.out.println("Hello World!");
		
		BufferedReader fileReader = new BufferedReader(new FileReader(config));
		String strUrl = fileReader.readLine();
		System.out.println(strUrl);
		URL url = new URL(strUrl);
		InputStream in = url.openStream();
		File resultFile = new File(args[1] + "\\url001.html");
		if (!resultFile.exists()) {
			resultFile.createNewFile();
		}
		//OutputStream result = new FileOutputStream(args[1] + "\\url001.html");
		OutputStream result = new FileOutputStream(resultFile);
		
		byte[] buffer = new byte[4096];
		int bytes_read;
		
		while ((bytes_read = in.read(buffer)) != -1) {
			result.write(buffer, 0, bytes_read);
		}
		fileReader.close();
		in.close();
		result.close();
	}
}


原文：http://blog.csdn.net/hantangsongming/article/details/20237555

内容总结

以上是互联网集市为您收集整理的Java网页抓取全部内容，希望文章能够帮你解决Java网页抓取所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1207692.html

来源：【匿名】