Hadoop向HDFS写入、删除、读取文件
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop向HDFS写入、删除、读取文件,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1494字,纯文字阅读大概需要3分钟。
内容图文
![Hadoop向HDFS写入、删除、读取文件](/upload/InfoBanner/zyjiaocheng/1256/2ccdc4fc3182411eb85a86efbd860cff.jpg)
先说说遇到的一些问题:
1、比如Configuration 这个如果点Eclipse的红色小叉,。里面的import是会导入错误的东西的。。。。好几个类或者方法都会出现这个问题
2、用了几个网上的代码,莫名其妙错误,然后自己看书 结合网上代码改改 得到的下面版本
3、byte[]数组开得比较大然后写入的话,会存在问题是写入很多0,我的方法比较笨,对string判断,为0的之后的就不写。。
我实现的功能是把文件内容读入,删除,在建立一个同名文件写入新的东西
import java.net.URI; import java.util.Arrays; import java.io.*; import org.apache.hadoop.io.*; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.FileSystem; public class FileSystemCat { public static void main(String[] args) throws IOException{ String uri = args[0]; String uro = args[0]; Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(URI.create(uri), conf); //FileSystem hdfs = FileSystem.get(URI.create(uro), conf); FSDataInputStream in = fs.open(new Path(uri)); //IOUtils.copyBytes(in, System.out,4096,false); //in.seek(1); //IOUtils.copyBytes(in, System.out,4096, false); //文件读取 byte[] ioBuffer = new byte[1024]; int readLen = in.read(ioBuffer); while(readLen!=-1) { readLen = in.read(ioBuffer); } String str = new String(ioBuffer); int cnt=0; while((int)(str.charAt(cnt)) != 0)cnt++; str=str.substring(0, cnt); System.out.println(str); in.close(); //文件的删除 fs.delete(new Path(uri), true); //文件的写入 FSDataOutputStream out = fs.create(new Path(uro)); out.write(("new1"+str).getBytes("UTF-8")); out.flush(); out.sync(); out.close(); fs.close(); } catch (Exception e) { e.printStackTrace(); } } }
原文:http://blog.csdn.net/u011026968/article/details/45626845
内容总结
以上是互联网集市为您收集整理的Hadoop向HDFS写入、删除、读取文件全部内容,希望文章能够帮你解决Hadoop向HDFS写入、删除、读取文件所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。