记一次 Centos7.x Hadoop 3.x HDFS 写入文件

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了记一次 Centos7.x Hadoop 3.x HDFS 写入文件，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2182字，纯文字阅读大概需要4分钟。

内容图文

操作目的

1、在Linux环境下 编写HDFS写文件程序的java文件
2、编译并打包HDFS的写程序
3、执行HDFS的写程序

环境、工具说明

1、先搭建一个 Hadoop 的基础集群环境
参考：Hadoop集群搭建
2、JDK版本：jdk1.8
安装配置过程
3、工具：xshell5
4、VMware 版本：VMware Workstation Pro15
5、Hadoop：3.3.0

在clinet节点上编写HDFS写程序

1、在将要编写 java 程序的节点上配置环境变量
此处我选择了 slave1 节点

[root@slave1 ~]# vim /etc/profile

在最后写入如下内容

export JAVA_HOME="/usr/lib/jvm/java-1.8.0"
export JRE_HOME="/usr/lib/jvm/java-1.8.0/jre"
export HADOOP_HOME="/usr/bigdata/hadoop-3.3.0"
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/common/lib/*
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

使配置的环境变量生效

[root@slave1 ~]# source /etc/profile

2、编写文件 WriteFile.java
编辑文件

[root@slave1 opt]# vim /opt/WriteFile.java

写入内容

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class WriteFile {
	public static void main(String[] args) throws IOException {
		Configuration conf = new Configuration();
		FileSystem hdfs = FileSystem.get(conf);
		Path dfs = new Path("/HelloHadoop.txt");
		FSDataOutputStream outputStream = hdfs.create(dfs);
		outputStream.writeUTF("HDFS基础操作，新建文件，并写入内容。");
		outputStream.close();
	}
}

2、编译并打包程序 WriteFile.java

[root@slave1 opt]# javac WriteFile.java

查看目录

打包

[root@slave1 opt]# jar -cvf WriteFile.jar WriteFile.class

查看

3、使用 hadoop 的 jar 命令执行 WriteFile.jar

[root@slave1 opt]# hadoop jar ./WriteFile.jar WriteFile

4、查看在 HDFS 创建的文件

[root@slave1 opt]# hadoop fs -ls /
或
[root@slave1 opt]# hdfs dfs -ls /

5、查看文件内容

[root@slave1 opt]# hadoop fs -cat /HelloHadoop.txt
或
[root@slave1 opt]# hdfs dfs -cat /HelloHadoop.txt

至此 Centos7.x Hadoop 3.x HDFS 写入文件操作完毕，希望能够对您有所帮助！

内容总结

以上是互联网集市为您收集整理的记一次 Centos7.x Hadoop 3.x HDFS 写入文件全部内容，希望文章能够帮你解决记一次 Centos7.x Hadoop 3.x HDFS 写入文件所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---