Hadoop 群起集群并进行基本测试
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop 群起集群并进行基本测试，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2115字，纯文字阅读大概需要4分钟。
内容图文
文章目录
一、群起集群
1、配置workers
在hadoop102中编辑文件
vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
在该文件中写入
hadoop102
hadoop103
hadoop104
需要注意的是：该文件每行后不能有空格，最后不能多加一个空行，可以说是相当严格了！
最后使用xsync分发脚本
xsync /opt/module/hadoop-3.1.3/etc/
2、启动集群
1）初始化
如果是第一次启动，需要在hadoop102节点格式化NameNode，使用下面的命令
hdfs namenode -format
在使用格式化命令之后，进入hadoop安装目录，可以看到多出了data和logs文件：
2）启动HDFS
在hadoop102启动HDFS：
[wzq@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
[wzq@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
如下图所示，已经成功在hadoop102启动了namenode，在hadoop103启动了secondary namenode
3）启动YARN
然后在hadoop103上启动YARN
[wzq@hadoop103 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
[wzq@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
如下图所示，启动成功！
4）在web端查看HDFS的NameNode http://hadoop102:9870
配置好之后，可以打开浏览器输入：
http://hadoop102:9870
这个连接可以查看HDFS的NameNode：
也可以查看系统中有什么文件：
5）在web端查看YARN的ResourceManagerhttp://hadoop103:8088
在浏览器输入：
http://hadoop103:8088
可以查看某一个任务在执行时的状态
二、基本测试
1、上传文件到集群
创建文件夹：
hadoop fs -mkdir /input
上传小文件到刚刚创建的文件夹input中：
hadoop fs -put /home/wzq/demo/word.txt /input
2、文件的存储位置
[wzq@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-
192.168.10.102-1610603650062/current/finalized/subdir0/subdir0
3、下载
使用-get可以下载服务器上的文件
hadoop fs -get /input ./
执行效果：
4、执行wordcount程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
执行之后，终端显示界面：
yarn显示界面中可以看到状态是成功的：
观察文件：
发现多了两个文件一个output和一个tmp，最终结果存放在了output中，打开看一下：
打开之后，查看文件发现wordcount运行成功！
内容总结
以上是互联网集市为您收集整理的Hadoop 群起集群并进行基本测试全部内容，希望文章能够帮你解决Hadoop 群起集群并进行基本测试所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。