首页 / HADOOP / hadoop 安装配置

hadoop 安装配置

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了hadoop 安装配置，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1598字，纯文字阅读大概需要3分钟。

内容图文

1。伪分布式搭建；

    步骤参考：

　　　　http://wenku.baidu.com/link?url=N_Sc7dqaO5HB47SmhntYZQI2tvvAjYt0mWT0fx28FDSMRYKTLUTcWlxe2kaYWRhjN7y1z3jc0As5NV5Np3nq1fOznL3WxR-6atCCfEpcYjy

2。一个slave节点搭建：

　 步骤参考：

　　　　http://wenku.baidu.com/link?url=wltxZ0bSJ-Wmmg80B0-YQIh9gVbotsU-KeQPCCDCFnb6eMEU81ASJae4O18VZzZ2dFaA2YApZxsv2ogcYPIuFHLhUhVxKcxK-DOtM_djhkG

遇到问题：

1.

命令：

./hadoop namenode -format

报错：

1).java.io.FileNotFoundException: /usr/hadoop-0.20.2-cdh3u6/logs/SecurityAuth-hadoop.audit(No such file or directory)

2).ERROR namenode.NameNode: java.io.IOException: Cannot create directory /home/tmp/dfs/name/current

解决：

chown -R hadoop /home/tmp

给hadoop用户赋予tmp目录权限

2.

命令：

start-all.sh

问题1中的办法只解决了1中的2)，不过可以不理，执行2.中命令

启动后，

命令：hadoop dfs -ls

问题：Bad connection to FS. command aborted. exception:.......Connection refused

调试：

命令：jps

发现dataNode nameNode 都没起来

查看日志文件：

命令：more  XXXX.log  记得把  XXXX.out  换成  XXXX.log

发现：

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.

WARN org.apache.hadoop.util.DiskChecker:Incorrect permissions were set on /home/hadoop/dfs/data, expected: rwx----,while actual: rwxr-xr-x, Fixing...

原来还是权限问题：

解决：

命令：chown -R hadoop dfs/  tmp/  （tmp是自己建的目录）

再次启动，有了DataNode

问题：

但是，还木有NameNode

ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: Cannot lock storage /home/tmp/dfs/name. The directory is already locked.

解决：

1. 删除存储目录 dfs.data.dir

2. 删除临时存储目录hadoop.tmp.dir

3. 重启环境，格式化namenode节点（确认时，要输入Y，不能输入y）

参考：

http://f.dataguru.cn/thread-139654-1-1.html

 

 

启动时报错：

原文：http://www.cnblogs.com/-wangjiannan/p/3578672.html

内容总结

以上是互联网集市为您收集整理的hadoop 安装配置全部内容，希望文章能够帮你解决hadoop 安装配置所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1157935.html

来源：【匿名】