首页 / HADOOP / docker中搭建分布式hadoop集群

docker中搭建分布式hadoop集群

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了docker中搭建分布式hadoop集群，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2361字，纯文字阅读大概需要4分钟。

内容图文

1、pull Ubuntu镜像配置Java环境

2、下载hadoop软件包

3、配置JAVA_HOME（hadoop-env.sh、mapred-env.sh、yarn-env.sh）

4、配置core-site.xml

            <
            configuration
            >
            <
            property
            >
            <
            name
            >fs.defaultFS</name><value>hdfs://127.17.0.5:8020</value></property><property><name>hadoop.tmp.dir</name><value>/home/root/data/tmp</value></property></configuration>

5、配置hdfs-site.xml

            <
            configuration
            >
            <
            property
            >
            <
            name
            >dfs.namenode.secondary.http-address</name><value>172.17.0.2:50090</value></property></configuration>

6、配置slave

            127.17.0.5
127.17.0.6
127.17.0.2

7、配置yarn-site.xml

            <
            configuration
            >
            <
            property
            >
            <
            name
            >yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>172.17.0.6</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>106800</value></property></configuration>

8、配置mapred-site.xml

            cp mapred-site.xml.template mapred-site.xml
            <
            configuration
            >
            <
            property
            >
            <
            name
            >mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>172.17.0.5:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>172.17.0.5:19888</value></property></configuration>

9、设置ssh登录

安装sshd

apt-get install openssh-server
service ssh start
ps -e | grep ssh

生成秘钥

            ssh-keygen -t rsa

设置root密码

            passwd

设置root远程登录 PermitRootLogin yes 

vim /etc/ssh/sshd_config
/etc/init.d/ssh restart

分发公钥

            ssh-copy-id172.17.0.5ssh-copy-id172.17.0.6ssh-copy-id172.17.0.2

NameNode执行格式化

hdfs namenode –format

NodeNode(172.17.0.5)上启动HDFS集群

/sbin/start-dfs.sh

启动出错

The authenticity of host ‘127.17.0.2 (127.17.0.2)‘ can‘t be established.
Host key verification failed.
            vi /etc/ssh/ssh_config

修改 StrictHostKeyChecking no 

  172.17.0.6 上启动ResourceManager

sbin/yarn-daemon.sh start resourcemanager

 

原文：https://www.cnblogs.com/csig/p/9975195.html

内容总结

以上是互联网集市为您收集整理的docker中搭建分布式hadoop集群全部内容，希望文章能够帮你解决docker中搭建分布式hadoop集群所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1278107.html

来源：【匿名】