首页 / HADOOP / hadoop 2.5 伪分布安装
hadoop 2.5 伪分布安装
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了hadoop 2.5 伪分布安装，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2258字，纯文字阅读大概需要4分钟。
内容图文
最新的hadoop2.5 安装目录做了一定修改，安装变得稍微简单一点
首先安装准备工具
$ sudo apt-get install ssh $ sudo apt-get install rsync
配置ssh
$ ssh localhost
If you cannot ssh to localhost without a passphrase, execute the following commands:
$ ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
进入etc/hadoop/hadoop-env.sh 配置运行环境
# set to the root of your Java installation export JAVA_HOME=/usr/java/latest # Assuming your installation directory is /usr/local/hadoop export HADOOP_PREFIX=/usr/local/hadoop
配置hdfs端口和备份数
etc/hadoop/core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>#ClientDatanodeProtocol 调用getBlockLocalPathInfo的时候 <name>dfs.block.local-path-access.user</name> <value>infomorrow</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/infomorrow/hadoop-tmp</value> </property></configuration>
etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置使用yarn
etc/hadoop/mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
etc/hadoop/yarn-site.xml:
NodeManager 在 启 动 时 加 载shuffle server,shuffle server 实 际 上 是 Jetty/Netty Server,Reduce Task 通 过 该 server 从 各 个NodeManager 上远程复制 Map Task 产生的中间结果
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
启动过程：
hdfs
-
$ bin/hdfs namenode -format （初次使用时）
-
$ sbin/start-dfs.sh
-
进入监控页查看 - http://localhost:50070/ - 在hdfs上创建文件夹
$ bin/hdfs dfs -mkdir /user $ bin/hdfs dfs -mkdir /user/<username>
-
查看hdfs上创建的文件夹 bin/hadoop fs -ls /
关闭：
$ sbin/stop-dfs.sh$ sbin/stop-yarn.sh
原文：http://blog.csdn.net/larrylgq/article/details/39184301
内容总结
以上是互联网集市为您收集整理的hadoop 2.5 伪分布安装全部内容，希望文章能够帮你解决hadoop 2.5 伪分布安装所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。