初识hadoop
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了初识hadoop，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1261字，纯文字阅读大概需要2分钟。
内容图文
今日根据《hadoop权威指南》和炼数成金的黄志洪老师的视频，了解了hadoop的基本原理、基本构架和简单实现。
hadoop本身是一个分布式文件系统（HDFS）和计算框架（MapReduce）；YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，不仅仅只能运行MapReduce。
为了实现单机hadoop，首先必须下载安装相应的JDK，一般放置在~/usr下；
其次下载最新的、稳定版本的hadoop，解压缩，依次编辑下面的文件：
1、hadoop-env.sh 指定jdk地址： export JAVA_HOME=/usr/java/jdk1.8.0_141；
2、core-site.xml 指定namenode监听的端口，临时文件存放地址
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/grid/hadoop2.7.3/tmp</value>
</property>
</configuration>
3、hdfs-site.xml：
configuration>
<property>
<name>dfs.replication</name>
<value>1</value> #因为单机，所以设置文件只要保存1份，系统默认是3份：
</property>
</configuration>
4、mapred-site.xml，mapreduce监听的端口
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
接下来，用命令bin/hdfs namenode -format 格式化HDFS，随即，用命令sbin/start-dfs.sh启动hadoop，如果成功，运行/usr/jdk1.8.0_141/bin/jps 会显示namenode进程。
原文：http://www.cnblogs.com/gangzhuzi/p/7223233.html
内容总结
以上是互联网集市为您收集整理的初识hadoop全部内容，希望文章能够帮你解决初识hadoop所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。