Hadoop运行模式：本地模式、伪分布模式、完全分布模式
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop运行模式：本地模式、伪分布模式、完全分布模式，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1095字，纯文字阅读大概需要2分钟。
内容图文
1、本地模式：默认模式
- 不对配置文件进行修改。
- 使用本地文件系统，而不是分布式文件系统。
- Hadoop不会启动NameNode、DataNode、ResourceManager、NodeManager等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。
- 用于对MapReduce程序的逻辑进行调试，确保程序的正确。
2、伪分布模式：等同于完全分布式，只有一个节点
- 分为在HDFS上执行和在YARN上执行
- Hadoop启动NameNode、DataNode、ResourceManager、NodeManager这些守护进程都在同一台机器上运行，是相互独立的Java进程。
- 在这种模式下，Hadoop使用的是分布式文件系统，各个作业也是由ResourceManager服务，来管理的独立进程。在单机模式之上增加了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。类似于完全分布式模式，因此，这种模式常用来开发测试Hadoop程序的执行是否正确。
- 修改配置文件：
- HDFS上：
hadoop-env.sh（JAVA_HOME）、core-site.xml（配置Namenode，Hadoop集群的特性，作用于全部进程及客户端）、hdfs-site.xml（配置HDFS集群的工作属性）、mapred-site.xml（配置MapReduce集群的属性）
- YARN上：
yarn-env.sh（配置JAVA_HOME）、yarn-site.xml（配置nodemanager、resourcemanager）、mapred-env.sh（配置JAVA_HOME）、mapred-site.xml（配置MapReduce集群的属性，指定运行在yarn上）
- 分布式文件系统
3、完全分布式模式：多个节点一个运行
- Hadoop的守护进程运行在由多台主机搭建的集群上，是真正的生产环境。
- 在所有的主机上安装JDK和Hadoop，组成相互连通的网络。
- 在主机间设置SSH免密码登录，把各从节点生成的公钥添加到主节点的信任列表。
- 修改3个配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml，指定NameNode和ResourceManager的位置和端口，设置文件的副本等参数
- 分布式文件系统
原文：https://www.cnblogs.com/MWCloud/p/11212814.html
内容总结
以上是互联网集市为您收集整理的Hadoop运行模式：本地模式、伪分布模式、完全分布模式全部内容，希望文章能够帮你解决Hadoop运行模式：本地模式、伪分布模式、完全分布模式所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。