Hadoop安装配置

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop安装配置，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3129字，纯文字阅读大概需要5分钟。

内容图文

<H2 style=‘font: bold 20px/1.5 "Microsoft Yahei"; margin: 10px 0px; padding: 6px 20px; border-radius: 4px; text-align: left; color: rgb(255, 255, 255); text-transform: none; text-indent: 0px; letter-spacing: normal; clear: both; word-spacing: 0px; white-space: normal; orphans: 2; widows: 2; font-size-adjust: none; font-stretch: normal; background-color: rgb(25, 163, 213); -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px;‘>1、集群部署介绍

 

<H3 style=‘margin: 10px 0px; padding: 6px 20px; border-radius: 4px; color: rgb(255, 255, 255); text-transform: none; text-indent: 0px; letter-spacing: normal; clear: both; font-family: "Microsoft Yahei"; font-size: 18px; font-style: normal; font-variant: normal; font-weight: bold; word-spacing: 0px; white-space: normal; orphans: 2; widows: 2; background-color: rgb(61, 188, 223); -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px;‘>1.1 Hadoop简介

 

　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

　　对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。

　　从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

 

<H3 style=‘margin: 10px 0px; padding: 6px 20px; border-radius: 4px; color: rgb(255, 255, 255); text-transform: none; text-indent: 0px; letter-spacing: normal; clear: both; font-family: "Microsoft Yahei"; font-size: 18px; font-style: normal; font-variant: normal; font-weight: bold; word-spacing: 0px; white-space: normal; orphans: 2; widows: 2; background-color: rgb(61, 188, 223); -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px;‘>1.2 环境说明

　　集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通，具体集群信息可以查看"Hadoop集群（第2期）"。节点IP地址分布如下：

 

机器名称	<SPAN style=‘margin: 0px; padding: 0px; font-family: "times new roman";‘>IP地址

<SPAN style=‘margin: 0px; padding: 0px; font-family: "times new roman"; font-size: 10pt;‘>Master.Hadoop

<SPAN style=‘margin: 0px; padding: 0px; font-family: "times new roman"; font-size: 10pt;‘>192.168.1.2

<SPAN style=‘margin: 0px; padding: 0px; font-family: "times new roman"; font-size: 10pt;‘>Salve1.Hadoop 

<SPAN style=‘margin: 0px; padding: 0px; font-family: "times new roman"; font-size: 10pt;‘>192.168.1.3 

<SPAN style=‘margin: 0px; padding: 0px; font-family: "times new roman"; font-size: 10pt;‘>Salve2.Hadoop 

<SPAN style=‘margin: 0px; padding: 0px; font-family: "times new roman"; font-size: 10pt;‘>192.168.1.4 

<SPAN style=‘margin: 0px; padding: 0px; font-family: "times new roman"; font-size: 10pt;‘>Salve3.Hadoop 

<SPAN style=‘margin: 0px; padding: 0px; font-family: "times new roman"; font-size: 10pt;‘>192.168.1.5 

内容总结

以上是互联网集市为您收集整理的Hadoop安装配置全部内容，希望文章能够帮你解决Hadoop安装配置所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---