Hadoop2.2.0的新特性

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop2.2.0的新特性，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1823字，纯文字阅读大概需要3分钟。

内容图文

ApacheHadoop-2.2.0 与之前的 hadoop-1.x 相比出现了一些新的特性，具体如下： 一．资源统一管理系统 YARN YARN 是 ”YetAnotherResourceNegotiator”的简称。由于 MRv1 存在扩展性，资源利用率，可靠性和只能单一框架作业的问题， apache 对 MRv1 进行改造

Apache Hadoop-2.2.0与之前的hadoop-1.x相比出现了一些新的特性，具体如下：

一．资源统一管理系统YARN

YARN 是”Yet Another Resource Negotiator”的简称。由于MRv1存在扩展性，资源利用率，可靠性和只能单一框架作业的问题，apache对MRv1进行改造，把JobTracker中的资源管理功能抽象成了一个独立的系统，由原来HDFS,MapReduce两个框架的Hadoop变为了HDFS,YARN,MR,Others等多个框架集合的Hadoop，如下图1 Hadoop框架的演变

图1 Hadoop框架的演变

集结了YARN的集群的不单局限运行MR，还能够同时运行其他的框架比如Spark,Storm,Giraph等，对于运行在YARN之上的各种框架，YARN进行资源（比如CPU,内存）统一管理和分配，使它们共享一个集群，从而提高资源的利用率，降低成本。

二．HDFS Federation

在Hadoop 0.23之前一个集群只有一个命名空间，并且是单独的NameNode,这个NameNode负责对这个单独的命名空间进行管理。针对单个NameNode的HDFS架构具有一定的局限性，比如随着数据的飞涨命名空间的限制，性能的瓶颈，大量不同类型的程序在集群中运行导致相互之间的影响，同时由于单节点失效的隐患，一个NameNode的集群一旦宕机将导致了整个集群的不可用。HDFS Federation使HDFS的命名空间能够横向的扩展。在HDFS Federation中的NameNode是联盟关系，它们之间相互独立且不需要相互协调,各自分工，管理自己的区域。从而能够快速的解决大部分单NameNode的问题。图2HDFS框架图：

图2 HDFS框架图

三．HDFS Snaphots

保存某一个时刻的只读文件系统，用于数据的备份防止用户错误和灾难恢复。与数据库快照类似！

四．HDFS HA

用于解决HDFS的NameNode单节点问题。实现主NameNode节点在出现故障时与备NameNode节点之间的快速切换。主备NameNode之间通过一个共享存储同步元数据信息，其中Hadoop提供了QJM和NFS两种可选的共享存储系统。

内容总结

以上是互联网集市为您收集整理的Hadoop2.2.0的新特性全部内容，希望文章能够帮你解决Hadoop2.2.0的新特性所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---