1.概述

本课程的视频教程地址：《Hadoop 回顾》

　　如果本教程能帮助到您，希望您能点击进去观看一下，而且现在注册成为极客学院的会员，验证手机号码和邮箱号码会赠送三天的会员时间，手机端首次也可以领取五天的会员时间哦（即使是购买年会员目前也仅仅是年费260），成为极客学院学习会员可以无限制的下载和观看所有的学院网站的视频，谢谢您的支持！

　　好的，下面就开始本篇教程的内容分享，本篇教程我为大家介绍我们要做一个什么样的Hadoop项目，并且对Hadoop项目的基本特点和其中的难点做有针对性的剖析，完成项目环境的基本配置，以及项目工程和Hadoop插件的相关准备等工作。

　　本课程主要包含以下课时，其内容如下图所示：

　　本节为大家分享的是第一节——《Hadoop 回顾》，下面开始今天的分享内容。

2.内容

　　从这节开始，我们将进入到Hadoop项目的实战学习，本节课程为大家介绍的主要知识点有一下内容，如下图所示：

　　首先，我们来看看本节的Hadoop的业务知识点，业务场景如下：

　　假设现在有以下场景，用户每天都会对某网站进行点击，这些点击都会记录到日志中，然后分析用户在网站的使用习惯。

　　其内容包含如下内容，如下图所示：

　　接着，是Hadoop的应用场景，其内容包含如下内容，如下图所示：

　　通过阅读上图，下面我给大家解释以下这个图中所设计的含义：

　　1.Hadoop的核心之一，就是它的离线计算模型MapReduce。

• 在数据统计中，统计网站的PV、UV
• 大规模Web信息搜索
• 一些复杂的算法

　　MapReduce都能非常友好的实现。

　　2.海量数据的离线分析
　　在MapReduce框架下，很难处理实时计算，作业都以日志分析这样的离线作业为主。

　　3.静态数据源
　　Hadoop要保证分析与计算的数据源是静态的，不能是实时的流水数据。这也是Hadoop自身设计特点决定了数据源必须是静态的。

　　在了解了Hadoop的应用场景和业务场景之后，下面我们来看看用户行为分析平台的搭建需要注意哪些事项，注意事项包含以下内容，如下图所示：

　　1.平台的高可用性　　

　　如图所示，这是一个高可用平台的简要说明图，在Hadoop2.x版本后，Hadoop提出了HA方案。HA方案的出现，解决了第一代的单点问题，在图中，我们可以看出，在Client请求服务时，若NameNode Active（NNA）节点宕机，整个集群依然是可用的，NameNode Standby（简称NNS）节点会立马切换自己的状态,由Standby切换为Active，并对外提供服务。保证集群的高可用性。

　　注：下面是集群的启动演示，可以参考视频的启动步骤：《Hadoop 回顾》
　　2.在对NameNode Active节点和NameNode Standby节点配置时
　　hdfs-site.xml和core-site.xml两个文件中HDFS的NameService要保持一致；
在配置HA的实现时，Hadoop官方提供了两种NameNode HA的实现方式，分别是QJM和NFS，同学们可自选一种实现。
　　3.在配置YARN的相关配置文件
　　yarn-site.xml文件，有一个属性需要特别注意，它就是yarn.resourcemanager.ha.id这个属性。假设，我们在NNA节点上配置的是value值是rm1，那么在NNS节点上我们得将value换成rm2。

　　4.在集群启动时，需注意按照以下顺序
　　第一步：由于我们选择的是QJM方案，需要使用到zookeeper，所以在各个DataNode节点上启动zookeeper服务
　　第二步：在其中一台NameNode节点（这里我预选取的是NameNode Active节点）启动journalnode服务，该服务用于共享存储，同步节点信息。
　　第三步：若是首次启动，需要在其中一台NameNode Active节点上格式HDFS
　　第四步：接着我们同样一台NameNode Active节点格式化zkfc,它对应的类是DFSZKFailoverController
　　第五步：在NameNode Active节点启动hdfs服务和yarn服务
　　第六步：同步NameNode Active节点的元数据

 3.结束语

　　这就是本节的主要内容，主要就对Hadoop做一个回顾学习，对后续学习Hadoop项目实战做一个准备工作。

转载请注明出处，谢谢合作！

本课程的视频教程地址：《Hadoop 回顾》

　　如果本教程能帮助到您，希望您能点击进去观看一下，而且现在注册成为极客学院的会员，验证手机号码和邮箱号码会赠送三天的会员时间，手机端首次也可以领取五天的会员时间哦（即使是购买年会员目前也仅仅是年费260），成为极客学院学习会员可以无限制的下载和观看所有的学院网站的视频，谢谢您的支持！

原文：http://www.cnblogs.com/smartloli/p/4564114.html