单机Hadoop CDH搭建

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了单机Hadoop CDH搭建，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2246字，纯文字阅读大概需要4分钟。

内容图文

单机Hadoop CDH搭建

使用Hadoop CDH 5.15.1搭建单机Hadoop.

环境要求

• ubuntu 16
• jdk: jdk1.8.0_91
• Hadoop CDH: hadoop-2.6.0-cdh5.15.1

jdk 与 CDH 百度网盘链接https://pan.baidu.com/s/1UhfuTkm_uBE1x_1_yrvVUA
提取码：zxcv

搭建步骤

1. 配置jdk环境

   1. 解压jdk 压缩包配置环境变量: 编辑~/.profile文件：

      export JAVA_HOME=/home/zzy/app/jdk1.8.0_91
      export PATH=$JAVA_HOME/bin:$PATH
      

2. 配置SSH免密登录

   1. 使用ssh-keygen -t rsa生成ssh 密钥

   2. 配置免密登录（使用的是免密登录本机）：

      cd ~/.ssh
      cat id_rsa.pub >> authorized_keys
      chmod 600 authorized_keys
      

3. Hadoop(HDFS)安装与配置

   1. 解压Hadoop 压缩包并配置环境变量：编辑~/.profile文件：

      export HADOOP_HOME=/home/zzy/app/hadoop-2.6.0-cdh5.15.1
      export PATH=$HADOOP_HOME/bin:$PATH
      

   2. 修改Hadoop 配置文件：

      进入Hadoop 解压后的目录：

      zzy@ubuntu:/etc$ cd /home/zzy/app/hadoop-2.6.0-cdh5.15.1/etc/
      zzy@ubuntu:~/app/hadoop-2.6.0-cdh5.15.1/etc$ pwd
      /home/zzy/app/hadoop-2.6.0-cdh5.15.1/etc
      zzy@ubuntu:~/app/hadoop-2.6.0-cdh5.15.1/etc$ ls
      hadoop             hadoop-mapreduce1-pseudo
      hadoop-mapreduce1  hadoop-mapreduce1-secure
      

      修改hadoop-env.sh:

      # export JAVA_HOME=$JAVA_HOME
      # 防止有多个jdk 将此处改为上边配置的jdk环境
      export JAVA_HOME=/home/zzy/app/jdk1.8.0_91
      

      修改core-site.xml，我所在的单节点的主机名叫做ubuntu所以配置的为<value>hdfs://ubuntu:8020</value> （需要更具所在主机名称修改）:

      <property>
      	<name>fs.defaultFS</name>
      	<value>hdfs://ubuntu:8020</value>
      </property>
      

      修改hdfs-site.xml, 因为搭建的是单机的HDFS所以dfs.replication的值为1：

      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
      
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/home/hadoop/app/tmp</value>
      </property>
      

   3. 修改slaves，单节点搭建所以主从主机都在一起，修改为当前主机名:

      # localhost
      ubuntu
      

4. 初始化HDFS

   第一次执行的时候一定要格式化文件系统

   因为前边已经将Hadoop 配置进环境变量，所以可以直接执行hdfs命令格式化：

   hdfs namenode -format
   

   执行完该命令可以看到上边hdfs-site.xml配置的临时文件如下：

   zzy@ubuntu:~/app/tmp$ pwd
   /home/zzy/app/tmp
   zzy@ubuntu:~/app/tmp$ ls
   dfs
   zzy@ubuntu:~/app/tmp$ cd dfs
   zzy@ubuntu:~/app/tmp/dfs$ ls
   data  name  namesecondary
   

5. 启动集群：

   $HADOOP_HOME/sbin/start-dfs.sh

6. 验证， 出现如下表明集群启动成功：

   zzy@ubuntu:~/app/hadoop-2.6.0-cdh5.15.1/etc$ jps
   25040 Jps
   24499 DataNode
   24348 NameNode
   24685 SecondaryNameNode
   

   web 查看：http://127.0.0.1:50070（注意关闭防火墙）

内容总结

以上是互联网集市为您收集整理的单机Hadoop CDH搭建全部内容，希望文章能够帮你解决单机Hadoop CDH搭建所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---