首页 / HADOOP / （02）Hadoop环境的搭建（伪分布模式）

（02）Hadoop环境的搭建（伪分布模式）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了（02）Hadoop环境的搭建（伪分布模式），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6572字，纯文字阅读大概需要10分钟。

内容图文

一、安装hadoop　　

　　1、将文件解压到/usr/local

[root@localhost src]# tar -zxvf hadoop-2.4.1.tar.gz -C /usr/local/

　　2、配置环境变量

[root@localhost src]# vim /etc/profile

　　增加以下配置

export HADOOP_HOME=/usr/local/hadoop-2.4.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

　　使环境变量生效，执行以下语句

[root@localhost src]# source /etc/profile

　　3、修改hadoop-env.sh，设置jdk

[root@localhost hadoop]# vim /usr/local/hadoop-2.4.1/etc/hadoop/hadoop-env.sh

　　如图所示：

技术分享图片

　　4、修改hdfs-site.xml，设置数据备份节点和权限检查

[root@localhost hadoop]# vim /usr/local/hadoop-2.4.1/etc/hadoop/hdfs-site.xml

　　添加以下内容：

<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>

　　如图所示：

技术分享图片

　　5、修改core-site.xml，设置namenode的ip和端口，以及数据存放目录

[root@localhost hadoop]# vim /usr/local/hadoop-2.4.1/etc/hadoop/core-site.xml

　　添加以下内容：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.7.151:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-2.4.1/tmp</value>
</property>

　　如图所示：

技术分享图片

　　创建数据存放目录：

[root@localhost hadoop]# mkdir /usr/local/hadoop-2.4.1/tmp

　　6、修改mapred-site.xml，设置

[root@localhost hadoop]# vim /usr/local/hadoop-2.4.1/etc/hadoop/mapred-site.xml

　　添加以下内容：

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

　　如图所示：

技术分享图片

　　7、修改yarn-site.xml，设置

[root@localhost hadoop]# vim /usr/local/hadoop-2.4.1/etc/hadoop/yarn-site.xml

　　添加以下内容：

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>192.168.7.151</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

　　如图所示：

技术分享图片

　　8、格式化namenode，使其产生一些必要的源信息

[root@localhost hadoop-2.4.1]# hdfs namenode -format

　　执行成功如图所示：

技术分享图片

　　执行成功以后，/usr/local/hadoop-2.4.1/tmp下面已经生成了目录dfs

　　9、启动hadoop

　　环境变量已经配置了hadoop/sbin,直接执行start-all.sh即可

[root@localhost hadoop-2.4.1]# start-all.sh

　　启动成功如下所示：

[root@localhost hadoop-2.4.1]# start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.4.1/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It‘s highly recommended that you fix the library with ‘execstack -c <libfile>‘, or link it with ‘-z noexecstack‘.
20/02/10 11:46:36 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [192.168.7.151]
The authenticity of host ‘192.168.7.151 (192.168.7.151)‘ can‘t be established.
ECDSA key fingerprint is SHA256:vfvHgc0RFlOQtUhI3pdFozBK3iehM6/GmwsFaXaYMyo.
ECDSA key fingerprint is MD5:aa:63:31:82:31:04:51:35:d5:4d:46:36:59:21:b2:0d.
Are you sure you want to continue connecting (yes/no)? yes
192.168.7.151: Warning: Permanently added ‘192.168.7.151‘ (ECDSA) to the list of known hosts.
root@192.168.7.151‘s password:
192.168.7.151: starting namenode, logging to /usr/local/hadoop-2.4.1/logs/hadoop-root-namenode-localhost.localdomain.out
192.168.7.151: Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.4.1/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
192.168.7.151: It‘s highly recommended that you fix the library with ‘execstack -c <libfile>‘, or link it with ‘-z noexecstack‘.
The authenticity of host ‘localhost (::1)‘ can‘t be established.
ECDSA key fingerprint is SHA256:vfvHgc0RFlOQtUhI3pdFozBK3iehM6/GmwsFaXaYMyo.
ECDSA key fingerprint is MD5:aa:63:31:82:31:04:51:35:d5:4d:46:36:59:21:b2:0d.
Are you sure you want to continue connecting (yes/no)? yes
localhost: Warning: Permanently added ‘localhost‘ (ECDSA) to the list of known hosts.
root@localhost‘s password:
localhost: starting datanode, logging to /usr/local/hadoop-2.4.1/logs/hadoop-root-datanode-localhost.localdomain.out
Starting secondary namenodes [0.0.0.0]
The authenticity of host ‘0.0.0.0 (0.0.0.0)‘ can‘t be established.
ECDSA key fingerprint is SHA256:vfvHgc0RFlOQtUhI3pdFozBK3iehM6/GmwsFaXaYMyo.
ECDSA key fingerprint is MD5:aa:63:31:82:31:04:51:35:d5:4d:46:36:59:21:b2:0d.
Are you sure you want to continue connecting (yes/no)? yes
0.0.0.0: Warning: Permanently added ‘0.0.0.0‘ (ECDSA) to the list of known hosts.
root@0.0.0.0‘s password:
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop-2.4.1/logs/hadoop-root-secondarynamenode-localhost.localdomain.out
0.0.0.0: Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.4.1/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
0.0.0.0: It‘s highly recommended that you fix the library with ‘execstack -c <libfile>‘, or link it with ‘-z noexecstack‘.
Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.4.1/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It‘s highly recommended that you fix the library with ‘execstack -c <libfile>‘, or link it with ‘-z noexecstack‘.
20/02/10 11:47:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop-2.4.1/logs/yarn-root-resourcemanager-localhost.localdomain.out
Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.4.1/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It‘s highly recommended that you fix the library with ‘execstack -c <libfile>‘, or link it with ‘-z noexecstack‘.
root@localhost‘s password:
localhost: starting nodemanager, logging to /usr/local/hadoop-2.4.1/logs/yarn-root-nodemanager-localhost.localdomain.out
localhost: Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.4.1/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
localhost: It‘s highly recommended that you fix the library with ‘execstack -c <libfile>‘, or link it with ‘-z noexecstack‘.

　　已经启动了DataNode、NodeManager、ResourceManager、SecondaryNameNode、NameNode，如图所示：

技术分享图片

原文：https://www.cnblogs.com/javasl/p/12290378.html

内容总结

以上是互联网集市为您收集整理的（02）Hadoop环境的搭建（伪分布模式）全部内容，希望文章能够帮你解决（02）Hadoop环境的搭建（伪分布模式）所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1045428.html

来源：【匿名】

【上一篇】Kubernetes搭建Hadoop服务【下一篇】php能用hadoop吗

更多 ►

【（02）Hadoop环境的搭建（伪分布模式）】教程文章相关的互联网学习教程文章

hadoop--环境配置

1:修改主机名和IP的映射关系 vim /etc/hosts 192.168.1.101 itcast2:修改主机名: vi /etc/sysconfig/network (Master )3:关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙　　service iptables stop #查看防火墙开机启动状态　　chkconfig iptables --list #关闭防火墙开机启动　　chkconfig iptables off4:安装jdk 1)：mkdir /uer/java2): 将jdk解压至/usr/java ./jdk-6u45-linux-i...

Hadoop环境搭建

第一部分：Linux环境安装Hadoop是运行在Linux，虽然借助工具也可以运行在Windows上，但是建议还是运行在Linux系统上，第一部分介绍Linux环境的安装、配置、Java JDK安装等。第二部分：Hadoop本地模式安装Hadoop本地模式只是用于本地开发调试，或者快速安装体验Hadoop，这部分做简单的介绍。第三部分：Hadoop伪分布式模式安装学习Hadoop一般是在伪分布式模式下进行。这种模式是在一台机器上各个进程上运行Hadoop的各个模块，伪分布式...

hadoop 环境搭建【代码】【图】

前提条件先搭建 http://www.cnblogs.com/raphael5200/p/5152004.html 的环境，然后在其基础上进行修改一、安装Zookeeper由于环境有限，所以在仅有的4台虚拟机上完成多个操作；a.在4台虚拟中选3台安装Zookeeper,我选 node5 node6 node7b.在4台虚拟中选3台作为JournalNode的节点，我选node6 node7 node8c..在4台虚拟中选2台作为NameNode ，我选node5(Active) node8(Standby)1.解压并移动下载并解压zookper压缩包，将zookeeper复制...

hadoop环境搭建

一，服务准备本案例用Linux虚拟机服务器来搭建HADOOP集群，所用的软件版本： Vmware 11.0 Contos 6.5 64bit 二，JDK环境安装上传JDK安装包---》解压到指定目录---》配置环境变量三，网络环境准备 1，将虚拟机的网络环境设置为NAT 2，修改主机名：vi /etc/sysconfig/network 重启服务器生效 3，修改ip 。若为动态ip（不好，环境配置好后...

ubantu中搭建Hadoop环境20180908(全)【图】

一. Ubuntu Java8 的安装　　添加ppa　　　　sudo add-apt-repository ppa:webupd8team/java sudo apt-get update安装oracle-java-installer　　　　sudo apt-get install oracle-java8-installer　　设置系统默认jdk　　　　sudo update-java-alternatives -s java-8-oracle java安装测试　　　　java -version 　　　　javac -version二、配置SSH　　1. 安装ssh服务　　进入shell命令，输入如下命令，查看是否已经安装好...

HDFS 实验 (二) hadoop 环境配置【图】

需要sun的jdk，所以先要卸载openjdk[root@hadoop-1 ~]# rpm -qa | grep openjdk | xargs rpm -e --nodeps好了release noteshttp://hadoop.apache.org/releases.html4月8日有一个3.1的新版本，下下来wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.1.0/hadoop-3.1.0.tar.gzuseradd hadoopcd /home/hadoopsu - hadooptar -zxvf hadoop-3.1.0.tar.gz生成keyssh-keygen -t rsa尝试登录本机，pemission denied了容我修...

win10上配置hadoop环境【图】

直接将hadoop解压在某盘上配置hadoop的HADOOP_HOME 和 PATH两个环境变量HADOOP_HOME PATH 测试cmd命令行输入hadoop JAVA_HOME没有设置对在hadoop-evn.cmd文件里面设置JAVA_HOME路径这是之前添加的JAVA_HOME的路径再次测试原文：https://www.cnblogs.com/taoHongFei/p/8886422.html

【HADOOP】| 环境搭建：从零开始搭建hadoop大数据平台（单机/伪分布式）-下【代码】【图】

因篇幅过长，故分为两节，上节主要说明hadoop运行环境和必须的基础软件，包括VMware虚拟机软件的说明安装、Xmanager5管理软件以及CentOS操作系统的安装和基本网络配置。具体请参看：【HADOOP】| 环境搭建：从零开始搭建hadoop大数据平台（单机/伪分布式）-上6. Linux节点配置　　设置主机名：根据规划修改主机名，执行hostnamectl set-hostname hdoop1，修改主机名并写入配置文件，使用hostname查看当前生效的主机名。　　关闭防火...

Hadoop自学笔记（五）配置分布式Hadoop环境【图】

上一课讲了如何在一台机器上建立Hadoop环境，我们只配置了一个NHName Node, 这个Name Node里面包含了我们所有Hadoop的东西，包括Name Node, Secondary Name Node, Job Tracker, Task Tracker，这一课讲解如何把上述配置放到不同机器上，从而构建一个分布式的上一课讲了如何在一台机器上建立Hadoop环境，我们只配置了一个NHName Node, 这个Name Node里面包含了我们所有Hadoop的东西，包括Name Node, Secondary Name Node, Job Track...

SortValues转换为仅在hadoop环境中运行的Beam中的Java SDK扩展吗？【代码】

我在本地机器上尝试使用DirectRunner进行SortValues转换的示例代码(Windows)PCollection<KV<String, KV<String, Integer>>> input = ...PCollection<KV<String, Iterable<KV<String, Integer>>>> grouped = input.apply(GroupByKey.<String, KV<String, Integer>>create());PCollection<KV<String, Iterable<KV<String, Integer>>>> groupedAndSorted = grouped.apply(SortValues.<String, String, Integer>create(BufferedExterna...

hadoop 环境 mr任务指定python版本

files="/home/maintable/wenda/pyvers/pys" /usr/bin/hadoop/software/hadoop/bin/hadoop streaming \-D mapred.job.name="mr_test_log" \-D mapred.job.priority="VERY_HIGH" \-D mapred.reduce.tasks=0 \-jobconf stream.non.zero.exit.is.failure=false \-file /home/maintable/tanzhenghai/sysenv/map.py -mapper "python2.6 map.py" \-input $files \-output /home/maintable/wenda/pyvers/result echo "End..." 一开...

windows下大数据开发环境搭建（1）——Hadoop环境搭建【代码】【图】

一、所需环境 jdk 8 二、Hadoop下载 http://hadoop.apache.org/releases.html 三、配置环境变量HADOOP_HOME: C:\hadoop-2.7.7Path: C:\hadoop-2.7.7\bin四、命令行检验hadoop五、报错Error: JAVA_HOME is incorrectly set.Please update C:\hadoop-2.7.7\conf\hadoop-env.cmd打开C:\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd 是配置文件的问题，我的JAVA_HOME目录是C:\Program Files\Java\jdk1.8.0_121，因为Program Files中存在...

CentOS7上搭建伪分布式Hadoop环境【代码】【图】

1.下载安装包下载hadoop安装包官网地址：https://hadoop.apache.org/releases.html 版本：建议使用hadoop-2.7.3.tar.gz 系统环境：CentOS 7 注：需要装有JDK支持，版本1.8或者更高 2.解压安装包默认软件安装路径为 /usr/soft，因此先传输安装包到该路径下cd /usr/soft tar -zxvf hadoop-2.7.3.tar.gz3.环境变量配置 vi /ect/profile文件末尾换行追加以下内容 export HADOOP_HOME=/usr/soft/hadoop-2.7.3 export HADOOP_MAPRED_HO...

Centos7 配置JAVA以及HADOOP环境【图】

背景最近在研究如何使用Parallels安装虚拟机，并且利用多台虚拟机搭建Hadoop集群。前提本人使用的是MAC电脑，在安装好Parallels之后，使用镜像文件安装了一个Centos7的虚拟机。查看JAVA安装情况在使用镜像文件安装Centos7后，打开终端，使用一下指令查看java版本情况java -verison 发现默认已经安装好了java1.8openjdk version "1.8.0_222" OpenJDK Runtime Environment (build 1.8.0_222-b10) OpenJDK 64-Bit Server VM (bu...

Hadoop环境配置(基础)【图】

环境配置配置网络环境（个人训练）关闭防火墙修改名字建立数据链加入环境变量设置免密传输配置网络环境（个人训练） $ vi/etc/sysconfig/network-cripts.ifcfg-ens33 没有的，如下加入设置 DCHP 改为static IPADDR=192.168.3.129 NETMASK=255.255.255.0 GATEWAY=192.168.3.2 ONBOOT=yes PREFIX=24 有的在里面改就行然后在物理机修改网卡打开你的网卡设置双击打开，或者右键打开属性再打开VMware虚拟网络配置设置广播ip（...

HADOOP - 最热教程

Windows下在eclipse中使用和操作hadoop...windows下大数据开发环境搭建（1）——...Hadoop与Facebook 使用 Oracle Load For Hadoop（OLH）实...Hadoop基础知识 windows部署hadoop-2.7.0 你只知大数据的便利，却不知漏洞——ha...头歌Educoder——大数据Hadoop开发环境...WSL2+Ubuntu配置Java Maven Hadoop Spa...Hadoop之MapReduce单元测试

首页 / HADOOP / （02）Hadoop环境的搭建（伪分布模式）

（02）Hadoop环境的搭建（伪分布模式）

内容导读

内容图文

内容总结

内容备注

内容手机端

【（02）Hadoop环境的搭建（伪分布模式）】教程文章相关的互联网学习教程文章

hadoop--环境配置

Hadoop环境搭建

hadoop 环境搭建【代码】【图】

hadoop环境搭建

ubantu中搭建Hadoop环境20180908(全)【图】

HDFS 实验 (二) hadoop 环境配置【图】

win10上配置hadoop环境【图】

【HADOOP】| 环境搭建：从零开始搭建hadoop大数据平台（单机/伪分布式）-下【代码】【图】

Hadoop自学笔记（五）配置分布式Hadoop环境【图】

SortValues转换为仅在hadoop环境中运行的Beam中的Java SDK扩展吗？【代码】

hadoop 环境 mr任务指定python版本

windows下大数据开发环境搭建（1）——Hadoop环境搭建【代码】【图】

CentOS7上搭建伪分布式Hadoop环境【代码】【图】

Centos7 配置JAVA以及HADOOP环境【图】

Hadoop环境配置(基础)【图】

HADOOP - 相关标签

HADOOP - 最新教程

HADOOP - 最热教程