首页 / HADOOP / Centos7 配置JAVA以及HADOOP环境

Centos7 配置JAVA以及HADOOP环境

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Centos7 配置JAVA以及HADOOP环境，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2788字，纯文字阅读大概需要4分钟。

内容图文

背景

最近在研究如何使用Parallels安装虚拟机，并且利用多台虚拟机搭建Hadoop集群。

前提

本人使用的是MAC电脑，在安装好Parallels之后，使用镜像文件安装了一个Centos7的虚拟机。

查看JAVA安装情况

在使用镜像文件安装Centos7后，打开终端，使用一下指令查看java版本情况

java -verison

发现默认已经安装好了java1.8

openjdk version "1.8.0_222"
OpenJDK Runtime Environment (build 1.8.0_222-b10)
OpenJDK 64-Bit Server VM (build 25.222-b10, mixed mode)

安装Hadoop

下载并安装

通过Hadoop官网（http://hadoop.apache.org/releases.html）搜索到相关版本的binary安装包，可以通过http的方式下载gz的安装包至本地。我这里安装的是3.1.2的版本，链接：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

将安装包通过wget的方式下载至本地后，将压缩包cp至/user/local/ 路径下并且解压，并重命名解压后的路径。

tar -xvf hadoop-3.1.2.tar.gz
mv hadoop-3.1.2 hadoop

配置环境变量

在解压完成之后，可以知道hadoop的home路径为/user/local/hadoop，所以可以将以下环境变量加入到用户目录下的.bashrc文件中。

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

在使用vim添加完成后，使用source 重置配置。

source .bashrc

随后查看hadoop版本

hadoop version

问题来了

查看hadoop版本后，报错：

ERROR: JAVA_HOME is not set and could not be found.

查看bashrc文件后发现，默认安装的java并没有配置相对的环境变量，导致hadoo无法找到JAVA_HOME。所以我们就来配置一下java的环境变量。

查看java的安装路径

通过whereis指令可以获取到很多java的路径，但却不是真正的java安装路径。通过以下方式，获取到java真正的安装路径：

Centos7 配置JAVA以及HADOOP环境 - 文章图片在找到正确的路径后，配置java环境变量，给bashrc中添加：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b10-0.el7_6.x86_64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

随后重置bashrc，发现问题还是没有解决。。

问题解决

这当时困扰了我很久，随后发现了问题所在，在bashrc中，配置有global definition, 需要将source global definition注释掉后，重置便可以配置成功。

Centos7 配置JAVA以及HADOOP环境 - 文章图片

重置之后，重新执行hadoop version指令：

Hadoop 3.1.2
Source code repository https://github.com/apache/hadoop.git -r 1019dde65bcf12e05ef48ac71e84550d589e5d9a
Compiled by sunilg on 2019-01-29T01:39Z
Compiled with protoc 2.5.0
From source with checksum 64b8bdd4ca6e77cce75a93eb09ab2a9
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.1.2.jar

总结

在配置环境的情况中，总是会有各种奇怪的坑，而且网上的情况和解决方式也各有不同，只能自己试着踩踩这些坑。希望这篇小随笔可以帮助到一些人。

内容总结

以上是互联网集市为您收集整理的Centos7 配置JAVA以及HADOOP环境全部内容，希望文章能够帮你解决Centos7 配置JAVA以及HADOOP环境所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/960574.html

来源：【匿名】

【上一篇】Centos-7安装hadoop 【下一篇】php能用hadoop吗

更多 ►

【Centos7 配置JAVA以及HADOOP环境】教程文章相关的互联网学习教程文章

Hadoop2.7.7 centos7 完全分布式配置与问题随记【代码】【图】

Hadoop2.7.7 centos7 完全分布式配置与问题随记这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤，文章内容未经过润色，请参考的同学搭配其他博客一同使用，并记得根据实际情况调整相关参数。0.preparejdk，推荐1.8关闭防火墙开放ECS安全组?三台机器之间的免密登陆sship映射：【question1】hadoop启动时出现报错java.net.BindException: Cannot assign requested address说明ip映射没有配置正确，正确的方式是...

centos7.2 64位 hadoop2.7.3 安装 hawq 2.10 随笔啊随笔而已。【代码】

在谷歌趋势上看，spark全球火，而hawq除了中国其他地方也比较火，尤其德国芬兰hawq火。有意思的是hawq的开发团队的老大是华人，是北京某著名大学的08届博士！团队也有好多华人hive的感觉很呆板，spark天马行空但吃内存并发底。pgsql-->greenplum-->hawq，一路走来，hawq算是够了。hawq的缺点是开发麻烦，CPP语言么！spark用scala语言，代码量少，开发快。hawq是计算存储分离，使用p2p udp快速传输数据。而spark计算和存储一体，RDD...

centos7 安装 hadoop-cdh-2.5 on mesos【代码】【图】

1.环境说明master 192.168.0.223 mesos-masterslave 192.168.0.225 mesos-salve2.环境准备关闭防火墙关闭selinux两台机器修改主机名master/slave设置hosts，能互相解析3.master和slave配置ssh互信这里配置hadoop用户双机互信，因为hadoop用hadoop用户启动master yum -y install sshpass ssh-keygen 一路回车 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.0.220 slave yum -y install sshpass ssh-k...

Hadoop3.1.3版本安装（CentOs7环境）【代码】

集群Hadoop实验(虚拟机模拟)centOS选择一台作为Master，其余的作为Slave结点。三台虚拟机的用户名都是qinphy 官网下载Hadoop3.1.3(https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz )ssh网络配置三台虚拟机都需要做的卸载原有的ssh：原本的有缺陷。安装ssh修改ssh的配置文件，使其能够ssh远程用密码登录。修改hosts文件，配置网络地址的映射。测试本地连接，自动生成~/.ssh文件夹# 卸载安...

Hadoop2.7.7版本安装（CentOs7环境）【代码】

Hadoop-2.7.7集群安装下载地址，可选择版本：https://archive.apache.org/dist/hadoop/common/ 只在Master节点上安装安装步骤解压安装用户授权$ cd ~/Downloads $ rz # 上传下载到windows内的hadoop文件 $ sudo tar -zxf ./hadoop-2.7.7.tar.gz -C /usr/local $ cd /usr/local # 更改文件夹名称便于后面的配置 $ sudo mv ./hadoop-2.2.7/ ./hadoop $ sudo chown -R qinphy ./hadoop环境配置 $ vi ~/.bashrc配置内容 export PATH=$P...

[hadoop那些事] centos7环境下载并配置mysql，简单存储一些信息【代码】

本篇文章主要是为sqoop测试写的笔记，所以不太涉及理论方面的问题一、下载weget二、下载yum repo配置文件安装repo三、安装mysql四、启动使用mysql获取暂时密码重设密码创建新库新表新数据一、下载weget yum -y install wget二、下载yum repo配置文件 wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm安装repo rpm -ivh mysql57-community-release-el7-9.noarch.rpm三、安装mysql进入到 /etc/yum.repos...

Centos7安装Hadoop2.7【代码】【图】

准备 1、三台Centos7的机器，在/etc/hosts中都加上所有的hostname解析： 172.20.0.4　　node1 172.20.0.5　　node2 172.20.0.6　　node3 2、配置node1到三台机器的免密登录 3、全部安装jdk8 4、官网下载安装包：hadoop-2.7.7.tar.gz（推荐中国科学技术大学开源镜像：http://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz） 5、计划：node1作为namenode和datanode，node2和node3作为datanode 配置三...

Hadoop3.2.0+Centos7三节点完全分布式安装配置【代码】

一、环境准备 ①准备三台虚拟机，配置静态IP ②先修改主机名(每个节点统一命名规范)vim /etc/hostname master　　#重启生效配置DNS每个节点vim /etc/hosts 192.168.60.121 master192.168.60.122 salve1 192.168.60.123 salve2永久关闭防火墙systemctl stop firewalld systemctl disable firewalld配置免密登录ssh-keygen -t rsa　　#一路回车即可cd 到 .sshcp id_rsa.pub authorized_keys #生成公钥将公钥拷贝到节点scp authori...

CentOS7上搭建伪分布式Hadoop环境【代码】【图】

1.下载安装包下载hadoop安装包官网地址：https://hadoop.apache.org/releases.html 版本：建议使用hadoop-2.7.3.tar.gz 系统环境：CentOS 7 注：需要装有JDK支持，版本1.8或者更高 2.解压安装包默认软件安装路径为 /usr/soft，因此先传输安装包到该路径下cd /usr/soft tar -zxvf hadoop-2.7.3.tar.gz3.环境变量配置 vi /ect/profile文件末尾换行追加以下内容 export HADOOP_HOME=/usr/soft/hadoop-2.7.3 export HADOOP_MAPRED_HO...

Centos7塔建hadoop出现错误: 找不到或无法加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode的解决方法

1.解决方法：一般都会发生在share/hadoop/hdfs下的jar包，解压或移动时出现问题 [hadoop@node1 ~]$ ls -lh share/hadoop/hdfs 总用量 12K -rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-hdfs-2.8.5.jar -rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-hdfs-2.8.5-tests.jar -rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-hdfs-client-2.8.5.jar -rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-h...

Hadoop前期准备--centos7【代码】【图】

vi /etc/hostname vi /etc/hosts [root@hadoop-senior01 network-scripts]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 vi /etc/sudoers vi /etc/selinux/config vi /etc/profile 第一、启动、终止、重启systemctl start httpd.service #启动 systemctl stop httpd.service #停止 systemctl restart httpd.service #重启第二、设置开机启动/关闭systemctl enable httpd.service #开机启动 systemctl disable htt...

centos7 + hadoop 2.7.7 完全分布式搭建【代码】

一完全分布式集群(单点） Hadoop官方地址：http://hadoop.apache.org/ 1 准备3台客户机 1.1防火墙,静态IP,主机名关闭防火墙，设置静态IP，主机名此处略，参考 Linux之CentOS7.5安装及克隆 1.2 修改host文件我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。因此我们在主机的/etc/hosts下均进行如下配置：[root@hadoop0 ~]# vi /etc/hosts 配置主机host 127.0.0.1 localh...

centos7安装hadoop伪分布式学习环境【代码】【图】

使用虚拟机搭建个hadoop伪分布环境，用于模拟一个小规模的集群用于学习。在虚拟机里安装一台centos7系统ip 主机名192.168.158.30 hadoop.master1.安装java环境我安装的是JDK 1.8 安装方法：https://blog.csdn.net/ltgsoldier1/article/details/97780445 我把jdk安装到如下目录： /usr/java/jdk1.8.0_221配置java环境变量： export JAVA_HOME=/usr/java/jdk1.8.0_221 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_...

centos7搭建hadoop-2.7.3,zookeeper-3.4.6,hbase-1.2.5(root用户)【代码】【图】

1、配置ssh免密登录 ① 本机无密钥登录 1.进入~/.ssh目录（若无，则执行一次ssh localhost）， 2.执行ssh-keygen -t rsa命令（回车即可），我弄过了所以已经有啦！ 3.再执行cat ./id_rsa.pub >> ./authorized_keys命令，把id_rsa.pub追加到授权的key里面， 4.给authorized_keys授权chmod 644 authorized_keys， ls -al ~/.ssh命令看权限，5.重启 sudo service sshd restart，6.连接 ssh localhost（yes/no，手动输入yes） 7.退出 e...