基于虚拟机CentOS7搭建hadoop集群第一部分 准备工作1 安装虚拟机Windows环境下安装Vmware WorkStation；Mac intel环境下安装Vmware Fushion；Mac M1环境下安装Pararell Desktop；具体见参考链接1。2 下载centos（提供下载地址）3 虚拟机安装centos（大部分选择默认选项即可，缺乏图形说明）3.1 安装过程1、软件选择（按需安装即可）：开发及生成工作站->附加开发、DNS名称服务器、开发工具、Emacs、FTP服务器、图形生成工具、主框架...
Hadoop是Java写的，他无法使用Linux预安装的OpenJDK,因此安装hadoop前需要先安装JDK（1.6以上）原材料：在Oracle官网下载的32位JDK：说明：1、CentOS 7.0系统现在只有64位的，但是，Hadoop一般支持32位的，在64位环境下有事会有Warning出现，避免真的有神马问题，选择i586的JDK（即32位的），当然，64位的CentOS 7 肯定是兼容32位JDK的，记住：64位系统肯定兼容32位的软件，32位系统不能兼容64位软件。64位只是说明了CPU一次运算的...
Hadoop2.7.7 centos7 完全分布式 配置与问题随记这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤，文章内容未经过润色，请参考的同学搭配其他博客一同使用，并记得根据实际情况调整相关参数。0.preparejdk，推荐1.8关闭防火墙开放ECS安全组?三台机器之间的免密登陆sship映射：【question1】hadoop启动时出现报错java.net.BindException: Cannot assign requested address说明ip映射没有配置正确，正确的方式是...
在谷歌趋势上看，spark全球火，而hawq除了中国其他地方也比较火，尤其德国芬兰hawq火。有意思的是hawq的开发团队的老大是华人，是北京某著名大学的08届博士！团队也有好多华人hive的感觉很呆板，spark天马行空但吃内存并发底。pgsql-->greenplum-->hawq，一路走来，hawq算是够了。hawq的缺点是开发麻烦，CPP语言么！spark用scala语言，代码量少，开发快。hawq是计算存储分离，使用p2p udp快速传输数据。而spark计算和存储一体，RDD...
1.环境说明master 192.168.0.223 mesos-masterslave 192.168.0.225 mesos-salve2.环境准备关闭防火墙关闭selinux两台机器修改主机名master/slave设置hosts，能互相解析3.master和slave配置ssh互信这里配置hadoop用户双机互信，因为hadoop用hadoop用户启动master yum -y install sshpass ssh-keygen 一路回车 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.0.220 slave yum -y install sshpass ssh-k...
准备 1、三台Centos7的机器，在/etc/hosts中都加上所有的hostname解析： 172.20.0.4 node1 172.20.0.5 node2 172.20.0.6 node3 2、配置node1到三台机器的免密登录 3、全部安装jdk8 4、官网下载安装包：hadoop-2.7.7.tar.gz（推荐中国科学技术大学开源镜像：http://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz） 5、计划：node1作为namenode和datanode，node2和node3作为datanode 配置 三...
一、环境准备 ①准备三台虚拟机，配置静态IP ②先修改主机名(每个节点统一命名规范)vim /etc/hostname master #重启生效配置DNS每个节点vim /etc/hosts 192.168.60.121 master192.168.60.122 salve1 192.168.60.123 salve2永久关闭防火墙systemctl stop firewalld systemctl disable firewalld配置免密登录ssh-keygen -t rsa #一路回车即可cd 到 .sshcp id_rsa.pub authorized_keys #生成公钥将公钥拷贝到节点scp authori...
1.下载安装包 下载hadoop安装包 官网地址：https://hadoop.apache.org/releases.html 版本：建议使用hadoop-2.7.3.tar.gz 系统环境：CentOS 7 注：需要装有JDK支持，版本1.8或者更高 2.解压安装包默认软件安装路径为 /usr/soft，因此先传输安装包到该路径下cd /usr/soft tar -zxvf hadoop-2.7.3.tar.gz3.环境变量配置 vi /ect/profile文件末尾换行追加以下内容 export HADOOP_HOME=/usr/soft/hadoop-2.7.3 export HADOOP_MAPRED_HO...
1.解决方法：一般都会发生在share/hadoop/hdfs下的jar包，解压或移动时出现问题 [hadoop@node1 ~]$ ls -lh share/hadoop/hdfs 总用量 12K -rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-hdfs-2.8.5.jar -rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-hdfs-2.8.5-tests.jar -rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-hdfs-client-2.8.5.jar -rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-h...
vi /etc/hostname vi /etc/hosts [root@hadoop-senior01 network-scripts]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 vi /etc/sudoers vi /etc/selinux/config vi /etc/profile 第一、启动、终止、重启systemctl start httpd.service #启动 systemctl stop httpd.service #停止 systemctl restart httpd.service #重启第二、设置开机启动/关闭systemctl enable httpd.service #开机启动 systemctl disable htt...
一 完全分布式集群(单点） Hadoop官方地址：http://hadoop.apache.org/ 1 准备3台客户机 1.1防火墙,静态IP,主机名 关闭防火墙，设置静态IP，主机名此处略，参考 Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。因此我们在主机的/etc/hosts下均进行如下配置：[root@hadoop0 ~]# vi /etc/hosts 配置主机host 127.0.0.1 localh...
使用虚拟机搭建个hadoop伪分布环境，用于模拟一个小规模的集群用于学习。 在虚拟机里安装一台centos7系统ip 主机名192.168.158.30 hadoop.master1.安装java环境我安装的是JDK 1.8 安装方法：https://blog.csdn.net/ltgsoldier1/article/details/97780445 我把jdk安装到如下目录： /usr/java/jdk1.8.0_221配置java环境变量： export JAVA_HOME=/usr/java/jdk1.8.0_221 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_...
1、配置ssh免密登录 ① 本机无密钥登录 1.进入~/.ssh目录（若无，则执行一次ssh localhost）， 2.执行ssh-keygen -t rsa命令（回车即可），我弄过了所以已经有啦！ 3.再执行cat ./id_rsa.pub >> ./authorized_keys命令，把id_rsa.pub追加到授权的key里面， 4.给authorized_keys授权chmod 644 authorized_keys， ls -al ~/.ssh命令看权限，5.重启 sudo service sshd restart，6.连接 ssh localhost（yes/no，手动输入yes） 7.退出 e...
背景 最近在研究如何使用Parallels安装虚拟机，并且利用多台虚拟机搭建Hadoop集群。 前提 本人使用的是MAC电脑，在安装好Parallels之后，使用镜像文件安装了一个Centos7的虚拟机。 查看JAVA安装情况 在使用镜像文件安装Centos7后， 打开终端，使用一下指令查看java版本情况java -verison 发现默认已经安装好了java1.8openjdk version "1.8.0_222" OpenJDK Runtime Environment (build 1.8.0_222-b10) OpenJDK 64-Bit Server VM (bu...
本文详细介绍搭建4个节点的完全分布式Hadoop集群的方法，Linux系统版本是CentOS 7，Hadoop版本是3.2.0，JDK版本是1.8。 一、准备环境 1. 在VMware workstations上创建4个Linux虚拟机，并配置其静态IP。 有关【创建Linux虚拟机及配置网络】，请参考这里。 2. 配置DNS（每个节点） 编辑配置文件，添加主节点和从节点的映射关系。#vim /etc/hosts 192.168.44.3 hadoop01 192.168.44.4 hadoop02 192.168.44.5 hadoop03 192.168.44.6 h...