Hadoop2.7.7 centos7 完全分布式 配置与问题随记这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤，文章内容未经过润色，请参考的同学搭配其他博客一同使用，并记得根据实际情况调整相关参数。0.preparejdk，推荐1.8关闭防火墙开放ECS安全组?三台机器之间的免密登陆sship映射：【question1】hadoop启动时出现报错java.net.BindException: Cannot assign requested address说明ip映射没有配置正确，正确的方式是...
在谷歌趋势上看，spark全球火，而hawq除了中国其他地方也比较火，尤其德国芬兰hawq火。有意思的是hawq的开发团队的老大是华人，是北京某著名大学的08届博士！团队也有好多华人hive的感觉很呆板，spark天马行空但吃内存并发底。pgsql-->greenplum-->hawq，一路走来，hawq算是够了。hawq的缺点是开发麻烦，CPP语言么！spark用scala语言，代码量少，开发快。hawq是计算存储分离，使用p2p udp快速传输数据。而spark计算和存储一体，RDD...
1.环境说明master 192.168.0.223 mesos-masterslave 192.168.0.225 mesos-salve2.环境准备关闭防火墙关闭selinux两台机器修改主机名master/slave设置hosts，能互相解析3.master和slave配置ssh互信这里配置hadoop用户双机互信，因为hadoop用hadoop用户启动master
yum -y install sshpass
ssh-keygen 一路回车
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.0.220
slave
yum -y install sshpass
ssh-k...
集群Hadoop实验(虚拟机模拟)centOS选择一台作为Master，其余的作为Slave结点。
三台虚拟机的用户名都是qinphy
官网下载Hadoop3.1.3(https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz )ssh网络配置
三台虚拟机都需要做的卸载原有的ssh：原本的有缺陷。安装ssh修改ssh的配置文件，使其能够ssh远程用密码登录。修改hosts文件，配置网络地址的映射。测试本地连接，自动生成~/.ssh文件夹# 卸载安...
Hadoop-2.7.7集群安装下载地址，可选择版本：https://archive.apache.org/dist/hadoop/common/
只在Master节点上安装安装步骤解压安装用户授权$ cd ~/Downloads
$ rz
# 上传下载到windows内的hadoop文件
$ sudo tar -zxf ./hadoop-2.7.7.tar.gz -C /usr/local
$ cd /usr/local
# 更改文件夹名称便于后面的配置
$ sudo mv ./hadoop-2.2.7/ ./hadoop
$ sudo chown -R qinphy ./hadoop环境配置
$ vi ~/.bashrc配置内容
export PATH=$P...
本篇文章主要是为sqoop测试写的笔记，所以不太涉及理论方面的问题一、下载weget二、下载yum repo配置文件安装repo三、安装mysql四、启动使用mysql获取暂时密码重设密码创建新库新表新数据
一、下载weget
yum -y install wget二、下载yum repo配置文件
wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm安装repo
rpm -ivh mysql57-community-release-el7-9.noarch.rpm三、安装mysql进入到 /etc/yum.repos...
准备
1、三台Centos7的机器，在/etc/hosts中都加上所有的hostname解析：
172.20.0.4 node1
172.20.0.5 node2
172.20.0.6 node3
2、配置node1到三台机器的免密登录
3、全部安装jdk8
4、官网下载安装包：hadoop-2.7.7.tar.gz（推荐中国科学技术大学开源镜像：http://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz）
5、计划：node1作为namenode和datanode，node2和node3作为datanode
配置
三...
一、环境准备
①准备三台虚拟机，配置静态IP
②先修改主机名(每个节点统一命名规范)vim /etc/hostname
master #重启生效配置DNS每个节点vim /etc/hosts
192.168.60.121 master192.168.60.122 salve1
192.168.60.123 salve2永久关闭防火墙systemctl stop firewalld
systemctl disable firewalld配置免密登录ssh-keygen -t rsa #一路回车即可cd 到 .sshcp id_rsa.pub authorized_keys #生成公钥将公钥拷贝到节点scp authori...
1.下载安装包
下载hadoop安装包
官网地址：https://hadoop.apache.org/releases.html
版本：建议使用hadoop-2.7.3.tar.gz
系统环境：CentOS 7
注：需要装有JDK支持，版本1.8或者更高
2.解压安装包默认软件安装路径为 /usr/soft，因此先传输安装包到该路径下cd /usr/soft
tar -zxvf hadoop-2.7.3.tar.gz3.环境变量配置
vi /ect/profile文件末尾换行追加以下内容
export HADOOP_HOME=/usr/soft/hadoop-2.7.3
export HADOOP_MAPRED_HO...
1.解决方法：一般都会发生在share/hadoop/hdfs下的jar包，解压或移动时出现问题 [hadoop@node1 ~]$ ls -lh share/hadoop/hdfs
总用量 12K
-rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-hdfs-2.8.5.jar
-rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-hdfs-2.8.5-tests.jar
-rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-hdfs-client-2.8.5.jar
-rw-r--r--. 1 hadoop hadoop 0 9月 10 2018 hadoop-h...
vi /etc/hostname
vi /etc/hosts
[root@hadoop-senior01 network-scripts]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
vi /etc/sudoers
vi /etc/selinux/config vi /etc/profile
第一、启动、终止、重启systemctl start httpd.service #启动
systemctl stop httpd.service #停止
systemctl restart httpd.service #重启第二、设置开机启动/关闭systemctl enable httpd.service #开机启动
systemctl disable htt...
一 完全分布式集群(单点）
Hadoop官方地址：http://hadoop.apache.org/
1 准备3台客户机
1.1防火墙,静态IP,主机名
关闭防火墙，设置静态IP，主机名此处略，参考 Linux之CentOS7.5安装及克隆
1.2 修改host文件
我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。因此我们在主机的/etc/hosts下均进行如下配置：[root@hadoop0 ~]# vi /etc/hosts
配置主机host
127.0.0.1 localh...
使用虚拟机搭建个hadoop伪分布环境，用于模拟一个小规模的集群用于学习。
在虚拟机里安装一台centos7系统ip
主机名192.168.158.30
hadoop.master1.安装java环境我安装的是JDK 1.8
安装方法：https://blog.csdn.net/ltgsoldier1/article/details/97780445
我把jdk安装到如下目录：
/usr/java/jdk1.8.0_221配置java环境变量：
export JAVA_HOME=/usr/java/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_...
1、配置ssh免密登录
① 本机无密钥登录
1.进入~/.ssh目录（若无，则执行一次ssh localhost），
2.执行ssh-keygen -t rsa命令（回车即可），我弄过了所以已经有啦！
3.再执行cat ./id_rsa.pub >> ./authorized_keys命令，把id_rsa.pub追加到授权的key里面，
4.给authorized_keys授权chmod 644 authorized_keys， ls -al ~/.ssh命令看权限，5.重启 sudo service sshd restart，6.连接 ssh localhost（yes/no，手动输入yes）
7.退出 e...
背景
最近在研究如何使用Parallels安装虚拟机，并且利用多台虚拟机搭建Hadoop集群。
前提
本人使用的是MAC电脑，在安装好Parallels之后，使用镜像文件安装了一个Centos7的虚拟机。
查看JAVA安装情况
在使用镜像文件安装Centos7后， 打开终端，使用一下指令查看java版本情况java -verison
发现默认已经安装好了java1.8openjdk version "1.8.0_222"
OpenJDK Runtime Environment (build 1.8.0_222-b10)
OpenJDK 64-Bit Server VM (bu...
