一、安装了一台虚拟机，先安装单机版Hadoop，为克隆做准备 首先本地下载Hadoop2.7.3文件，然后打开Mac终端上传文件到服务器上指定位置： 上传文件命令 ：scp hadoop2.7.tgz.gz root@192.168.99.120:/usr/bigdata/tools/ 文件的目录结构： 开始安装： 1、 先解压： tar -xzvf hadoop2.7.tgz.gz -C /usr/bigdata/ 2、 创建符合连接（可以不创建，是为了方便）...
一、单机部署HADOOP：（非分布式） 1、环境准备 （1）虚拟内存dd if=/dev/zero of=swap bs=1M count=2048mkswap swapswapon swapchmod 0600 swap （2）本地解析文件 vim /etc/hosts 192.168.100.1 server 2、安装HADOOP，配置JAVA环境 yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel -y tar zxvf hadoop-3.1.2.tar.gz -C /usr/local/ ln -s hadoop-3.1.2/ hadoop vim /etc/profile PATH=$PATH:/usr/local/hadoop/bin...
材料：3台虚拟主机，ip分别为： 192.168.1.201 192.168.1.202 192.168.1.203 1、配置主机名称 三个ip与主机名称分别对应关系如下： 192.168.1.201 node201192.168.1.202 node202192.168.1.203 node203 1)修改配置文件vi /etc/sysconfig/network添加： NETEORKING=yesHOSTNAME=node203 2)重启使生效service network restart3)检查hostname 其他两个虚拟主机做同样的配置。 2、建立主机名和ip的映射 1）使三个虚拟主机通过节点名称...
在使用hive或者是kylin时，可以选择文件的压缩格式，但是这个需要有hadoop native库的支持，默认情况下，hadoop官方发布的二进制包中是不包含native库的，所以无法使用一些压缩相关的算法。本例中选择自己手动编译hadoop源码，并将native文件部署到hadoop安装目录/lib目录下。 1. 环境准备 a) 安装JDK(1.7以上版本),本例中安装jdk1.8b) 安装maven(3.0以上版本)，参见本人博文c) yum install -y CMake openssl-devel ncurses-devel ...
Hadoop配置文件 /etc/profile 配置Java和Hadoop环境export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export HADOOP_HOME=/usr/local/hadoop-2.6.5/hadoop-2.6.5 export PATH=$JAVA_HOME/bin:${PATH}:$HADOOP_HOME/bin:$HADOOP_HOME/sbincore-site.xml fs.defualtFS:配置主节点namenode地址 hadoop.tmp.dir:在本地文件系统所在的...
1. 桥接模式，静态ip上外网：vi /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=ens33UUID=292b882b-ebd2-4d03-9ce5-402da7858f6dDEVICE=ens33ONBOOT=yesIPADDR=192.168.2.124NETMASK=255.255.255.0GATEWAY=192.168.2.1...
1)搭建前的准备注意：（以下操作可以先配置一台，然后通过scp命令发送到其他两台虚拟机上发送到其他机器scp -r 主机名: 注意:加载环境变量 source /etc/profile免密登陆-》ssh-keygen 生成密钥对（回车）-》 ssh-copy-id 自己ssh-copy-id 其它ssh-copy-id 其它）虚拟机可以通过安装一台，克隆两台快速完成三台虚拟机1.准备三台虚拟机，一台作为namenode,两台datanode我的虚拟机:192.168.232.132 master192.168.232.133...
1.1 版本说明 软件 版本 CentOS Linux release 7.5.1804 (Core) jdk jdk-8u112-linux-x64.tar.gz Ambari ambari-2.6.1.0-centos7.tar.gz HDP HDP-2.6.4.0-centos7-rpm.tar.gz HDP-UTILS HDP-UTILS-1.1.0.21-centos7.tar.gz 1.2 linux版本 HDP 安装 linux 版本 centos7.5 mini的英文版， 中文版会有一系列的安装问题 1.3 端口 检查端口命令： netstat -anp | grep 5432 HDP 默认使用 8080 端口 注意： 因为HDP版是使用ambari来管理h...
本篇文章主要是为sqoop测试写的笔记，所以不太涉及理论方面的问题一、下载weget二、下载yum repo配置文件安装repo三、安装mysql四、启动使用mysql获取暂时密码重设密码创建新库新表新数据 一、下载weget yum -y install wget二、下载yum repo配置文件 wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm安装repo rpm -ivh mysql57-community-release-el7-9.noarch.rpm三、安装mysql进入到 /etc/yum.repos...
首先卸载Centos本身自带的openjdk，我参考的这位博主的安装教程https://www.cnblogs.com/happyflyingpig/p/8068020.html我参考的是这位博主的安装教程https://blog.csdn.net/frank409167848/article/details/80968531 注意：如果是以root用户安装环境时，这里的JAVA_HOME应该为：/root/opt/module/jdk1.8，一定不要少了/root，因为根目录下也有一个/opt/，如果不指定会找不到该目录。
1.下载地址 https://dist.apache.org/repos/dist/release/hadoop/common/ 我们这里用的版本是：hadoop-2.7.7.tar.gz 2.然后我们在Centos环境中的opt目录创建install文件夹(用来存放压缩包)和soft文件夹(用来存放解压之后的文件)目录: cd /opt mkdir install soft 3.下载rz(用来向Linux Centos传送文件)和sz命令: yum install -y lrzsz 接着进入install目录：cd /opt/install 然后输入rz命令 选中我们刚才下载的hadoop-2.7.7.ta...
编译步骤参照官网：https://ci.apache.org/projects/flink/flink-docs-release-1.9/flinkDev/building.html 0.按照官网：In addition you need Maven 3 and a JDK (Java Development Kit). Flink requires at least Java 8 to build.配置好前置条件。 1.github获取flink 最新代码git clone https://github.com/apache/flink 2.切换到flink 1.9分支git checkout release-1.9 3.查看自己的maven版本[hadoop@hadoop002 ~]$ mvn -v Apa...
本篇介绍在centos7中大家hadoop2.10完全分布式，首先准备4台机器：1台nn(namenode);3台dn(datanode)IP hostname 进程192.168.30.141 s141 nn（namenode）192.168.30.142 s142 dn（datanode）192.168.30.143 s143 dn（datanode）192.168.30.144 s144 dn（datanode） 由于本人使用的是vmware虚拟机，所以在配置好一台机器后，使用克隆，克隆出剩余机器，并修改hostname和IP，这样每台机器配置就都统一了每台机器配置 添加hdf...
Hadoop集群 Hadoop集群，具体来说包含两个集群：hdfs集群和yarn集群。两者逻辑上分离，但物理上常在一起。 hdfs集群: 负责海量数据的存储工作。集群中的角色主要有 NameNode、DataNode。 yarn集群: 负责海量数据运算时的资源调度。集群中的角色主要有ResourceManager、NodeManager。 安装Hadoop集群前提已安装 JDK如需了解，请点击链接: CentOS 7 安装 JDK8】 关闭防火墙【或者开放...
一、 VM虚拟环境搭建（详细讲解） 说明：在windos10上使用VmWare Workstation创建3节点Hadoop虚拟环境创建虚拟机下一步设置虚拟机主机名和介质存放路径设置20G磁盘大小选择“自定义硬件”配置网络模式为NAT模式配置虚拟机启动镜像到这里，使用虚拟机克隆技术配置另外两台slave 同理克隆slave2, 步骤省略 此时windos网络连接里面会出现两张虚拟网卡 接下来就是给虚拟机配置IP网络 虚拟机网卡IP要和NAT模式的IP是在同一个段，虚拟机...