大数据技术之Hadoop（YARN的搭建）与SHELL脚本（集群分发脚本xsync）1.YARN的搭建 1.1集群部署规划 1.2配置YARN 1.在配置的hadoop集群中选择hadoop112：进入hadoop目录cd /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/2.配置文件yarn-env.shvim yarn-env.shexport JAVA_HOME=/usr/local/java/jdk1.8.0_2113.配置文件yarn-site.xml（注意resourcemanager的选择）vim yarn-site.xml<!-- Reducer获取数据的方式 --> <property><name>ya...
一、 VM虚拟环境搭建（详细讲解） 说明：在windos10上使用VmWare Workstation创建3节点Hadoop虚拟环境创建虚拟机下一步设置虚拟机主机名和介质存放路径设置20G磁盘大小选择“自定义硬件”配置网络模式为NAT模式配置虚拟机启动镜像到这里，使用虚拟机克隆技术配置另外两台slave 同理克隆slave2, 步骤省略 此时windos网络连接里面会出现两张虚拟网卡 接下来就是给虚拟机配置IP网络 虚拟机网卡IP要和NAT模式的IP是在同一个段，虚拟机...
Hadoop集群 第三章 linux虚拟机 jdk 配置 1、查看并卸载主机原有JDK 1）查找并卸载 jdk 相关软件 rpm -qa | grep -i java | xargs -n1 rqm -e --nodepsrpm -qa：查看安装的所有 rpm 软件包grep -i ：忽略大小写xargs -n1：表示每次只传递一个参数rpm -e --nodeps：强制卸载软件 2）重新启动虚拟机 reboot2、使用Xftp工具将 JDK 安装包传输到 虚拟机 software 文件夹上（所需安装包QQ群可下载）3、解压JDK tar -zxvf jdk-8u212-linu...
上面这张思维导图喜欢就拿走，2021年，决定写大数据了。文章目录 大数据常用技术词汇Hadoop集群Hadoop介绍集群搭建前的准备设置静态ip配置阿里云yum源安装JDK克隆一个虚拟机配置ssh免密码登录下载hadoop修改配置文件修改文件hadoop-env.sh修改文件workers修改文件core-site.xml修改文件hdfs-site.xml修改文件mapred-site.xml修改文件 yarn-site.xml 配置Hadoop环境变量初始化HDFS启动集群@Author：Runsen 大数据常用技术词汇 未来的...
Hadoop集群 第一章 详细虚拟机Linux安装配置在这里插入图片描述 软件需求：VMware Workstation、Linux镜像文件（QQ群可下载） 一、硬件配置 ? 1、打开虚拟机–>新建虚拟机–>自定义 ? 2、默认 ? 3、选择稍后安装操作系统 ? 4、选择linux，版本号根据自己的CenOS选择 ? 5、处理器内核总数不超过电脑CPU数量 ? 6、选择虚拟机内存 ? 7、网络类型 ? 8、磁盘大小根据自己所需确定（指linux最大可占用空间，不是将所有空间划分给虚...
Hadoop伪分布式集群环境的搭建 CentOS系统的安装与配置准备工作关闭防火墙和禁用SELINUX配置hostname与IP地址之间的对应关系创建用户和用户组 JDK的安装利用XShell建立连接、上传文件JDK的安装与配置 Hadoop伪分布式集群的安装配置上传文件与解压修改配置文件最后的工作与检测运行成果文章对于原理性知识并未深究讲解，仅以无错误完成安装任务为目的，欢迎各位大佬批评指正，如有问题请在评论区留言。 本文用到的文件百度云链接（包...
Hadoop完全分布式配置全过程之Ubuntu18.04.4环境下配置xsync实现文件的集群分发 注配置SSH配置静态IP配置xsync 注 在配置完全分布式集群时，可以先进行xsync的配置，这样只要在主节点上完成jdk和hadoop的配置，再将jdk和hadoop的文件夹以及修改过的配置文件分发给子节点，就可以避免重复工作。 配置SSH 一般Ubuntu都会默认安装openssh-client,但是没有安装openssh-server。 所以，第一步下载 openssh-server。 sudo apt-get instal...
一、首先进入：/usr/local/bin 文件夹下，编写start-cluster.sh脚本 vim start-cluster.sh (需要root权限) 下面的各个节点的信息根据自身情况进行修改#!/bin/bash user=`whoami`echo "=============== 开始启动所有节点服务 ===============" for((host=102; host<=104; host++)); doecho "--------------- hadoop$host Zookeeper...... ----------------"ssh $user@hadoop$host /opt/module/zookeeper-3....
一、群起集群start-dfs.sh 时，主节点一切正常，其他节点没有datanode等进程 以hadoop101（主节点）， hadoop102 ，hadoop103为例 第一：ssh免密登陆设置失败，重新设置一遍。注意要在hadoop101中不仅设置当前用户对其他节点的免密登陆，还要设置root用户对其他节点的免密登陆101<-->101 root-->101101<-->102 root-->102102<-->102102<-->103 root-->103无密验证（无特别说明都是普通用户） 第二：格式化namenode：特别...
1.启动集群 文件名： start-cluster.sh#! /bin/bashecho "------正在启动集群------" echo "------正在启动Zookeeper------" '/home/grid/zookeeper/bin/zkServer.sh start' ssh grid@Slave1 '/home/grid/zookeeper/bin/zkServer.sh start' ssh grid@Slave2 '/home/grid/zookeeper/bin/zkServer.sh start'echo "------正在启动Hadoop-----" '/home/grid/hadoop/sbin/start-all.sh'echo "------正在启动Spark------" '/home/grid/sp...
ubuntu 18.04 vim的安装 VPS从16.04换到18.04，发现vim命令找不到了，只有vi，界面一般，方向键还不对。 重新安装vim就能解决问题：sudo apt-get remove vim-common sudo apt-get install vimhadoop集群搭建 ssh免密登录，首先确认 openssh-server是否安装成功 确认命令：ps -e|grep ssh 看看是否是 sshd,而不是代理 没有的话先启动下ssh，在查看下确认是否成功，不行的话重新安装openssh-server 安装命令: sudo apt-get install ...
安装Hadoop集群： 一、安装Linux虚拟机和linux系统安装 这边我用的是vmware+CentOS7； 这个可以用镜像来安装，图形化界面，非常简单，这里网上资料很多，不多说。 二、安装JDK 1.卸载系统自带的openjava包 先查询java包 rpm -qa | grep java-1 2.然后卸载openjava：如下命令: rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch rpm -e --nodeps java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64 rpm -e --nodeps python-java...
centos7搭建hadoop集群（超详细） 前提： 第一部分： 1.centos7安装虚拟机的文章链接: https://www.runoob.com/w3cnote/vmware-install-centos7.html. 2.需要三台及以上虚拟机，并保证能通网 3.三台都需要ping网试一下 4.在三台机器的/etc/hosts中添加ip和名称（三台机器都需要） 第二部分：给三台虚拟机配置ssh密钥 1.1：生成文件，红色箭头处需要敲一次空格 1.2：查看生成的文件 三台机器都需要操作1.1 1.2两步 2.1：创建au...
基本信息 官网 http://pig.apache.org/ 下载地址 http://www.apache.org/dyn/closer.cgi/pig https://mirror.bit.edu.cn/apache/pig https://mirrors.bfsu.edu.cn/apache/pig https://mirrors.tuna.tsinghua.edu.cn/apache/pig 开源中国 https://www.oschina.net/p/pig?hmsr=aladdin1e1 简介 Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优...
Docker环境下使用CentOS7.8配置Hadoop3.3.0完全分布式集群环境 1.首先拉取CentOS7.8镜像（笔者之前使用CentOS8进行安装但是CentOS8无法正常安装OpenSSH，折腾了好久后才使用CentOS7进行安装后可以正常安装OpenSSH） docker pull centos:centos7.8.20032.创建固定IP子网 按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网. 至于在Docker下的网络模式可以参考博客Docker网络模式详解 docker ...