When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. 解决办法： 在spark目录下conf/spark-env.sh中配置HADOOP_CONF_DIR参数，值为Hadoop目录
1.配置Maven 1）打开IDEA：File–>Settings, *注意Settings.xml文件配置： 仓库地址：python<localRepository>D:\software\repository</localRepository> 阿里云镜像： <mirror><id>alimaven</id><name>aliyun maven</name><url>http://maven.aliyun.com/nexus/content/groups/public/</url><mirrorOf>central</mirrorOf> </mirror>JDK配置： <profile> <id>jdk-1.8</id> <activation> <activeByDefault>true</activeBy...
Hadoop集群 第三章 linux虚拟机 jdk 配置 1、查看并卸载主机原有JDK 1）查找并卸载 jdk 相关软件 rpm -qa | grep -i java | xargs -n1 rqm -e --nodepsrpm -qa：查看安装的所有 rpm 软件包grep -i ：忽略大小写xargs -n1：表示每次只传递一个参数rpm -e --nodeps：强制卸载软件 2）重新启动虚拟机 reboot2、使用Xftp工具将 JDK 安装包传输到 虚拟机 software 文件夹上（所需安装包QQ群可下载）3、解压JDK tar -zxvf jdk-8u212-linu...
Hadoop集群 第一章 详细虚拟机Linux安装配置在这里插入图片描述 软件需求：VMware Workstation、Linux镜像文件（QQ群可下载） 一、硬件配置 ? 1、打开虚拟机–>新建虚拟机–>自定义 ? 2、默认 ? 3、选择稍后安装操作系统 ? 4、选择linux，版本号根据自己的CenOS选择 ? 5、处理器内核总数不超过电脑CPU数量 ? 6、选择虚拟机内存 ? 7、网络类型 ? 8、磁盘大小根据自己所需确定（指linux最大可占用空间，不是将所有空间划分给虚...
Windows&Mac下开发环境配置 四、知识要点jdk、windows本地hadoop安装目录要求：不包含中文、不包含空格5. hdfs的java API开发环境准备 1. 修改hosts文件 1. windows本 修改hosts文件 所在位置C:\Windows\System32\drivers\etc\hosts 将虚拟机中/etc/hosts文件以下内容，添加到windows的hosts文件末尾(根据自己的实际情况，修改ip地址) 192.168.51.100 node01.kaikeba.com node01 192.168.51.110 node02.kaikeba.com node02 192.168...
Hadoop完全分布式配置全过程之Ubuntu18.04.4环境下配置xsync实现文件的集群分发 注配置SSH配置静态IP配置xsync 注 在配置完全分布式集群时，可以先进行xsync的配置，这样只要在主节点上完成jdk和hadoop的配置，再将jdk和hadoop的文件夹以及修改过的配置文件分发给子节点，就可以避免重复工作。 配置SSH 一般Ubuntu都会默认安装openssh-client,但是没有安装openssh-server。 所以，第一步下载 openssh-server。 sudo apt-get instal...
1.安装jdk 1)下载jdk-8u65-linux-x64.tar.gz2)创建/soft文件夹$>sudo mkdir /soft $>sudo chown grj:grj /soft3)tar开 $>tar -xzvf jdk-8u65-linux-x64.tar.gz -C /soft4)创建符号连接$>ln -s /soft/jdk-1.8.0_65 /soft/jdk 5)验证jdk安装是否成功$>cd /soft/jdk/bin $>./java -version 6)centos配置环境变量 a)编辑/etc/profile$>sudo nano /etc/profile ... export JAVA_HOME=/soft/jdk ...
ubuntu 18.04 vim的安装 VPS从16.04换到18.04，发现vim命令找不到了，只有vi，界面一般，方向键还不对。 重新安装vim就能解决问题：sudo apt-get remove vim-common sudo apt-get install vimhadoop集群搭建 ssh免密登录，首先确认 openssh-server是否安装成功 确认命令：ps -e|grep ssh 看看是否是 sshd,而不是代理 没有的话先启动下ssh，在查看下确认是否成功，不行的话重新安装openssh-server 安装命令: sudo apt-get install ...
当电脑的配置不是很高的时候，在虚拟机里面安装上编译软件进行编程的话，卡的要命，所以总结一下在windows环境下eclipse配置链接虚拟机中的hadoop 在虚拟机中的hadoop要和主机的hadoop要是一样的版本（不知道不一样的版本会不会出现问题，确保成功，用一样的版本是最好的，我这里用的是hadoop2.7.0） 将虚拟机里面的环境配置好以后（虚拟机环境的配置，可见https://www.cnblogs.com/zhaochunhui/p/11451520.html），在window中进行...
一、ssh免密登录 1.命令ssh-keygen、 overwrite输入y一路回车 2.将生成的密钥发送到本机 ssh-copy-id localhost中间会询问是否继续输入“yes” 3.测试免密登录是否成功 ssh localhost 二、Java配置 新建一个文件夹存放java和hadoop这里我在~目录下新建了一个app文件夹下面。 命令行移动文件到新建的app文件夹下。 解压jdk压缩包。 创建软连接或重命名已解压文件夹。 配置jdk环境变量。切换到root用户（输入su命令 切换root用...
所需文件： 更新日期为2021/5/8: Linux 内核更新包 JDK1.8 maven3.8.1 hadoop3.3.0 spark3.1.1 WSL？WSL2？ WSL是适用于 Linux 的 Windows 子系统可让开发人员按原样运行 GNU/Linux 环境 - 包括大多数命令行工具、实用工具和应用程序 - 且不会产生传统虚拟机或双启动设置开销。 您可以：在 Microsoft Store 中选择你偏好的 GNU/Linux 分发版。 运行常用的命令行软件工具（例如 grep、sed、awk）或其他 ELF-64 二进制文件。 运行 Ba...
LINUX配置主机名 1、输入：hostnamectl或者hostname查看主机名 2、Root 用户 vim /etc/sysconfig/network 添加NETWORKING=yes HOSTNAME=hadoop101 克隆虚拟机只需修改HOSTNAME 3、vi /etc/hostname 修改主机名 4、vim /etc/hosts 配置IP 与主机名 5、修改完成后reboot重启 生效 本地Windows/system32/ drivers\etc\hosts 文件中加入 IP hadoop101 后，可直接ping hadoop101
Docker环境下使用CentOS7.8配置Hadoop3.3.0完全分布式集群环境 1.首先拉取CentOS7.8镜像（笔者之前使用CentOS8进行安装但是CentOS8无法正常安装OpenSSH，折腾了好久后才使用CentOS7进行安装后可以正常安装OpenSSH） docker pull centos:centos7.8.20032.创建固定IP子网 按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网. 至于在Docker下的网络模式可以参考博客Docker网络模式详解 docker ...
虚拟机没有配置hbase CentOS 7 配置hadoop(三) 配置hbase（伪分布） 准备 hive压缩包 和 mysql的jdbc驱动jar包 所需内容在第一章节 CentOS 7 配置hadoop(一) 安装虚拟机 （四）配置hive 1.安装mysql服务1）执行安装wget： yum -y install wget2）执行：wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm3）之后执行 ： yum -y install mysql57-community-release-el7-10.noarch.rpm4...
记录一下配置多节点Hadoop和Spark的过程。 建立三个节点node，分别是node0，node1，node2.其中node0作为master节点。三台云虚拟机均为Ubuntu 16版本，Hadoop为3.1.4版本，Spark为2.4.7版本。 Hadoop 首先是下载和配置Hadoop. 第一步，更新软件包，安装Java sudo apt-get update --fix-missing sudo apt-get install openjdk-8-jdk第二步，生成master节点ssh的公有key，并分别拷贝到所有节点的~/.ssh/authorized_keys，从而允许mast...