一、环境准备 ①准备三台虚拟机，配置静态IP ②先修改主机名(每个节点统一命名规范)vim /etc/hostname master #重启生效配置DNS每个节点vim /etc/hosts 192.168.60.121 master192.168.60.122 salve1 192.168.60.123 salve2永久关闭防火墙systemctl stop firewalld systemctl disable firewalld配置免密登录ssh-keygen -t rsa #一路回车即可cd 到 .sshcp id_rsa.pub authorized_keys #生成公钥将公钥拷贝到节点scp authori...
安装配置流程 1.下载Hadoop软件：http://archive.apache.org/dist/hadoop/core/ 此处下载版本hadoop-2.7.7，解压至目录(D:\job\hadoop\hadoop-2.7.7) 注：如果后续要安装Spark，那么最好安装和Spark版本对应的Hadoop版本 查看hadoop/spark对应版本：http://spark.apache.org/downloads.html 2.下载其他相关文件(编译后的二进制文件)：https://github.com/steveloughran/winutils 文件解压缩后将其中hadoop-2.7.1下的bin目...
CentOS下1、安装linux2、安装jdk[root@Cent0S1 ~]# javac //显示信息[root@Cent0S1 ~]# rpm -qa |grep jdk //查看是否有安装包 [root@Cent0S1 ~]# which java //查看Java命令位置/usr/bin/java[root@Cent0S1 ~]# javac -version //查看Java版本javac 1.8.0_191[root@Cent0S1 ~]# ls -l /usr/bin/java //查看软连接lrwxrwxrwx. 1 root root 22 12月 27 15:09 /usr/bin/java -> /etc/alternatives/java[root@Cent0S1 ~]# ls ...
下载 wget https://mirrors.bfsu.edu.cn/apache/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz 解压 tar -vxf spark-3.1.1-bin-hadoop2.7.tgz -C /opt/module/ 配置文件改名 cp spark-env.sh.template spark-env.sh cp workers.template workers 修改配置表 [datalink@slave3 conf]$ vim spark-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_131export HADOOP_HOME=/opt/module/hadoop-3.1.4export SCALA_HOME=/opt/module/sca...
Hadoop集群 第一章 详细虚拟机Linux安装配置在这里插入图片描述 软件需求：VMware Workstation、Linux镜像文件（QQ群可下载） 一、硬件配置 ? 1、打开虚拟机–>新建虚拟机–>自定义 ? 2、默认 ? 3、选择稍后安装操作系统 ? 4、选择linux，版本号根据自己的CenOS选择 ? 5、处理器内核总数不超过电脑CPU数量 ? 6、选择虚拟机内存 ? 7、网络类型 ? 8、磁盘大小根据自己所需确定（指linux最大可占用空间，不是将所有空间划分给虚...
基于Hadoop的Hive的安装与配置 hive的定义与作用 定义 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 作用 1.） 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 2.） 操作接口采用类SQL语法，提供快速开发的能力。 避免了去写MapReduce，减少开发人员的学习成本。 hive的安装配置与调试 前面需要安装配置好hadoop...
Hadoop，Java，docker，mysql安装配置常见问题解决方法 本文是本人在学习中对一些常见问题的解决，将其解决方案总结如下，会陆续跟新。如有不对之处敬请指正，感激不尽。（如果要用到本文中一些代码，最好自己敲在文本转格式的时候，很容易出现引号问题的错误。而在Linux中引号的问题尤为常见） 1虚拟机打开界面黑屏 以管理员身份进入cmd界面，输入netsh winsock reset然后回车，重启计算机。 2虚拟机密码正确无法进入图形用户界面...