先看一下什么是Hive，Hive是Hadoop的一个子项目，它是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库 表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive的安装方式有两种，一种是使用Derby数据库的安装方式，另一种是使用MySQL数据库的安装方...
约定环境 ubantu 约定安装路径：/usr/local一，安装anaconda # 下载地址：https://repo.anaconda.com/archive/ 注意：spark 暂时不支持 python3.8, 所以要注意anaconda 中内置python 的版本. 二，JDK1.8 安装 三，配置ssh 免密码登陆 四，安装hadoop 五，安装scala 六，安装spark
服务器 node01 node02 node03HDFS NameNodeHDFS SecondaryNameNodeHDFS DataNode DataNode DataNodeYARN ResourceManagerYARN NodeManager NodeManager NodeManager历史日志服务器 JobHistoryServer第一步: 准备环境 准备了3台centos8的服务器 1. 添加用户 三台机器添加普通用户 useradd hadoop passwd hadoop使用visudo命令为三台机器为普通用户添加sudo权限 hadoop ALL=(ALL) ALL2. 三台机器做主机名与IP地址的映射 # /etc/ho...
hadoop安装（超级详细） 1、hadoop安装前的准备 （1）、准备虚拟的多台设备 我们需要用虚拟机创建3台centos的系统，并配置三台设备的静态虚拟地址，我的3台设备地址为：192.168.198.136192.168.198.137192.168.198.138vi /etc/sysconfig/network-scripts/ifcfg-ens33IPADDR=192.168.198.136 NETMASK=255.255.255.0 GATEWAY=192.168.51.1 DNS1=8.8.8.8（2）、关闭3台虚拟机的防火墙 三台机器执行以下命令: systemctl stop firewalld...
文章目录 一、Linux 操作系统的安装二、在 Ubuntu 20.04.2.0 中 进行 Hadoop 伪分布式安装1、Ubuntu 20.04.2.0 安装 jdk2、配置 SSH 无密码登录3、Hadoop 的下载与安装4、Hadoop 环境配置5、启动与关闭 Hadoop6、查看 Hadoop 的基本信息6.1、查看 HDFS Web 界面6.2、查看 YARN Web 界面三、在 Centos7 中 进行 Hadoop 伪分布式安装 一、Linux 操作系统的安装 2021年 全网最细 Windows 系统安装虚拟机Vmware15 及 CentOS7系统和远程...
Hadoop分布式/集群安装 文章地址： 小昭要好好学习~Hadoop分布式集群安装 http://ghzzz.cn/2021/03/21/hadoop%e9%9b%86%e7%be%a4%e5%ae%89%e8%a3%85/完成！
系统：Ubuntu16.04 JDK：jdk-8u201 Hadoop： 一、安装JDK https://www.cnblogs.com/tanrong/p/10641803.html 二、安装并配置ssh免密登录 hadoop需要使用SSH的方式登陆，linux下需要安装SSH。客户端已经安装好了，一般只需要安装服务端就可以了：在安装之前，还是先查看系统是否已经安装并且启动了ssh。# 查看ssh安装包情况 dpkg -l | grep ssh# 查看是否启动ssh服务 ps -e | grep ssh如果没有ssh服务，则安装ssh：$ sudo apt-get...
CentOS下1、安装linux2、安装jdk[root@Cent0S1 ~]# javac //显示信息[root@Cent0S1 ~]# rpm -qa |grep jdk //查看是否有安装包 [root@Cent0S1 ~]# which java //查看Java命令位置/usr/bin/java[root@Cent0S1 ~]# javac -version //查看Java版本javac 1.8.0_191[root@Cent0S1 ~]# ls -l /usr/bin/java //查看软连接lrwxrwxrwx. 1 root root 22 12月 27 15:09 /usr/bin/java -> /etc/alternatives/java[root@Cent0S1 ~]# ls ...
Hadoop系列之（一）：Hadoop单机部署 1. Hadoop介绍 Hadoop是一个能够对海量数据进行分布式处理的系统架构。 Hadoop框架的核心是：HDFS和MapReduce。HDFS分布式文件系统为海量的数据提供了存储，MapReduce分布式处理框架为海量的数据提供了计算。2. Hadoop安装 2.1 建立hadoop用户 增加hadoop用户 a.以root身份登录，添加”hadoop”用户useradd -m hadoop -s /bin/bash 密码输入两次，笔者使用”hadoop”作为密码，比较好记忆。这样...
1.安装JDK1.8，下载安装包解压至 /usr/lib/jdkvim /etc/profile#配置路径export JAVA_HOME= /usr/lib/jdk export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH 2.之前已经安装好SSH，现在设置免密码登录ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 测试设置是否成功ssh localhost 3.下载Hadoop2.6.0，解压至/home/super/software...
安装java、hadoop的版本不要太新，第一次安装jdk1.8.0和hadoop-2.9.2，在配置环境部分出了问题，后来安装的openjdk1.8以及hadoop-2.6，并按照下面教程完成安装。 (http://dblab.xmu.edu.cn/blog/install-hadoop/) 学习到了一些linux语句： 1.修改：gedit +文件 2.复制：cp 源文件 目标文件 3.新建：mkdir hdfs中的对应命令表示为：hadoop fs -linux指令
1.下载二进制安装包 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz 2.下载后解压 tar -zxvf hadoop-2.10.1.tar.gz 3.配置JDK和Hadoop环境变量 vi /etc/profile,新增以下: export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64 export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/home/hadoop-2.10.1 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$...
目录 Hadoop学习路上的那些事儿，很有必要分享出来 什么是Hadoop 实验过程 实验总结Hadoop学习路上的那些事儿，很有必要分享出来 什么是Hadoop 从广义上讲呢，是一个大数据生态，从狭义上讲呢，主要包含了分布式文件系统（HDFS）、资源管理（YARN）、批处理（MapReduce）。 一言不合上官网。http://hadoop.apache.org/ 实验过程 实验准备： 1. 云主机一台，此实验采用的是移动云云主机。（相当于虚拟机） 2. JDK安装包，版本...
下载 wget https://mirrors.bfsu.edu.cn/apache/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz 解压 tar -vxf spark-3.1.1-bin-hadoop2.7.tgz -C /opt/module/ 配置文件改名 cp spark-env.sh.template spark-env.sh cp workers.template workers 修改配置表 [datalink@slave3 conf]$ vim spark-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_131export HADOOP_HOME=/opt/module/hadoop-3.1.4export SCALA_HOME=/opt/module/sca...
一、简介： hama是基于BSP(BulkSynchronous Parallel)计算技术的并行计算框架，用于大量的科学计算 。 二、Hama 的下载安装 1、下载网址： http://archive.apache.org/dist/hama/ 2、通过FlashFXP 文件传输助手连接虚拟机，将hama压缩文件上传到虚拟机的自定义目录下 （例如 我上传到home/hadoop/downloads/路径下） 3、在 自定义目录下进行解压 #:cd ~ #:cd /home/hadoop/downloads `#:tar -zxvf 文件名 三、解压后修改名字及配置...