一、软件介绍 1、CDH 概览 CDH（Cloudera Distribution of Apache Hadoop） 是 Apache Hadoop 和相关项目中最完整、经过测试和流行的发行版。CDH 提供 Hadoop 的核心元素，可伸缩存储和可扩展分布式计算，以及基于 web 的用户界面和关键的企业功能。CDH 是 apache 授权的开放源码，是惟一提供统一批处理、交互式 SQL 和交互式搜索以及基于角色的访问控制的 Hadoop 解决方案。灵活性：储存任何类型的数据，并使用各种不同的计算框架...
基于Hadoop的Hive的安装与配置 hive的定义与作用 定义 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 作用 1.） 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 2.） 操作接口采用类SQL语法，提供快速开发的能力。 避免了去写MapReduce，减少开发人员的学习成本。 hive的安装配置与调试 前面需要安装配置好hadoop...
文章目录一.安装CentOS7的linux系统二.hadoop安装前准备三.hadoop安装和相关文件配置(一)安装Hadoop(二)修改配置文件1.hadoop-env.sh运行环境的文件修改2.core-site.xml配置文件修改(机器ip为192.168.56.101)3.hdfs-site.xml配置文件的修改4.新建mapred-site.xml文件写入如下内容:5.yarn-site.xml配置文件修改6.slaves配置: `vi slaves`7.hadoop环境变量配置(三)格式化HDFS:`hadoop namenode -format`(四)启动和关闭的命令:四.验证...
添加链接描述#### 一、安装vmware 链接: https://pan.baidu.com/s/14ALF_iBF6BqYK8ZVJyiOvQ 提取码: bxjr 按照指示安装 特别注意路径设置一定要是英文 二、虚拟机安装点击文件 新建虚拟机选择自定义安装 然后一直默认下一步给虚拟机命名 并选择安装路径（全英文）这里选择1G内存 如果电脑内存较小的 可以适当选小一些 但不要低于512MB 之后都是默认下一步 到安装完成三、Linux安装 点击CD 选择 使用IOS镜像文件 链接: https://p...
在安装之前，我们需要准备：Linux镜像文件、VMWARE虚拟机 下面以CentOS-6.5为例，进行安装:有需求自取 链接：https://pan.baidu.com/s/1MCgWAdQQKnjoV930HLgq0Q 提取码：sia8 一、创建虚拟机 1. 以管理员身份打开VMWARE软件2. 选择创建新的虚拟机3. 选择自定义，然后点击下一步4. 这里可以直接默认，也可以自行选择，然后点击下一步5. 这里我们选择“稍后安装操作系统”，然后点击下一步6. “客户机操作系统”选择Linux，“版本”...
1、创建hadoop组和用户，useradd hadoop passwd hadoop groupadd hadoops usermod -G hadoops hadoop(将hadoop添加到hadoops组中)。 2、下载hadoop版本 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0.tar.gz 。（或者直接：wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0.tar.gz/ ，https://archive.cloudera.com/cdh5/cdh/5/ 这里hadoop生态圈其他的工具下载） 3、安装java1.8，...
Hadoop，Java，docker，mysql安装配置常见问题解决方法 本文是本人在学习中对一些常见问题的解决，将其解决方案总结如下，会陆续跟新。如有不对之处敬请指正，感激不尽。（如果要用到本文中一些代码，最好自己敲在文本转格式的时候，很容易出现引号问题的错误。而在Linux中引号的问题尤为常见） 1虚拟机打开界面黑屏 以管理员身份进入cmd界面，输入netsh winsock reset然后回车，重启计算机。 2虚拟机密码正确无法进入图形用户界面...
集群Hadoop实验(虚拟机模拟)centOS选择一台作为Master，其余的作为Slave结点。 三台虚拟机的用户名都是qinphy 官网下载Hadoop3.1.3(https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz )ssh网络配置 三台虚拟机都需要做的卸载原有的ssh：原本的有缺陷。安装ssh修改ssh的配置文件，使其能够ssh远程用密码登录。修改hosts文件，配置网络地址的映射。测试本地连接，自动生成~/.ssh文件夹# 卸载安...
Hadoop-2.7.7集群安装下载地址，可选择版本：https://archive.apache.org/dist/hadoop/common/ 只在Master节点上安装安装步骤解压安装用户授权$ cd ~/Downloads $ rz # 上传下载到windows内的hadoop文件 $ sudo tar -zxf ./hadoop-2.7.7.tar.gz -C /usr/local $ cd /usr/local # 更改文件夹名称便于后面的配置 $ sudo mv ./hadoop-2.2.7/ ./hadoop $ sudo chown -R qinphy ./hadoop环境配置 $ vi ~/.bashrc配置内容 export PATH=$P...
handoop集群搭（3）一、安装jdk1、将jdk和handoop导入三台虚拟机中2、安装jdk① 进入root用户：su②cd /usr③mkdir java④ cd java⑤tar -zxvf /home/user/myfile/jdk-8u144-linux-x64.tar.gz #解压安装包3、配置jdk①配置java环境 命令：vim /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_144export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar②重新加载配置...
1、配置LINUX 用户具有root权限 Root用户输入vim /etc/sudoers 将 root的权限复制一下。用户名改为hadoop101 2、安装JDK 2.1卸载系统自带的openJDK 查看java版本 java –version 查看java安装软件 rpm -qa|grep java 卸载openjdk .noarch可以不用删除 使用rpm -e --nodeps，卸载所有的openJDK rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.101-3.b13.el7_2.x86_64 2.2 安装JDK 在/opt目录下创建文件夹 在/opt目录下创建...