这里使用自己编译的hadoop-2.7.0版本部署在windows上，记得几年前，部署hadoop需要借助于cygwin，还需要开启ssh服务，最近发现，原来不需要借助cygwin，也无需开启ssh免密登录这些类linux的复杂流程。直接就可以sbin/start-all.cmd，开启了四个服务。 第一步、准备hadoop-2.7.0，其实就是自己编译，这里不介绍，可以直接在网上找已经编译好的windows版本。这里将我自己编译的放在github上。编译过的hadoop与一般下载的hadoop的区别...
部署 完全分布式高可用 Hadoop hdfs HA + yarn HA 标签（空格分隔）： 大数据运维专栏一：hadoop HDFS HA 与 yarn HA 的 概述 二：部署环境概述 三：部署zookeeper 四：部署HDFS HA 与 yarn HA 五：关于 HA 的测试一：hadoop HDFS HA 与 yarn HA 的 概述 1.1 HA 的概述 HA概述1）所谓HA（High Available），即高可用（7*24小时不中断服务）。2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDF...
一、 VM虚拟环境搭建（详细讲解） 说明：在windos10上使用VmWare Workstation创建3节点Hadoop虚拟环境创建虚拟机下一步设置虚拟机主机名和介质存放路径设置20G磁盘大小选择“自定义硬件”配置网络模式为NAT模式配置虚拟机启动镜像到这里，使用虚拟机克隆技术配置另外两台slave 同理克隆slave2, 步骤省略 此时windos网络连接里面会出现两张虚拟网卡 接下来就是给虚拟机配置IP网络 虚拟机网卡IP要和NAT模式的IP是在同一个段，虚拟机...
一、先在本地安装jdk 我这里安装的jdk1.8,具体的安装过程这里不作赘述 二、部署安装maven 下载maven安装包，并解压 设置环境变量，MAVEN_HOME=D:\SoftWare\Maven\apache-maven-3.6.1 在path路径添加;%MAVEN_HOME%\bin 打开本地终端验证 三、安装hadoop 先下载hadoop压缩包 下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/ 下载后解压到本地 配置环境变量 计算机...
基本信息 官网 http://pig.apache.org/ 下载地址 http://www.apache.org/dyn/closer.cgi/pig https://mirror.bit.edu.cn/apache/pig https://mirrors.bfsu.edu.cn/apache/pig https://mirrors.tuna.tsinghua.edu.cn/apache/pig 开源中国 https://www.oschina.net/p/pig?hmsr=aladdin1e1 简介 Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优...
文章目录 一、hadoop简介二、HDFS分布式文件存储系统单机版部署三、伪分布式存储系统部署四、完全分布式存储系统部署 一、hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。 HDFS为海量的数据提供了存储。 MapReduce为海量的数据提供了计算。 Hadoop框架包括以...