经过前边的积累，今天终于实现了集群环境下部署Hadoop，并成功运行了官方的例子。工作如下：两台机器：NameNode：上网小本，3G内存，机器名：YP-X100e，IP：192.168.101.130。DataNode：虚拟机，Win7下载VMWare10中虚拟Ubuntu14，虚拟机器名：ph-v370，IP：192.168.101.110确保可互相ping通，按照机器名和IP配置各自机器的/etc/hosts文件和/etc/hostname文件，我的hosts配置内容如下127.0.0.1 localhost 192.168.101.130 YP-X100e ...
Ip?主机名程序进程192.168.128.11h1JdkHadoophbaseNamenodeDFSZKFailoverControllerHamster192.168.128.12h2JdkHadoophbaseNamenodeDFSZKFailoverControllerHamster192.168.128.13h3JdkHadoopresourceManager192.168.128.14h4JdkHadoop?resourceManager192.168.128.15h5JdkHadoopZookeeperHbaseDatanodenodeManagerJournalNodeQuorumPeerMainHRegionServer192.168.128.16h6JdkHadoopZookeeperHbaseDatanodenodeManagerJournalNodeQ...
本文档以word附件保存在CSDN中，格式更方便查看：http://download.csdn.net/download/yameing/8011891一、 规划1. 准备安装包JDK:http://download.oracle.com/otn-pub/java/jdk/7u67-b01/jdk-7u67-linux-x64.tar.gzHadoop:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gzHive:http://apache.fayea.com/apache-mirror/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar.gzZK:http://mirrors.cnnic.cn/...
hadoop集群安装安装环境服务部署规划服务器IPnode01node02node03HDFSNameNodeHDFSSecondaryNameNodeHDFSDataNodeDataNodeDataNodeYARNResourceManagerYARNNodeManagerNodeManagerNodeManager历史日志服务器JobHistoryServer下载安装包，并解压下载目前hadoop已经更新到3.x版本，这次我们使用的是3.1.4版本 使用国内清华大学的镜像库地址https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.4/ 将下载的压缩包保...
Hadoop2.0是对Hadoop1.0全面升级，诞生了通用的计算框架YARN，很多计算框架或者应用程序不再基于传统的操作系统开发，而是基于YARN这个云操作系统。典型的代表是DAG计算框架Tez，当然还有一些其他知名的自运行的计算集群系统也在YARN上有开源版本，比如Storm-on-yarn，Spark-on-yarn。我们先安装一个Hadoop2.0环境，作为一切的开始。 单机环境中，Hadoop有伪分布式模式，即“单点集群”，在该模式下，所有的守护集成均会运行在单个...
一、hadoop下载使用2.7.6版本，因为公司生产环境是这个版本cd /opt wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz二、配置文件参考文档：https://hadoop.apache.org/docs/r2.7.6 在$HADOOP_HOME/etc/hadoop目录下需要配置7个文件1.core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>fs....
注意：此次搭建是在ssh无密码配置、jdk环境已经配置好的情况下进行的可以参考： Hadoop完全分布式安装教程CentOS环境下搭建hadoop伪分布式集群1.更改主机名执行命令：vi /etc/sysconfig/network2.设置hosts中ip与主机名的绑定执行命令 vi /etc/hosts在里面添加选项设置你的主机名与ip的对应关系3.安装hadoop执行命令,将压缩包解压到/usr/local/hadoop文件夹下tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local/hadoop4.进入...
Ganglia监控Hadoop集群的安装部署 一、 安装环境 Ubuntu server 12.04安装gmetad的机器：192.168.52.105安装gmond的机 器：192.168.52.31，192.168.52.32，192.168.52.33，192.168.52.34，192.168.52.35，192.168.52.36，192.168.52.37，192.168.52.38，192.168.52.105浏览监控web页面的机器：192.168.52.105 二、 介绍 Ganglia 监控套件包括三个主要部分：gmond，gmetad，和网页接口，通常被称为ganglia- web。gmond 是一个守护...
小知识点：half：关机yarn端口：8088删除hdfs目录：hadoop fs -rm -r /wc/outputnamenode两个状态都是standby原因：zookeeper没有比hdfs先启动现在来做一个流量统计的例子：首先数据是这样一张表：见附件统计：（代码）1，flowbean：package cn.itcast.hadoop.mr.flowsum;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;import org.apache.hadoop.io.Writa...
这篇文章中主要介绍的是，如何基于VM安装Linux，以及如何在安装好Linux之后，基于操作系统安装VMTools。在安装之前，应该先规划好 每个node*的IP地址，以及 hostname：node0 : hostname node0.kokia ; 192.168.10.27node1 : hostname node1.kokia ; 192.168.10.28node2 : hostname node2.kokia ; 192.168.10.29 1. Linux的安装 LZ软件版本是： 1. VMwareWorkstation： 8.0 2. Linux 4.0 企业版 3. Hadoop 1.0...
CentOS 是什么？ CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每两年发行一次，而每个版本的 CentOS 会定期（大概每六个月）更新一次，以便支持新的硬件。这样，建立一个安全、低维护、稳定、高预测性、高重复性的 Linux 环境。 CentOS（Community Enterprise Operating System）是Linux发行版之一...
hadoop本地模式和伪分布式模式之间的区别伪分布式运行模式。这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。请注意分布式运行中的这几个结点的区别：从分布式存储的角度来说，集群中的结点由一个NameNode和若干个DataNode组成,另有一个SecondaryNameNode作为NameNode的备份；从分布式应用的角度来说，集群中的结点由一个JobTracker...
分布式搭建入口:https://www.cnblogs.com/Hephaestus/p/12213719.html 集群规划:namenodedatanodejournalnodehadoop100是(nn2)hadoop101是(nn1)是是hadoop102是是hadoop103是是1. 简介高可用程序的类型 主从方式(冷备) 两个相同的应用程序,一个对外提供服务,成为主程序,另一个平时不运行为备程序,就是一个主程序的备份,一旦主程序出现问题,备份提供恢复操作 双主互备(热备) 两个相同的应用程序,同时对外提供服务(两个程序相互为对方...
Hadoop 2.2.0 集群配置攻略 用户输入标识： chmod+x jdk-7u45-linux-x64.rpm 为黑色带底纹 系统输出标识： java version "1.7.0_51"为绿色小字2014年3月20-日 by lilihao Q 404536204 1. 安装sun jdk (1). 到Oracle的官方网站下载jdk,目前最新版本是7u51 安装包：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 或 rpm包http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7...
距离上次博客时间已经9天，简单记录下这几天的学习过程2020-02-15 10:38:47一、Linux学习关于Linux命令，我在之前就已经学过一部分了，所以这段时间的linux学习更多的是去学习Linux系统的安装以及相关配置多一些，命令会一些比较常用的就够了，下面记录下安装配置Linux系统时的注意事项。 这里配置的虚拟机的内存为4g使用的 CentOS-6.5-x86_64-minimal.iso 映射文件在进入linux系统中时，需要将虚拟机的主机名修改成自己想要的名...