namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一个目录对应一个磁盘)，namenode存储目录需要格式化，datanode存储目录不需要格式化，启动时自动创建 同一个datanode上的每个磁盘上的块不会重复，不同datanode之间的块才可能重复 一些文件的说明： 1、dfs.hosts 记录...
搭建在单一服务器基于官方文档http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation1、配置：hadoop-env.sh 2、配置：core-site.xmlvim etc/hadoop/core-site.xml 3、配置：hdfs-site.xmlvim etc/hadoop/hdfs-site.xml 4、启动集群（a）格式化NameNode（第一次启动时格式化，以后就不要总格式化）bin/hdfs namenode -format（b）启动NameNodesbin/hado...
学习笔记之分布式hadoop，分布式的hadoop是大数据的基础。所有的组件的搭建都建立在分布式hadoop上。后期的高可用和动态的删除节点和增加节点都需要使用到。 如果分布式的hadoop搭建成功，则会开启以下服务master namenode datanode nodemanager jpsslave1 datanode nodemanager jps secondarynamenodeslave2 datanode nodemanager jps resourcemanag...
定义RPC协议import java.io.IOException;import org.apache.hadoop.ipc.VersionedProtocol;/** * DateTime: 2014年12月28日 上午9:32:12 * */ public interface ClientProtocol extends VersionedProtocol {//版本号，默认情况下，不同版本号的RPC客户端与Server之间不能相互通信public static final long versionID = 1L;public String hello(String msg) throws IOException; }实现RPC协议import java.io.IOException;import ...
HDFS和MapReduce是Hadoop的两大核心。整个Hadoop体系结构主要是通过HDFS来实现分布式存储的底层支持的，并且通过MapReduce来实现分布式并行任务处理的程序支持。 一、HDFS体系结构HDFS采用了主从(Master/Slave)结构模型。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中，NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。HDFS典型的部署是在一个专门的机器上运...
好程序员大数据点睛：Hadoop基础篇，Hadoop包含两个部分：1.Hadoop Distributed File System (Hadoop分布式文件系统)HDFS具有高容错性，并且可以被部署在低价的硬件设备之上。HDFS很适合那些有大数据集的应用，并且提供了对数据读写的高吞吐率。HDFS是一个master/slave的结构，就通常的部署来说，在master上只运行一个Namenode，而在每一个slave上运行一个Datanode。HDFS支持传统的层次文件组织结构，同现有的一些文件系统在操作上...
使用以下命令安装Elicpse插件hadoop-maven-plugins：$ cd ${HADOOP_HOME}/hadoop-maven-plugins$ mvn install然后生成Eclipse工程文件：$ cd ${HADOOP_HOME}$ mvn eclipse:eclipse -DskipTests最后在Eclipse中按照以下流程导入源代码：“File” → “Import”→ “Existing Projects into Workspace”。这里可以参考:http://www.aboutyun.com/thread-8211-1-1.html下面是某个博客写的错误，其中我只遇到了几个，我在最后贴出我遇到...
一、Hadoop部署方式本地模式伪分布模式集群模式二、伪分布模式安装步骤关闭防火墙修改ip修改hostname设置ssh自动登录安装JDK安装Hadoop三、配置初级环境 1.配置centos环境下的ip 首先打开终端，输入脚本命令查看虚拟机的地址1 ifconfig 然后可以通过两种方式给虚拟机配置ip，一种是通过界面操作，这里主要介绍第二种，通过使用vim编辑器修改centos的配置文件的方法1 vim /etc/sysconfig/network-scriprts...
问题：昨天在安装完hadoop伪分布式之后，执行hadoop下的子项目--文字计数功能时出现该错误，然后今天执行 hadoop fs -ls命令时系统给出同样的错误提醒，经过查找资料，初步认为是hadoop的path未加到系统配置文件中。cd /etc vi profile在profile文件中插入export PATH=$PATH:$/usr/local/hadoop-2.6.0/bin:$PATH 如图： 再执行：source /etc/profile将文件进行重载然后发现Hadoop下的子项目可以顺利执行，但是hdfs的xshell命令还是...
1.Hadoop集群可以运行的3个模式？ 单机（本地）模式伪分布式模式全分布式模式 2. 单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。3. 伪分布模式中的注意点？伪分布式（Pseudo）适用于开发和测试环境，在这个模式中，所有守护进程都在同一台机器上运行。4....
一.安装 protobufubuntu 系统1 在 /etc/ld.so.conf.d/目录下创建文件 libprotobuf.conf 写入内容 /usr/local/lib 否则会报 error while loading shared libraries: libprotoc.so.8: cannot open shared obj2../configure make&&make install2.验证安装完成protoc --versionlibprotoc 2.5.0 二.安装 snappy 本地库http://www.filewatcher.com/m/snappy-1.1.1.tar.gz.1777992-0.html下载snappy-1.1.1.tar.gz解压 ./configurema...
转载自：http://my.oschina.net/muou/blog/408543【木偶：Windows下使用Hadoop2.6.0-ecli-p-s-e---p--lugin插件】 对于一些细节地方，我进行了补充。 一．简介Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse上调试代码，我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行，所以这种不方便我们调试代码，所以我们自己编译一个Eclipse插件，方便我们在我们本地上调试，经过hadoop1.x的发展，编译hadoop2.x版本的...
一直在搞spark，也没时间弄hadoop，不过Hadoop基本的编程我觉得我还是要会吧，看到一篇不错的文章,不过应该应用于hadoop2.0以前，因为代码中有 conf.set("mapred.job.tracker", "192.168.1.2:9001");新框架中已改为 Yarn-site.xml 中的 resouceManager 及 nodeManager 具体配置项，新框架中历史 job 的查询已从 Job tracker 剥离，归入单独的mapreduce.jobtracker.jobhistory 相关配置. mapred.job.tracker的主要用途在于合并map之...
一、准备：1、修改主机名vi /etc/sysconfig/network内容如下：NETWORKING=yesHOSTNAME=myHadoop2、修改主机名和IP的映射关系vi /etc/hosts192.168.127.150myHadoop3、关闭防火墙3.1、查看防火墙状态service iptables status3.2、关闭防火墙service iptables stop3.3、查看防火墙开机启动状态chkconfig iptables --list3.4、关闭防火墙开机启动chkconfig iptables off4、重启Linux：reboot/shutdown -r now二、安装JDK：1、解压：ta...
MapReduce由于最耗时的是落盘与通信，所以采用了自定的Writeable的序列化反序列化（在结构化对象与二进制流之间的转换以便于节点通信：压缩过，使得节点之间带宽占用较少，可以快速读写），在Mapper Reducer里头常用的比如LongWriteable Text等等。我们根据不同的需求，对其进行一个复杂的定制，主要通过继承Writeable接口来实现。 源码如下首先看下Writeable接口package org.apache.hadoop.io; publicinterface Writable { voi...