2.1下载地址1、ApacheHadoop（100%永久开源）下载地址：- http://hadoop.apache.org/releases.html- SVN：http://svn.apache.org/repos/asf/hadoop/common/branches/2、CDH（ClouderaDistributed Hadoop，100%永久开源）下载地址： - http://archive.cloudera.com/cdh4/cdh/4/（是tar.gz文件！） - http://archive.cloudera.com/cdh5/cdh/ （是tar.gz文件！）2.2官方版本说明(1) 官网：http://hadoop.apache.org(2) 下载...
1、NameNode---FSNamesystem：------FSDirectory 目录树---------INodeDirectory节点目录------------List<INode> children子节点)---------------INodeDirectory---------------INodeFile------------------BlockInfo[]文件块(一个文件块包括所有的DataNode 存储信息)---------------------Object[] triplets 存储(DatanodeStorageInfo包话{DatanodeDescriptor，DatanodeStorage})---------------------BlockCollection保存的是IN...
Hadoop源码阅读环境搭建一、说明作为一个学习hadoop的同学，必须在本机上搭建hadoop源码阅读环境，这样，在方便阅读源码的同时也方便进行调试和源码修改。好了，下面开始搭建环境。1.环境说明：hadoop 版本：1.2.1、 IDE：eclipse、操作系统：centos 2.网上有人是通过eclipse的新建项目指定目录的方式将hadoop目录转换成Eclipse工程同时导入eclipse，具体做法如下：File——>new——>Java Project——>勾掉Use default location选项...
??操作系统： Ubuntu 12.04 64-bit说明：这里接上篇源码导入eclipse，已经配置好java、maven，可能部分插件也已安装 ，编译过程如果失败，根据提示查找需要软件即可。1. 安装编译依赖类库 sudo apt-get install gcc sudo apt-get install build-essential sudo apt-get install libssl-dev sudo apt-get install zlib1g-dev sudo apt-get install libglib2.0-dev2. 安装jdk http://openjdk.java.net/install sudo apt-get install ...
上篇内容分析了http server的启动代码，这篇文章继续从initialize()方法中按执行顺序进行分析。内容还是分为三大块：一、源码调用关系分析二、伪代码执行流程三、代码图解 一、源码调用关系分析 上一篇内容是NameNode启动http server的分析，是根据锁定NameNode的main()入口，发现了该入口仅有两行核心代码，先进入到了第一行核心代码 createNameNode()中，发现默认情况是new了一个NameNode对象。在NameNode的构造方法中，有...
如何查看hadoop源码1解压hadoop安装压缩文件成为文件夹，再进入解压后的文件夹下的src文件夹，选中core，hdfs,mapred三个文件夹 2打开eclipse新建一个Java工程项目 3将步骤1中的三个文件夹复制到新建的工程的src目录下此时会出现2个问题：1是因为缺少工程文件的jar包 2是因为src下的3个文件的路径不对，需要修改其对应的路径 4右键工程名选择最后一项proprity(属性)---》选择左面的Java build path---》先删掉右...
一、解压hadoop src包到workspace目录二、File->Import->Existing Maven Projects，在Root Directory处选择解压好的目录，Finish三、等待maven把依赖包下载好后，会出现一些问题，下面是重头戏。四、maven问题解决（1）若发现maven依赖包找不见，找到位置后删除jar包目录，然后右击工程，Alt+F5，确认后会自动下载。不要手动下载第三方包，可能不识别（2）报 maven-resources-plugin prior to 2.4 is not supported by m2e，Windio...
问题导读：1.官网src包下载包，能否直接使用？2.如何跟踪和查看hadoop源码？此篇是从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码基础上的一个继续，上文其实已经把源代码下载下来了。下载之后，我们如何查看源码代码。我们还是通过eclipse的导入功能，这里简略描述一下，详细可以查看零基础教你如何导入Java项目到eclipse中。1.导入查看hadoop源码（1）选择Existing Projects into Workspace<ignore_js_op> （2）选...
NameNodeHttpServer启动源码剖析，这一部分主要按以下步骤进行： 一、源码调用分析 二、伪代码调用流程梳理 三、http server服务流程图解第一步，源码调用分析 前一篇文章已经锁定到了NameNode.java类文件，搜索找到main()，可以看到代码只有寥寥几行，再筛除掉一些参数校验以及try-catch逻辑代码， 剩下的核心的代码甚至只有两行，如下： 1publicstaticvoid main(String argv[]) throws Exception {2if (DFSUtil.p...
编译过程漫长无比，错误百出，需要耐心耐心！！ 1.准备的环境及软件操作系统：Centos6.4 64位jdk：jdk-7u80-linux-x64.rpm，不要使用1.8maven：apache-maven-3.3.3-bin.tar.gzprotobuf：protobuf-2.5.0.tar.gz 注：谷歌的产品，最好是提前百度准备一下这个文件hadoop src：hadoop-2.5.2-src.tar.gz hadoop的官网下载ant：apache-ant-1.9.6-bin.tar.gz 编译common的时候会用到openssl develncurses-develCMake:2...
好了，让我们先来看看RPC的基础Server类的具体实现，很多设计思想和实践方式值的学习。重点不是看过源码，而是从源码中学习到了什么。尤其是其中，wait和notify的使用很好的学习范例，当然还有反射...Server start()方法是入口类，基本线程都是Daemon方式让我们来看看run里面执行了什么，主要是建立socket读取客户度请求。并将客户度请求并封装为call放入队列，提醒消费者使用。下面就是Handler，主要是处理，connection接受的对象...
虽然在运行Hadoop的时候可以打印出大量的运行日志，但是很多时候只通过打印这些日志是不能很好地跟踪Hadoop各个模块的运行状况。这时候编译与调试Hadoop源码就得派上场了。这也就是今天本文需要讨论的。 先说说怎么编译Hadoop源码，本文主要介绍在Linux环境下用Maven来编译Hadoop。在编译Hadoop之前，我们需要准备好编译环境：1、安装好1.6或以上的JDK;2、安装Maven，被做好相应的配置;3、安装ProtocolBuffer 2.5.0，MapReduce和...
本机环境:ubuntu 12.04 32位jdk 1.7（1）maven-3.2.2的安装首先到maven官网下载，http://maven.apache.org/，这里我下载了最新版本，maven-3.2.2解压到/usr/local/目录下： tar -zxvf apache-maven-3.2.2-bin.tar.gz，并重命名为maven修改 /etc/profile:添加一下两个变量并保存：export M2_HOME=/usr/local/mavenexport PATH=.:$M2_HOME/bin:$PATH然后在终端上输入：source /etc/profile测试是否安装成功，在终端输入：mvn -v，...
前言最近在做一些Hadoop运维的相关工作，发现了一个有趣的问题，我们公司的Hadoop集群磁盘占比数值参差不齐，高的接近80%，低的接近40%，并没有充分利用好上面的资源，但是balance的操作跑的也是正常的啊，所以打算看一下Hadoop的balance的源代码，更深层次的去了解Hadoop Balance的机制。Balancer和Distpatch上面2个类的设计就是与Hadoop Balance操作最紧密联系的类，Balancer类负载找出<source, target>这样的起始，目标结果对，...
读取命名空间镜像和编辑日志数据1.读取命名空间镜像类FSImage是 命名空间镜像的java实现，在源码中，英文注释为，/*** FSImage handles checkpointing and logging of the namespace edits.**/FSImage.loadFSImage(FSNamesystem, StartupOption, MetaRecoveryContext) 读取命名空间镜像。 1privateboolean loadFSImage(FSNamesystem target, StartupOption startOpt,2 MetaRecoveryContext recove...