1、reduce源码中的 GroupComparable和SecondaryComparable到底都是干什么的 理解点1： 源码位置 理解点 secondaryComparable这个是可以对map端按照某种规则排序好的数据进行边界的界定，就是比如你map端排序的根据是按点之前的字段进行分组的之后传输到了reduce端了，但是你reduce端想要计算的时候是需要的是按照点前面的如bj、sh等,和点后面的如cp等，进行计算的话，这个secondaryCpmpare排序器可以在不改变原有map传输过来的...
昨天在学习Hadoop的时候，遇到一个问题就是Java关联Hadoop源码的时候死活关联不上，但是我发现在公司的电脑就可以顺利关联到源码。考虑了一下觉得应该是Eclipse版本的问题，于是我下载了eclipse-jee-mars-2-win32-x86_64.zip这个版本的JEE版本（如果大家不知道该怎样从官网下载JEE版本的话，可以参考：http://blog.csdn.net/u012453843/article/details/52582846这篇文章来进行下载，当然如果大家想更简单一点的话可以直接到：http...
本篇内容关注NameNode启动之前，active状态和standby状态的一些后台服务及准备工作，即源码里的CommonServices。主要包括磁盘空间检查、 可用资源检查、安全模式等。依然分为三部分：源码调用分析、伪代码核心梳理、调用关系图解。 第一部分，源码调用分析。接着上篇RpcServer启动之后开始梳理，进入到了initialize()方法中。protected void initialize(Configuration conf) throws IOException {// 可以通过找到下面变量名的映射，...
1、下载安装IDEA https://www.jetbrains.com/idea/download/#section=windows 2、下载hadoop源码 https://archive.apache.org/dist/hadoop/core/ 3、使用IDEA打开hadoop源码 4、配置自定义Maven配置文件 file -> setting -> 如下图设置： 附（需要使用aliyun的源，默认国外源基本用不了）：1 <?xml version="1.0" encoding="UTF-8"?>2 3 <!--4 Licensed to the Apache Software Foundation (ASF) under one5 or more contributor ...
[学习笔记] /*org.apache.hadoop.mapreduce.Mapper.Context,java.lang.InterruptedException,想看map的源代码，按control，点击，出现Attach Source Code,点击External Location/External File,找到源代码，就在Source目录下，,D:\hadoop-2.7.4\src 其中key为此行的开头相对于文件的起始位置，value就是此行的字符文本 */ public void map(Object key, Text value, Context context) throws IOException, InterruptedException {...
环境搭建参考文档：http://www.aboutyun.com/thread-8130-1-1.html 错误解析参考文档： http://www.aboutyun.com/thread-12695-1-1.html
编译步骤参照官网：https://ci.apache.org/projects/flink/flink-docs-release-1.9/flinkDev/building.html 0.按照官网：In addition you need Maven 3 and a JDK (Java Development Kit). Flink requires at least Java 8 to build.配置好前置条件。 1.github获取flink 最新代码git clone https://github.com/apache/flink 2.切换到flink 1.9分支git checkout release-1.9 3.查看自己的maven版本[hadoop@hadoop002 ~]$ mvn -v Apa...
拿到一份Hadoop源码之后，经常关注的两件事情就是 1、怎么阅读？涉及IDEA和Eclipse工程搭建。IDEA搭建，选择源码，逐步导入即可；Eclipse可以选择后台生成工程，也可以选择IDE导入。二者工程也可以互相导入\到处。 2、怎么构建？利用maven，生成安装包。 二者均需配置maven，相关工具配置参考另两篇帖子《Hadoop源码编译环境搭建》和《IDEA配置maven中央库》 1、下载源码 http://mirror.bit.edu.cn/apache/hadoop/common/ 2、导入...
初学耗时：0.5h 注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。 一、上传源码包：hadoop-2.6.0-cdh5.14.0-src.tar ??1.1? 上传并解压hadoop-2.6.0-cdh5.14.0-src.tar。 ??1.2? 编译前的快照：V3_Hadoop编译前的部署。 ??1.3? 开始了，开始编译。 ??1.4? 失败处理。记忆词： ??hadoop-2.6.0-cdh5.14.0-src.tar?B02 - 999、部署大数据环境及部分编译?ギ 舒适区ゾ?||?♂ 累觉无爱 ♀一、hadoop-2.6.0-cdh5....
从前面的文章（MapReduce运行原理【源码跟踪】）我们知道计算切片的部分在JobSubmitter类中，然后我们看此类的Structure（在idea中View->Tool Windows ->Structure）查看类结构我们很轻易的就能找到有关split的方法我们可以在writeSplits方法中打一个断点，随便运行一个计数程序Debug跟踪查看。 这里给出一下计数程序 WCmapper 1 package com.qin.MapReduce;2 3 import org.apache.hadoop.io.IntWritable;4 import org.apache.hado...
二话不说，先上代码与执行。 package com.yarn.wc; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; publ...
上一篇 讲解了nameNode启动的时候，NameNodeHttpServer的启动流程，其实简单来说就是基于hadoop自己实现的HttpServer2服务绑定一个InetSokcetAddress地址，也就是端口号，端口号哪来的？默认配置文件获取呗，最后在将HttpServer2中绑定一些servlet来处理url请求就完成了我们50070端口的请求处理。 那么本篇分析nameNode进程第二个比较核心的，应该说是最核心的组件 FSNamesystem，为什么说是最核心组件呢，因为元数据管理和block的...
上篇内容分析了http server的启动代码，这篇文章继续从initialize()方法中按执行顺序进行分析。内容还是分为三大块： 一、源码调用关系分析 二、伪代码执行流程 三、代码图解 一、源码调用关系分析上一篇内容是NameNode启动http server的分析，是根据锁定NameNode的main()入口，发现了该入口仅有两行核心代码，先进入到了第一行核心代码createNameNode()中，发现默认情况是new了一个NameNode对象。在NameNode的构造方法中，有一些...