1 . 安装与编译相关的包yum install svn -y
yum install autoconfautomake libtool cmake -y
yum install ncurses-devel -y
yum install openssl-devel -y
yum install gcc* -y 2 . 安装maven通过写好xml会简化繁琐的编译流程..网址 http://maven.apache.org/wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.2.3/binaries/apache-maven-3.2.3-bin.tar.gz
tar xf apache-maven-3.2.3-bin.tar.gz
mv apache-maven-3.2.3 /u...
Apache Hadoop 生态圈软件下载地址:http://archive.apache.org/dist/hadoop/hadoop下载地址 http://archive.apache.org/dist/hadoop/common 安装环境 虚拟机中的 CentOS 64位 需要安装软件:jdk: jdk-7u45-linux-x64.rpmhadoop:hadoop-2.7.2-src.tar.gzmaven:apache-maven-3.0.5-bin.tar.gzprotobuf:protobuf-2.5.0.tar.gz 在hadoop目录下有个BUILDING.txt文件,编译源码需要准备的软件,及编译方法进行了说明,可参考使用 Requir...
操作系统:ubuntuhadoop版本:1.0.1eclipse版本:eclipse Helios-SR2直接通过hadoop 1.0.1掩码插件生成的eclipse插件是不能用的,因为少了一些jar包,所以需要手工修改src/contrib/eclipse-plugin目录下的build.xml文件和META-INF/MANIFEST.MF文件。修改build.xml文件这是没修改前的<target name="jar" depends="compile" unless="skip.contrib">
<mkdir dir="${build.dir}/lib"/>
<copy file="${hadoop.root}/build/hadoop-...
编译过程漫长无比,错误百出,需要耐心耐心!! 1.准备的环境及软件操作系统:Centos6.4 64位jdk:jdk-7u80-linux-x64.rpm,不要使用1.8maven:apache-maven-3.3.3-bin.tar.gzprotobuf:protobuf-2.5.0.tar.gz 注:谷歌的产品,最好是提前百度准备一下这个文件hadoop src:hadoop-2.5.2-src.tar.gz hadoop的官网下载ant:apache-ant-1.9.6-bin.tar.gz 编译common的时候会用到openssl develncurses-develCMake:2...
一、准备编译软件1.在官网下载jdk1.7、maven3.2.1、ant1.9.4,解压设置好环境变量就可以用。 环境变量设置如下:(1)执行vim /etc/profile (2)在文件尾部加入: export JAVA_HOME=/home/spark/jdk1.7
export MAVEN_HOME=/home/spark/apache-maven-3.2.1
export ANT_HOME=/home/spark/apache-ant-1.9.4
export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$ANT_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JA...
[一]、环境参数
eclipse-java-kepler-SR2-linux-gtk-x86_64.tar.gz //现在改为eclipse-jee-kepler-SR2-linux-gtk-x86_64.tar.gzHadoop1.0.3Java 1.8.0Ubuntu 12.04 64bit[二]、安装配置1、复制生成的 hadoop-eclipse-plugin-1.0.3.jar 到 eclipse/plugins 路径下,重启eclipse即可。2、在eclipse菜单依次点击 windows → show view → other… ,选择“Show View”对话框打开,搜索框输入“map”,会找到项“Map/Reduce Locations...
a. 在hadoop解压目录下,找到src\contrib\eclipse-plugin\build.xml,增加如下几行:<filesetdir="${hadoop.root}"> <includename="hadoop*.jar"/></fileset> b. 在build.xml增加如下:<property name="version"value="1.2.1"/> c. 在build.xml,修改如下:<copy file="${hadoop.root}/hadoop-core-${version}.jar"tofile="${build.dir}/lib/hadoop-core.jar"ve...
官方提供的hadoop-2.x版本貌似都是32位的,在64位机子下使用可能会报错,最好使用官方提供的源码进行本地编译,编译成适合本地硬件环境的64位软件包。关于native Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行某一些操作。 native位于hadoop-2.x.x/lib/native目录下,仅支持linux会unix操作系统。 hadoop中的...
虽然在运行Hadoop的时候可以打印出大量的运行日志,但是很多时候只通过打印这些日志是不能很好地跟踪Hadoop各个模块的运行状况。这时候编译与调试Hadoop源码就得派上场了。这也就是今天本文需要讨论的。 先说说怎么编译Hadoop源码,本文主要介绍在Linux环境下用Maven来编译Hadoop。在编译Hadoop之前,我们需要准备好编译环境:1、安装好1.6或以上的JDK;2、安装Maven,被做好相应的配置;3、安装ProtocolBuffer 2.5.0,MapReduce和...
本机环境:ubuntu 12.04 32位jdk 1.7(1)maven-3.2.2的安装首先到maven官网下载,http://maven.apache.org/,这里我下载了最新版本,maven-3.2.2解压到/usr/local/目录下: tar -zxvf apache-maven-3.2.2-bin.tar.gz,并重命名为maven修改 /etc/profile:添加一下两个变量并保存:export M2_HOME=/usr/local/mavenexport PATH=.:$M2_HOME/bin:$PATH然后在终端上输入:source /etc/profile测试是否安装成功,在终端输入:mvn -v,...
http://my.oschina.net/muou/blog/408543http://www.cnblogs.com/huligong1234/p/4137133.html原文:http://www.cnblogs.com/riordon/p/4711864.html
配置 安装Maven, Ant, Findbugs, protobuf, cmake 参考:http://cn.soulmachine.me/blog/20140214/ 注意CDH4.2.1需要用protobuf2.4.1编译,否则hadoop-common那里报错 在apache-maven-3.0.5/conf/settings.xml 更改maven镜像 mirror idnexus-osc/id mirrorOfc配置
安装Maven, Ant, Findbugs, protobuf, cmake
参考:http://cn.soulmachine.me/blog/20140214/
注意CDH4.2.1需要用protobuf2.4.1编译,否则hadoop-common那里报错
在apac...
下载地址:http://mirrors.hust.edu.cn/apache/hive/hive-0.13.1/apache-hive-0.13.1-src.tar.gz 执行编译命令 mvn clean package 编译会出现如下错误 > hive/common/src/java/org/apache/hadoop/hive/conf/HiveConf.java:[44,30] > package org.apache.hado下载地址:http://mirrors.hust.edu.cn/apache/hive/hive-0.13.1/apache-hive-0.13.1-src.tar.gz
执行编译命令
mvn clean package
编译会出现如下错误
> hive/common/src/j...
本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点: [一]、基础环境 Ubuntu 12.04 LTS 64? 位 Hadoop2.2.0 Java version: 1.7.0_55 Apache Maven 3.2.1 [二]、软件配置 1、更新apt 源 vi /et/apt/sources.list ,在文件末增加如下国内访本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点:
[一]、基础环境
Ubuntu 12.04 LTS 64? 位Hadoop2.2.0Java version: 1.7.0_55Apache Maven 3.2.1[二...
本文主要讲解如何编译安装配置 Hadoop2.x eclipse plugin插件的详细过程: 环境参数 编译过程 安装配置 [一]、环境参数 Eclipse Juno Service Release 2 Hadoop2.2.0 Java 1.6.0_65 Mac OXS 10.9.2 [二]、编译过程 目前Hadoop2.x的插件源码托管在github上,本文主要讲解如何编译安装配置 Hadoop2.x eclipse plugin插件的详细过程:
环境参数编译过程安装配置[一]、环境参数
Eclipse Juno Service Release 2Hadoop2.2.0Java 1.6.0_6...