1.配置hadoop环境变量，本文已hadoop版本2.5.2为例。下载hadoop2.5.2后解压，配置环境变量如下： 2.安装eclipse插件在hadoop1的较早版本中提供了该插件，hadoop2中未提供该插件，需要到github中自己下载。此处使用：hadoop-eclipse-plugin-2.5.2.jar。将hadoop-eclipse-plugin-2.5.2.jar复制到eclipse的dropins目录下解压后重启eclipse： 3.配置hadoop插件将Hadoop installation directory设置为hadoop的根目录 原文：http://www.c...
配置ssh免密码登录 1) 验证是否安装ssh：ssh -version显示如下的话则成功安装了OpenSSH_6.2p2 Ubuntu-6ubuntu0.1, OpenSSL 1.0.1e 11 Feb 2013Bad escape character ‘rsion‘.否则安装ssh：sudo apt-get install ssh2）ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa解释一下，ssh-keygen代表生成密钥;-t(注意区分大小写)表示指定生成的密钥类型;dsa是dsa密钥认证的意思，即密钥类型;-P用 于提供密语;-f指定生成的密钥文件。(关于密...
本文是将三台电脑用路由器搭建本地局域网，系统为centos6.5,已经实验验证，搭建成功。一、设置静态IP&修改主机名&关闭防火墙（all-root）（对三台电脑都需要进行操作）0.将三台电脑安装centos6.5系统1.设置静态ip（便于机器之间的通信，防止路由器电脑重启后，ip变化，导致不能通信）vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0 #描述网卡对应的设备别名，例如ifcfg-eth0的文件中它为eth0BOOTPROTO=static #设置网卡...
hadoop2.2.0 链接：http://pan.baidu.com/s/1gdR8KYB 密码：tngd jdk-7u79-linux-x64.tar.gz 链接：http://pan.baidu.com/s/1i3R4HZR 密码：x7do 原文：http://www.cnblogs.com/1184212881-Ark/p/5169675.html
1、从官网上下载hadoop-2.4.1.tar.gz，我的版本为hadoop-2.4.1，可在http://pan.baidu.com/s/1cLAKCQ 下载。2、解压hadoop-2.4.1.tar.gz，使用tar -zxvf hadoop-2.4.1.tar.gz -C app/ ，APP文件是我建立的一个文件3、解压后进入目录，cd /app/hadoop-2.4.1/下，可看到Hadoop目录结构。drwxr-xr-x. 2 XXXXX XXXXX 4096 6月 21 2014 bindrwxr-xr-x. 3 XXXXX XXXXX 4096 6月 21 2014 etcdrwxr-xr-x. 2 XXXXX XXXXX 4096 6月 21 2014...
1.hadoop的伪分布安装(采用Host-only模式)1.1 设置ip地址 1.1.1设置宿主机的VirtualBox Host-only Network网路设置 IP地址：192.168.56.1 子网掩码：255.255.255.0 默认网关：不填 1.1.2设置VirtualBox虚拟机的网路连接 网卡1：启用网路连接 连接方式：仅主机(Host-Only)适配器 高级：保持默认 1.1.3启动linux系统，（使用centos6.4），以r...
在hadoop1.2.1被预装在一份报告中安装说明java。我装了很多的版本号java以及许多的版本号hadoop，然后发现oracle-java7与hadoop1.2.1能够匹配。一，安装详细过程例如以下：1. 安装java： sudo apt-get install oracle-java7-installer2. 安装hadoop1.2.1： http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html#Download二。測试是否成功安装（伪分布式模式）：Format a new distributed-filesystem: $ bin/hadoop nameno...
简介： Hive 安装文档 https://mirrors.tuna.tsinghua.edu.cn/apache/hive/stable-2/apache-hive-2.1.1-bin.tar.gz一、安装 MySQL# http://www.cnblogs.com/wangxiaoqiangs/p/5336048.html# 我是安装在了 master.hadoop 上，该数据库是为了保存 Hive 的元数据信息，可以随意安装在别处！shell > mysqlmysql> create database hive_meta; mysql> grant all on hive_meta.* to hive@localhost identified by ‘hive‘ with grant o...
参考http://blog.csdn.net/lalaguozhe/article/details/10912527环境：hadoop2.3cdh5.0.2hive 1.2.1目标：安装lzo 测试作业运行与hive表创建使用lzo格式存储之前安装试用snappy的时候，发现cdh解压后的native中已经包含了libsnappy之类的本地库，但是没有包含lzo.所以lzo的使用，除了要安装lzo程序之外，还要编译安装hadoop-lzo.1.安装lzo.可以yum安装,也可以根据上面提供的链接自己下载源码编译安装。2。git 下载安装hadoop-lzo,编...
声明本文基于Centos 6.x + CDH 5.x 官方英文安装教程 http://www.cloudera.com/content/cloudera/en/documentation/cdh5/v5-0-0/CDH5-Installation-Guide/cdh5ig_cdh5_install.html 本文并不是简单翻译，而是再整理如果没有yum源请参考http://blog.csdn.net/nsrainbow/article/details/36629339#t2准备工作用vmware开出两台虚拟机，安装上Centos6。 我弄了两个host，分别是 host1(192.168.199.126) 和host2(192.168.199.128)开始前...
Hadoop大象之旅006-安装Hadoop环境 老帅 我们的硬件电脑上跑的是Windows7x64，并且在Windows7安装好了VMWare10虚拟机，VMWare中也安装配置了CentOS6.5操作系统，CentOS中也已经安装配置了jdk1.6.0_45，并也准备好了连接CentOS的工具软件SecureCrSecureFx。 万事具备，应该安装Hadoop了，但是Hadoop有很多版本，我们怎么选择呢？ 从这里我们可以看出，had...
三台服务器分别配置IP为：192.168.11.131192.168.11.132192.168.11.133分别配置主机名master：# hostnamectl set-hostname master其它两台分别配置为slave1和slave2各服务器关闭selinux和防火墙：# vi /etc/sysconfig/selinuxSELINUX=enforcing --> SELINUX=disabled# setenforce 0# systemctl stop firewalld# systemctl disable firewalld替换yum源：[root@master ~]# mkdir apps上传包wget-1.14-15.el7.x86_64.rpm[root@master ...
先记录下安装jdk出现的问题： （1）首先删除掉已经安装的openjdk sudo apt-get purge openjdk* ----以下出自：http://blog.csdn.net/berryreload/article/details/7492012 Ubuntu 12.04 Precise Clean up the historical open jdk:sudo apt-get purge openjdk*Add a new repo and install the sdk:sudo add-apt-repository ppa:eugenesan/java sudo apt-get update sudo apt-get install oracle-java7-installerIf you want the JR...
1、做好下文中的所有配置：Hadoop1.2.1分布式安装-1-准备篇。2、Hadoop2.x的发行版中有个小问题：libhadoop.so.1.0.0在64位OS中存在问题，因为它是32位的，在64位OS中hadoop启动时会报一个WARN的日志。这个包的作用是调用native的api，可以提高hadoop的性能，如果这个包失效，那就是使用jvm做压缩等工作，效率就会很低。处理方法就是重新编译Hadoop，见xxx（link article）。3、在打算做namenode的机器上，wget或其他方式下载hado...
一、前言目前Hadoop发行版非常多，所有这些发行版均是基于Apache Hadoop衍生出来的，之所以有这么多的版本，完全是由Apache Hadoop的开源协议决定的：任何人可以对其进行修改，并作为开源或商业产品发布/销售。Hortonworks这个名字源自儿童书中一只叫Horton的大象。雅虎主导Hadoop开发的副总裁，带领二十几个核心成员成立Hortonworks。Hortonworks有两款核心产品：HDP和HDFHortonworks没有对产品收费，而是将这两款产品完全开放，将...