因为hadoop集群中需要配置一个图形化管理数据的截面，后来找到HUE，那么在配置HUE的过程中，发现需要配置httpfs，因为配置了httpfs，hue才能去操作hdfs中的数据。 HttpFs能干啥呢，它可以使你能在浏览器中管理HDFS上的文件，例如在HUE中；它还提供了一套REST风格的API用来管理HDFS1 集群环境Ubuntu-14.10openjdk-7hadoop-2.6.0 HA(双NN)hue-3.8.1（development）2 安装因为hadoop中自带了httpfs所以，这里不需要下载其他包，只需...
ubuntu14.04安装hadoop2.7.1伪分布式和错误解决需要说明的是我下载的是源码，通过编译源码并安装一、需要准备的软件：1.JDK和GCC 设置JAVA_HOME： vim ~/.bashrc 在最后增加：export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31，保存退出。 使设置立即生效：source ~/.bashrc 测试JAVA_HOME是否设置成功，输出了上面设置的路径表示成功： echo $JAVA_HOME2.安装maven 解压 tar -zxvf apache-ma...
经过前边的积累，今天终于实现了集群环境下部署Hadoop，并成功运行了官方的例子。工作如下：两台机器：NameNode：上网小本，3G内存，机器名：YP-X100e，IP：192.168.101.130。DataNode：虚拟机，Win7下载VMWare10中虚拟Ubuntu14，虚拟机器名：ph-v370，IP：192.168.101.110确保可互相ping通，按照机器名和IP配置各自机器的/etc/hosts文件和/etc/hostname文件，我的hosts配置内容如下127.0.0.1 localhost
192.168.101.130 YP-X100e
...
配置Hadoop前提时已经配置过JDK和SSH（如何配置JDK：http://www.cnblogs.com/xxx0624/p/4164744.html）（如何配置SSH：http://www.cnblogs.com/xxx0624/p/4165252.html） 1. 添加Hadoop用户sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoopsudo usermod -aG admin hadoop
2. 下载Hadoop文件（例：Hadoop1.2.1，我放的时/home/xxx0624/hadoop）sudo tar -zxzf hadoop-1.2.1.tar.gz
sudo mv hadoop-1.2.1 /home/xxx06...
core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop/tmp</value><description>abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>hdfs-site.xml<?xml version="...
闲来无事，突然看到关于Hadoop集群。以前也了解过，网上找过一些关于百度，谷歌等底层hadoop集群的文档，可是面对很多陌生的技术，看不太通透。所有想自己动手虚拟机试试。经常听到这么高大上的名词，Hadoop已经成为大数据的代名词。短短几年间，Hadoop从一种边缘技术成为事实上的标准。而另一方面，MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候，谷歌好像早已进入到了下一个时代。Hadoop支持三种启动集群模式，分别是单...
0. install xubuntuwe recommend to set username as "hadoop"after installation, set user "hadoop" as administratorsudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop 打开/etc/sudoers文件sudo gedit /etc/sudoers 在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL 1. install java1.解压java压缩包到usr/java(新建的文件夹)中。解压后就可使用2.配置环境变量。如下
在etc/profile 文件中。在最后...
本机环境:ubuntu 12.04 32位jdk 1.7（1）maven-3.2.2的安装首先到maven官网下载，http://maven.apache.org/，这里我下载了最新版本，maven-3.2.2解压到/usr/local/目录下： tar -zxvf apache-maven-3.2.2-bin.tar.gz，并重命名为maven修改 /etc/profile:添加一下两个变量并保存：export M2_HOME=/usr/local/mavenexport PATH=.:$M2_HOME/bin:$PATH然后在终端上输入：source /etc/profile测试是否安装成功，在终端输入：mvn -v，...
安装步骤：1、新建虚拟机（网络选桥接模式、内存尽量大）2、安装Ubuntu 18.043、安装JDK JRE4、创建hadoop用户# 1、创建用户
sudo useradd -m hadoop -s /bin/bash
# 2、设置密码（按提示输入两次密码）sudo passwd hadoop
# 3、设置权限sudo adduser hadoop sudo
# 4、用hadoop登录后更新一下 apt
sudo apt-get update5、配置SSH无密码登录ssh localhost此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hado...
本文主要参考：1. http://blog.csdn.net/ab198604/article/details/8250461 （比较喜欢此作者通俗的写风，哈哈，所以整张篇幅大量粘贴他的内容） 2. http://os.51cto.com/art/201309/411793_all.htm 3. http://gxl-ct001.iteye.com/blog/1982910 4. http://w本文主要参考：1. http://blog.csdn.net/ab198604/article/details/8250461 （比较喜欢此作者通俗的写风，哈哈，所以整张篇幅大量粘贴他的内容）
2. http://os.51cto.com/ar...
本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点： ［一］、基础环境 Ubuntu 12.04 LTS 64? 位 Hadoop2.2.0 Java version: 1.7.0_55 Apache Maven 3.2.1 ［二］、软件配置 1、更新apt 源 vi /et/apt/sources.list ,在文件末增加如下国内访本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点：
［一］、基础环境
Ubuntu 12.04 LTS 64? 位Hadoop2.2.0Java version: 1.7.0_55Apache Maven 3.2.1［二...
原文来自林羽飞扬 ubuntu版本12.04.3 64位 hadoop是用运行在java虚拟机上的，所以需要先安装jdk，jdk安装配置方法在另一篇博文ubuntu12.04下安装jdk1.7 源码包准备： 我下载的是hadoop-1.2.1.tar.gz,这个版本比较稳定，下载地址可以到官网提供的镜像http://w原文来自林羽飞扬
ubuntu版本12.04.3 64位
hadoop是用运行在java虚拟机上的，所以需要先安装jdk，jdk安装配置方法在另一篇博文ubuntu12.04下安装jdk1.7
源码包准备：
我下载...
3.2分布式搭建 hostname 角色 登录用户 IP 网关 hapmaster 主控master hadoop 210.31.181.211 210.31.181.1 hapslave1 附属slave hadoop 210.31.181.216 210.31.181.1 hapslave2 附属slave hadoop 210.31.181.217 210.31.181.1 hapslave3 附属slave hadoop 2
3.2 分布式搭建hostname角色登录用户IP网关hapmaster主控masterhadoop210.31.181.211210.31.181.1hapslave1附属slavehadoop210.31.181.216210.31.181.1hapslave2附属slave...
环境 系统：ubuntu12.4 hadoop版本:2.3.0 一。下载hadoop-2.3.0-tar.gz解压 二修改配置文件，配置文件都在${hadoop-2.3.0}/etc/hadoop路径下 1、core-site.xml configuration property namehadoop.tmp.dir/name value/usr/local/hadoop-2.3.0/tmp/hadoop-${u环境系统：ubuntu12.4
hadoop版本:2.3.0
一。下载hadoop-2.3.0-tar.gz解压
二修改配置文件，配置文件都在${hadoop-2.3.0}/etc/hadoop路径下
1、core-site.xmlhadoop.tmp.dir...
摘自：http://blog.csdn.net/twlkyao/article/details/16801753 一：环境准备： 基于Windows Server下VMWare的ubuntu12.04-64server. 下载免费的VMware Workstation并安装好; 下载 免费的Ubuntu 12.04 server版并在VMware中安装好； 二：基础安装： 执行如下摘自：http://blog.csdn.net/twlkyao/article/details/16801753 一：环境准备：基于Windows Server下VMWare的ubuntu12.04-64server.下载免费的VMware Workstation并安装好; ...
