因为hadoop集群中需要配置一个图形化管理数据的截面,后来找到HUE,那么在配置HUE的过程中,发现需要配置httpfs,因为配置了httpfs,hue才能去操作hdfs中的数据。 HttpFs能干啥呢,它可以使你能在浏览器中管理HDFS上的文件,例如在HUE中;它还提供了一套REST风格的API用来管理HDFS1 集群环境Ubuntu-14.10openjdk-7hadoop-2.6.0 HA(双NN)hue-3.8.1(development)2 安装因为hadoop中自带了httpfs所以,这里不需要下载其他包,只需...
ubuntu14.04安装hadoop2.7.1伪分布式和错误解决需要说明的是我下载的是源码,通过编译源码并安装一、需要准备的软件:1.JDK和GCC 设置JAVA_HOME: vim ~/.bashrc 在最后增加:export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31,保存退出。 使设置立即生效:source ~/.bashrc 测试JAVA_HOME是否设置成功,输出了上面设置的路径表示成功: echo $JAVA_HOME2.安装maven 解压 tar -zxvf apache-ma...
经过前边的积累,今天终于实现了集群环境下部署Hadoop,并成功运行了官方的例子。工作如下:两台机器:NameNode:上网小本,3G内存,机器名:YP-X100e,IP:192.168.101.130。DataNode:虚拟机,Win7下载VMWare10中虚拟Ubuntu14,虚拟机器名:ph-v370,IP:192.168.101.110确保可互相ping通,按照机器名和IP配置各自机器的/etc/hosts文件和/etc/hostname文件,我的hosts配置内容如下127.0.0.1 localhost
192.168.101.130 YP-X100e
...
配置Hadoop前提时已经配置过JDK和SSH(如何配置JDK:http://www.cnblogs.com/xxx0624/p/4164744.html)(如何配置SSH:http://www.cnblogs.com/xxx0624/p/4165252.html) 1. 添加Hadoop用户sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoopsudo usermod -aG admin hadoop
2. 下载Hadoop文件(例:Hadoop1.2.1,我放的时/home/xxx0624/hadoop)sudo tar -zxzf hadoop-1.2.1.tar.gz
sudo mv hadoop-1.2.1 /home/xxx06...
core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop/tmp</value><description>abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>hdfs-site.xml<?xml version="...
闲来无事,突然看到关于Hadoop集群。以前也了解过,网上找过一些关于百度,谷歌等底层hadoop集群的文档,可是面对很多陌生的技术,看不太通透。所有想自己动手虚拟机试试。经常听到这么高大上的名词,Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。而另一方面,MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候,谷歌好像早已进入到了下一个时代。Hadoop支持三种启动集群模式,分别是单...
0. install xubuntuwe recommend to set username as "hadoop"after installation, set user "hadoop" as administratorsudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop 打开/etc/sudoers文件sudo gedit /etc/sudoers 在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL 1. install java1.解压java压缩包到usr/java(新建的文件夹)中。解压后就可使用2.配置环境变量。如下
在etc/profile 文件中。在最后...
本机环境:ubuntu 12.04 32位jdk 1.7(1)maven-3.2.2的安装首先到maven官网下载,http://maven.apache.org/,这里我下载了最新版本,maven-3.2.2解压到/usr/local/目录下: tar -zxvf apache-maven-3.2.2-bin.tar.gz,并重命名为maven修改 /etc/profile:添加一下两个变量并保存:export M2_HOME=/usr/local/mavenexport PATH=.:$M2_HOME/bin:$PATH然后在终端上输入:source /etc/profile测试是否安装成功,在终端输入:mvn -v,...
安装步骤:1、新建虚拟机(网络选桥接模式、内存尽量大)2、安装Ubuntu 18.043、安装JDK JRE4、创建hadoop用户# 1、创建用户
sudo useradd -m hadoop -s /bin/bash
# 2、设置密码(按提示输入两次密码)sudo passwd hadoop
# 3、设置权限sudo adduser hadoop sudo
# 4、用hadoop登录后更新一下 apt
sudo apt-get update5、配置SSH无密码登录ssh localhost此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码 hado...
本文主要参考:1. http://blog.csdn.net/ab198604/article/details/8250461 (比较喜欢此作者通俗的写风,哈哈,所以整张篇幅大量粘贴他的内容) 2. http://os.51cto.com/art/201309/411793_all.htm 3. http://gxl-ct001.iteye.com/blog/1982910 4. http://w本文主要参考:1. http://blog.csdn.net/ab198604/article/details/8250461 (比较喜欢此作者通俗的写风,哈哈,所以整张篇幅大量粘贴他的内容)
2. http://os.51cto.com/ar...
本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点: [一]、基础环境 Ubuntu 12.04 LTS 64? 位 Hadoop2.2.0 Java version: 1.7.0_55 Apache Maven 3.2.1 [二]、软件配置 1、更新apt 源 vi /et/apt/sources.list ,在文件末增加如下国内访本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点:
[一]、基础环境
Ubuntu 12.04 LTS 64? 位Hadoop2.2.0Java version: 1.7.0_55Apache Maven 3.2.1[二...
原文来自林羽飞扬 ubuntu版本12.04.3 64位 hadoop是用运行在java虚拟机上的,所以需要先安装jdk,jdk安装配置方法在另一篇博文ubuntu12.04下安装jdk1.7 源码包准备: 我下载的是hadoop-1.2.1.tar.gz,这个版本比较稳定,下载地址可以到官网提供的镜像http://w原文来自林羽飞扬
ubuntu版本12.04.3 64位
hadoop是用运行在java虚拟机上的,所以需要先安装jdk,jdk安装配置方法在另一篇博文ubuntu12.04下安装jdk1.7
源码包准备:
我下载...
3.2分布式搭建 hostname 角色 登录用户 IP 网关 hapmaster 主控master hadoop 210.31.181.211 210.31.181.1 hapslave1 附属slave hadoop 210.31.181.216 210.31.181.1 hapslave2 附属slave hadoop 210.31.181.217 210.31.181.1 hapslave3 附属slave hadoop 2
3.2 分布式搭建hostname角色登录用户IP网关hapmaster主控masterhadoop210.31.181.211210.31.181.1hapslave1附属slavehadoop210.31.181.216210.31.181.1hapslave2附属slave...
环境 系统:ubuntu12.4 hadoop版本:2.3.0 一。下载hadoop-2.3.0-tar.gz解压 二修改配置文件,配置文件都在${hadoop-2.3.0}/etc/hadoop路径下 1、core-site.xml configuration property namehadoop.tmp.dir/name value/usr/local/hadoop-2.3.0/tmp/hadoop-${u环境系统:ubuntu12.4
hadoop版本:2.3.0
一。下载hadoop-2.3.0-tar.gz解压
二修改配置文件,配置文件都在${hadoop-2.3.0}/etc/hadoop路径下
1、core-site.xmlhadoop.tmp.dir...
摘自:http://blog.csdn.net/twlkyao/article/details/16801753 一:环境准备: 基于Windows Server下VMWare的ubuntu12.04-64server. 下载免费的VMware Workstation并安装好; 下载 免费的Ubuntu 12.04 server版并在VMware中安装好; 二:基础安装: 执行如下摘自:http://blog.csdn.net/twlkyao/article/details/16801753 一:环境准备:基于Windows Server下VMWare的ubuntu12.04-64server.下载免费的VMware Workstation并安装好; ...