我使用的是VMware虚拟机，ubuntu14.04LTS，64位，已经安装java，如果不知道如何配置网上有很多教程，不再赘述，我安装的是1.6.0_30版本。建议不要安装太高版本，我原来安装了1.8版本的，尝试配置hadoop-2.6，死活都不成功，最后改成1.7版本的才配置成功。此处再温馨提示一下，很多人使用命令：wget http://www.us.apache....... 去下载压缩包，但是总是下载失败，原因是时间隔太久下载地址变了。在我写这篇博文的时候可以通过以下...
三台服务器分别配置IP为：192.168.11.131192.168.11.132192.168.11.133分别配置主机名master：# hostnamectl set-hostname master其它两台分别配置为slave1和slave2各服务器关闭selinux和防火墙：# vi /etc/sysconfig/selinuxSELINUX=enforcing --> SELINUX=disabled# setenforce 0# systemctl stop firewalld# systemctl disable firewalld替换yum源：[root@master ~]# mkdir apps上传包wget-1.14-15.el7.x86_64.rpm[root@master ...
<!--Thu Aug 15 20:47:13 2013--> <configuration> <property> <name>dfs.cluster.administrators</name> <value> hdfs</value><!-- HDFS 超级管理员用户 --> </property> <property> <name>dfs.block.access.token.enable</name> <value>true</value><!-- 是否开启 token 访问验证 --> </property> <property> <name>dfs.datanode.failed.volumes.tolerated</name> <value>0</value><!-- 能够导致D...
背景: 编写了一个MapReduce程序，发现该程序内存占用非常多，需要有一种方法来分析内存详细的占用情况。 可以使用linux上的pmap –d <PID>来看进程逻辑地址空间使用情况，但是会有很多anno区域，显然这不能够满足同学们的好奇心。 在这篇文章Eclipse远程调试HDP源代码中，提到使用JMX的方法对HDP进行远程调试。JMX（Java Management Extensions，即Java管理扩展），望文生义一下，可知这个机制是与管理相关的。在这个机制...
1、进入hadoop的配置目录 ，找到 环境变量的 $HADOOP_HOMEcd $HADOOP_HOME2、修改dataNode 节点的 单个map的能使用的内存配置找到配置的文件：/opt/aisc/app/hadoop-2.3.0-cdh5.1.2/etc/hadoop/mapred-site.xml 增加如下的配置： 设置java的内存大小参数是；512M 大小根据的实际情况调整 <property><name>mapred.child.java.opts</name><value>-Xmx512m</value></property>原文：http://www.cnblogs.com/lilin0719/p/6798720.html
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>wordcount</groupId><artifactId>wordcount</artifactId><version>1.0</version><dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hado...
hadoop安装包解压 tar -xvf hadoop-2.7.7.tar.gz解压成功ll查看文件配置环境变量1.vi /home/wj/hadoop-2.7.7/etc/hadoop/hadoop-env.sh修改export JAVA_HOME={$JAVA_HOME}为 export JAVA_HOME=/usr/java/jdk1.8.0.181/2.vi yarn-env.sh找到#export JAVA_HOME=/home/y/libexec/jdk.1.6.0/去掉#，改为export JAVA_HOME=/usr/java/jdk1.8.0.181/3.vi core-site.xml<configuration> <propoerty> <...
本文在《Hadoop2.0的安装和基本配置》（见 http://www.linuxidc.com/Linux/2014-05/101173.htm ）一文的基础上继续介绍hadoop2.0 QJM（Quorum Journal Manager）方式的HA的配置（hadoop2.0架构，具体版本是hadoop2.2.0）。本文只介绍HA的主备的手工切换，自动切换在下一篇文章继续介绍（见 http://www.linuxidc.com/Linux/2014-05/101176.htm）。 --------------------------------------分割线 --------------------------------...
Hadoop是Java写的，他无法使用Linux预安装的OpenJDK,因此安装hadoop前需要先安装JDK（1.6以上）原材料：在Oracle官网下载的32位JDK：说明：1、CentOS 7.0系统现在只有64位的，但是，Hadoop一般支持32位的，在64位环境下有事会有Warning出现，避免真的有神马问题，选择i586的JDK（即32位的），当然，64位的CentOS 7 肯定是兼容32位JDK的，记住：64位系统肯定兼容32位的软件，32位系统不能兼容64位软件。64位只是说明了CPU一次运算的...
Hadoop参数汇总linux参数JVM参数Hadoop参数大全core-default.xmlhdfs-default.xmlyarn-default.xmlHadoop参数汇总@(hadoop)[配置]linux参数以下参数最好优化一下：文件描述符ulimit -n用户最大进程 nproc （hbase需要 hbse book）关闭swap分区设置合理的预读取缓冲区Linux的内核的IO调度器JVM参数JVM方面的优化项Hadoop Performance Tuning GuideHadoop参数大全适用版本：4.3.0主要配置文件：corehdfsyarnmapred重要性表示如下：重...
前言： Hadoop集群的配置即完全分布式Hadoop配置。笔者的环境： Linux: CentOS 6.6(Final) x64 JDK: java version "1.7.0_75" OpenJDK Runtime Environment (rhel-2.5.4.0.el6_6-x86_64 u75-b13) OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode) SSH: OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013 Hadoop: hadoop-1.2.1步骤：注：本文的实验是基于伪分布式Hadoop环境的。这里默认...
在文章《Ubuntu和CentOS中分布式配置Hadoop-2.2.0》介绍了hadoop 2.2.0最基本的配置。hadoop 2.2.0中提供了HA的功能，本文在前文的基础上介绍hadoop 2.2.0HA的配置。说明：下文中的两台namenode机器名分别是namenode1和namenode2.其中namenode1为active node，namenode2为standby namenode。journalnode机器有三台（注意：至少为三台），分别是journalnode1，journalnode2，journalnode3。（journalnode的机器的数量可以是3,5,7......
因为hadoop集群中需要配置一个图形化管理数据的截面，后来找到HUE，那么在配置HUE的过程中，发现需要配置httpfs，因为配置了httpfs，hue才能去操作hdfs中的数据。 HttpFs能干啥呢，它可以使你能在浏览器中管理HDFS上的文件，例如在HUE中；它还提供了一套REST风格的API用来管理HDFS1 集群环境Ubuntu-14.10openjdk-7hadoop-2.6.0 HA(双NN)hue-3.8.1（development）2 安装因为hadoop中自带了httpfs所以，这里不需要下载其他包，只需...
1.hadoop的hadoop-env.sh配置,主要配置内容如下,指定jdk目录export JAVA_HOME=/usr/java/jdk1.7.0_79本文出自 “素颜” 博客，请务必保留此出处http://suyanzhu.blog.51cto.com/8050189/1956989原文：http://suyanzhu.blog.51cto.com/8050189/1956989
1.修改core-site.xml，加上<property> <name>fs.defaultFS</name> <value>hdfs://backup02:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/zhongml/hadoop-2.7.2/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>131702</value> </property>2.修改hdfs-site.xml，加上<property> <name>dfs.n...