# http://archive.apache.org/dist/hive/hive-2.1.1/# ==================================================================安装 hivetar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local mv /usr/local/apache-hive-2.1.1-bin /usr/local/hive-2.1.1 rm –r ~/apache-hive-2.1.1-bin.tar.gzcp ~/mysql-connector-java-5.1.46.jar /usr/local/hive-2.1.1/lib/# 配置环境变量# ===============================================...
需要sun的jdk，所以先要卸载openjdk[root@hadoop-1 ~]# rpm -qa | grep openjdk | xargs rpm -e --nodeps好了release noteshttp://hadoop.apache.org/releases.html4月8日有一个3.1的新版本，下下来wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.1.0/hadoop-3.1.0.tar.gzuseradd hadoopcd /home/hadoopsu - hadooptar -zxvf hadoop-3.1.0.tar.gz生成keyssh-keygen -t rsa尝试登录本机，pemission denied了容我修...
CDH5 hadoop-hive-habse单机版配置 一、安装环境：OS:CentOS6.5 64位JDK:jdk-7u72-linux-x64hadoop:hadoop-2.3.0-cdh5.0.0.hbase:hbase-0.96.1.1-cdh5.0.0.hive:hive-0.12.0-cdh5.0.0.tar我所用的都是基于CDH5.0.0的，使用CDH的发行版不会存在各个组件间不兼容，导致启动失败等异常。 CDH的其他版本可以在这里下载http://archive-primary.cloudera.com/cdh5/cdh/5/注意下载各个组件的时候其CDH的版本号一定都要相同。 文章中所有安...
1、配置集群（1）在yarn-env.sh中配置JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_11（2）在yarn-site.xml中配置<!--Reducer获取数据的方式--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!--指定yarn的ResourceManager的地址--><property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property>（3）配置mapred-env.shexport JAVA_HOME=/opt...
直接将hadoop解压在某盘上 配置hadoop的HADOOP_HOME 和 PATH两个环境变量HADOOP_HOME PATH 测试cmd命令行输入hadoop JAVA_HOME没有设置对在hadoop-evn.cmd文件里面设置JAVA_HOME路径 这是之前添加的JAVA_HOME的路径 再次测试 原文：https://www.cnblogs.com/taoHongFei/p/8886422.html
hadoop配置文件 默认配置文件：四个模块相对应的jar包中：$HADOOP_HOME/share/hadoop *core-default.xml *hdfs-default.xml *yarn-default.xml *mapred-default.xml 用户自定义配置文件：$HADOOP_HOME/etc/hadoop/ *core-site.xml *hdfs-site.xml *yarn-site.xml *mapred-site.xml *启动方式1：各个服务器逐一启动（比较常用，可编写shell脚本） hdfs： ...
[一]、环境参数 eclipse-java-kepler-SR2-linux-gtk-x86_64.tar.gz //现在改为eclipse-jee-kepler-SR2-linux-gtk-x86_64.tar.gzHadoop1.0.3Java 1.8.0Ubuntu 12.04 64bit[二]、安装配置1、复制生成的 hadoop-eclipse-plugin-1.0.3.jar 到 eclipse/plugins 路径下,重启eclipse即可。2、在eclipse菜单依次点击 windows → show view → other… ，选择“Show View”对话框打开，搜索框输入“map”，会找到项“Map/Reduce Locations...
Hadoop Eclipse 开发工具 主要分为1、根据Hadoop版本生成插件 2、安装Hadoop Eclipse插件 3、配置Hadoop目录 4、配置Hadoop连接 5、新一个MapReduce工程 WordCount.javaMapReduce——WordCount问题总结参考：http://blog.sina.com.cn/s/blog_7fcb1aef0100zpux.html正成功输入出后信息:14/05/21 23:06:47 INFO input.FileInputFormat: Total input paths to process : 214/05/21 23:06:47 WARN util.NativeCodeLoader: Unable to ...
因为本人最近最近一段时间 都在学习Hadoop，接触了比较多的理论，但是想要深入的去学习Hadoop整个平台，那就必须实战的训练，首先第一步，当然是先搭建好一个Hadoop平台为先。但是比较坑爹的是，Hadoop是要求安装在Linux环境下的，在Windows下是不能直接运行的。所以只能在Windows下搞个Cygwin，然后把Hadoop安装包往里面扔了。我对Cygwin的印象一直不是很好，以前用过这个模拟过Linux环境，后来发现总是会出现各种环境上的问题，非...
以下表格中专业词简称：NN:NameNodeDN:DataNodeSNN:SecondaryNameNode 属性值 说明 fs.default.namehdfs://master:9000定义master的URI和端口fs.checkpoint.dir${hadoop.tmp.dir}(默认)/dfs/namesecondarySNN的元数据以,号隔开,hdfs会把元数据冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉fs.checkpoint.period1800定义ND的备份间隔时间，秒为单位，只对SNN效，默认一小时fs.checkpoint.size33554432以...
一、准备 1，配通网络 ping www.baidu.com 之前安装虚拟机时配过 2，关闭防火墙 systemctl stop firewalld systemctl disable firewalld（开机自动关闭） 3，关闭 selinux vi /etc/selinux/config 修改为selinux disabled 4，关闭 NetworkManager systemctl stop NetworkManager systemctl disable NetworkManager 5，修改计算机名 hadp01(根据个人喜好) 6，配置yum源 安装 yum install wget 做个备份 mv /etc/yum.repos.d/CentOS-...
CentOS 是什么？ CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每两年发行一次，而每个版本的 CentOS 会定期（大概每六个月）更新一次，以便支持新的硬件。这样，建立一个安全、低维护、稳定、高预测性、高重复性的 Linux 环境。 CentOS（Community Enterprise Operating System）是Linux发行版之一...
Hadoop 2.2.0 集群配置攻略 用户输入标识： chmod+x jdk-7u45-linux-x64.rpm 为黑色带底纹 系统输出标识： java version "1.7.0_51"为绿色小字2014年3月20-日 by lilihao Q 404536204 1. 安装sun jdk (1). 到Oracle的官方网站下载jdk,目前最新版本是7u51 安装包：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 或 rpm包http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7...
在/usr目录下建立 hadoop文件夹,赋予hadoop用户权限 (master)[hadoop@master usr]$ sudo mkdir hadoop [hadoop@master usr]$ ls -al total 156 drwxr-xr-x. 2 root root 4096 Jul 31 00:17 hadoop [hadoop@master usr]$ sudo chown -R hadoop:hadoop hadoop [hadoop@master usr]$ ls -al total 156 drwxr-xr-x. 2 hadoop hadoop 4096 Jul 31 00:17 hadoop在/usr/hadoop目录下 安装hadoop，完成后删除安装包[hadoop@master had...
Step1:关闭防火墙 service iptables stop[status] service iptables status chkconfig --list |grep iptables chkconfig iptables offStep2:修改IP (重启网卡：service network restart)Step3:修改hostname /etc/hostsStep4:SSH免密码登陆 产生密钥(~/.ssh中)ssh-keygen -t rsa cd ~/.ssh:cpid_rsa.pub authorized_keysStep5:安装JDK /usr/local中环境变量生效source /etc/profileStep6:...