1.配置hadoop环境变量，本文已hadoop版本2.5.2为例。下载hadoop2.5.2后解压，配置环境变量如下： 2.安装eclipse插件在hadoop1的较早版本中提供了该插件，hadoop2中未提供该插件，需要到github中自己下载。此处使用：hadoop-eclipse-plugin-2.5.2.jar。将hadoop-eclipse-plugin-2.5.2.jar复制到eclipse的dropins目录下解压后重启eclipse： 3.配置hadoop插件将Hadoop installation directory设置为hadoop的根目录 原文：http://www.c...
三台服务器分别配置IP为：192.168.11.131192.168.11.132192.168.11.133分别配置主机名master：# hostnamectl set-hostname master其它两台分别配置为slave1和slave2各服务器关闭selinux和防火墙：# vi /etc/sysconfig/selinuxSELINUX=enforcing --> SELINUX=disabled# setenforce 0# systemctl stop firewalld# systemctl disable firewalld替换yum源：[root@master ~]# mkdir apps上传包wget-1.14-15.el7.x86_64.rpm[root@master ...
1。伪分布式搭建； 步骤参考： http://wenku.baidu.com/link?url=N_Sc7dqaO5HB47SmhntYZQI2tvvAjYt0mWT0fx28FDSMRYKTLUTcWlxe2kaYWRhjN7y1z3jc0As5NV5Np3nq1fOznL3WxR-6atCCfEpcYjy2。一个slave节点搭建： 步骤参考： http://wenku.baidu.com/link?url=wltxZ0bSJ-Wmmg80B0-YQIh9gVbotsU-KeQPCCDCFnb6eMEU81ASJae4O18VZzZ2dFaA2YApZxsv2ogcYPIuFHLhUhVxKcxK-DOtM_djhkG遇到问题：1. 命令：./hadoop namenode -f...
<H2 style=‘font: bold 20px/1.5 "Microsoft Yahei"; margin: 10px 0px; padding: 6px 20px; border-radius: 4px; text-align: left; color: rgb(255, 255, 255); text-transform: none; text-indent: 0px; letter-spacing: normal; clear: both; word-spacing: 0px; white-space: normal; orphans: 2; widows: 2; font-size-adjust: none; font-stretch: normal; background-color: rgb(25, 163, 213); -webkit-text-size-adjust...
环境系统：Ubuntu 14.04 hadoop版本：2.6.0 hbase版本：1.0 jdk版本：1.8 下载地址：Apache上慢慢找吧~~jdk的环境配置这里就不列出来了，首先讲一下hadoop配置吧。hadoop安装1.安装位置：/opt 2.创建hadoop用户组 sudo addgroup hadoop 3.创建hadoop用户 sudo adduser -ingroup hadoop hadoop 4.给hadoop添加权限 sudo vim /etc/sudoers 在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL5.安装ssh sudo apt-get in...
[一]、环境参数 eclipse-java-kepler-SR2-linux-gtk-x86_64.tar.gz //现在改为eclipse-jee-kepler-SR2-linux-gtk-x86_64.tar.gzHadoop1.0.3Java 1.8.0Ubuntu 12.04 64bit[二]、安装配置1、复制生成的 hadoop-eclipse-plugin-1.0.3.jar 到 eclipse/plugins 路径下,重启eclipse即可。2、在eclipse菜单依次点击 windows → show view → other… ，选择“Show View”对话框打开，搜索框输入“map”，会找到项“Map/Reduce Locations...
因为本人最近最近一段时间 都在学习Hadoop，接触了比较多的理论，但是想要深入的去学习Hadoop整个平台，那就必须实战的训练，首先第一步，当然是先搭建好一个Hadoop平台为先。但是比较坑爹的是，Hadoop是要求安装在Linux环境下的，在Windows下是不能直接运行的。所以只能在Windows下搞个Cygwin，然后把Hadoop安装包往里面扔了。我对Cygwin的印象一直不是很好，以前用过这个模拟过Linux环境，后来发现总是会出现各种环境上的问题，非...
CentOS 是什么？ CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每两年发行一次，而每个版本的 CentOS 会定期（大概每六个月）更新一次，以便支持新的硬件。这样，建立一个安全、低维护、稳定、高预测性、高重复性的 Linux 环境。 CentOS（Community Enterprise Operating System）是Linux发行版之一...
1.修改主机名及hosts文件10.205.22.185 nn1 （主）作用namenode,resourcemanager,datanode,zk,hive,sqoop 10.205.22.186 nn2 （备）作用namenode,resourcemanager,datanode,zk 10.205.22.187 dn1 作用datanode,zk 1.1配置ssh免密码登录主节点能免密码登录各个从节点ssh nn1 ssh nn2 ssh dn1 2. 安装jdk1.8和zookeeper，hive,sqoop可搭建成功后再安装2.1修改profile文件，配置环境变量export JAVA_HOME=/usr/java/jdk1.8.0_65 ...
本文主要讲解如何编译安装配置 Hadoop2.x eclipse plugin插件的详细过程： 环境参数 编译过程 安装配置 [一]、环境参数 Eclipse Juno Service Release 2 Hadoop2.2.0 Java 1.6.0_65 Mac OXS 10.9.2 [二]、编译过程 目前Hadoop2.x的插件源码托管在github上，本文主要讲解如何编译安装配置 Hadoop2.x eclipse plugin插件的详细过程： 环境参数编译过程安装配置[一]、环境参数 Eclipse Juno Service Release 2Hadoop2.2.0Java 1.6.0_6...
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。一、安装sqoop 1、下载sqoop压缩包，并解压 压缩包分别是：sqoop-1.2.0-CDH3B4.tar.gz，hadoop-0.20.2-CDH3B4.tar.gz， Mysql JDBC驱动包...
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。一、安装sqoop 1、下载sqoop压缩包，并解压 压缩包分别是：sqoop-1.2.0-CDH3B4.tar.gz，hadoop-0.20.2-CDH3B4.tar.gz， Mysql JDBC驱动包...
3.2分布式搭建 hostname 角色 登录用户 IP 网关 hapmaster 主控master hadoop 210.31.181.211 210.31.181.1 hapslave1 附属slave hadoop 210.31.181.216 210.31.181.1 hapslave2 附属slave hadoop 210.31.181.217 210.31.181.1 hapslave3 附属slave hadoop 2 3.2 分布式搭建hostname角色登录用户IP网关hapmaster主控masterhadoop210.31.181.211210.31.181.1hapslave1附属slavehadoop210.31.181.216210.31.181.1hapslave2附属slave...
安装完之后进行配置，首先所有的配置文件从上一版本的hadoop/conf换成了hadoop/etc/hadoop，在hadoop安装目录下，修改 etc/hadoop/core-site.xml，将其配置为： configuration property namehadoop.tmp.dir/name value/usr/hadoop/tmp/value descriptionA ba安装完之后进行配置，首先所有的配置文件从上一版本的hadoop/conf换成了hadoop/etc/hadoop，在hadoop安装目录下，修改 etc/hadoop/core-site.xml，将其配置为：hadoop.tmp.d...
MySQL是最流行的开源SQL数据库管理系统，它由MySQL AB开发、发布和支持。MySQL AB是一家由MySQL开发人员创建的商业公司，它是一家使用了一种成功的商业模式来结合开源价值和方法论的第二代开源公司。MySQL是MySQL AB的注册商标。 MySQL是一个快速的、多线程、多用户和健壮的SQL数据库服务器。MySQL服务器支持关键任务、重负载生产系统的使用，也可以将它嵌入到一个大配置(mass-deployed)的软件中去。 MySQL的官方发音是“My Es...