Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。一、安装sqoop 1、下载sqoop压缩包，并解压 压缩包分别是：sqoop-1.2.0-CDH3B4.tar.gz，hadoop-0.20.2-CDH3B4.tar.gz， Mysql JDBC驱动包...
《生产环境下Hadoop大集群安装与配置+DNS+NFS》一环境LinuxISO：CentOS-6.0-i386-bin-DVD.iso32位JDKversion：1.6.0_25-eaforlinuxHad..《生产环境下Hadoop大集群安装与配置+DNS+NFS》 一 环境 Linux ISO：CentOS-6.0-i386-bin-DVD.iso 32位 JDK version："1.6.0_25-ea" for linux Hadoop software version：hadoop-0.20.205.0.tar.gz for linux VMware Workstation Version： 7.0.0 build-203739 我的linux虚拟机配...
Mysql for Windows 7 32位：我把mysql数据库安装在了自己win7的笔记本上，这样的好处就是减少了虚拟机master slave的开销和使用空 一、环境描述 Mysql版本：mysql-installer-community-5.5.27.1 32位 Mysql for Windows 7 32位：我把mysql数据库安装在了自己win7的笔记本上，这样的好处就是减少了虚拟机master slave的开销和使用空间还可以多利用一台机器的资源，如果你的虚拟机资源很紧张的话也可以这样部署。 Linux ISO：C...
资源下载 1.下载Hadoop-2.5.2.tar.gzhttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2.tar.gz 2.下载hadoop2.5.2-eclipse-pluginhttp://download.csdn.net/detail/lzm1340458776/8519515 3.下载hadoop-common-2.2.0-binhttps://git资源下载 1.下载Hadoop-2.5.2.tar.gz http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2.tar.gz 2.下载hadoop2.5.2-eclipse-plugin http://downloa...
1.环境配置 本次集群有三台节点 Master ： hpd1 Slave:hdp2,hdp3 OS:CentOS6.5 2.下载 Zookeeper3.4.6 Zookeeper3.4.6 下载地址： http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/ 3.解压安装 $tar-zxvfzookeeper-3.4.6.tar.gz 4.配置 设置环境1.环境配置 本次集群有三台节点 Master：hpd1 Slave:hdp2,hdp3 OS:CentOS 6.5 2.下载Zookeeper 3.4.6 Zookeeper 3.4.6下载地址：http://mirrors.cnnic.cn/apache/zookeeper/z...
用途 此文档描述了如何安装、配置和维护一个重大集群从几个节点到上千节点。 初次接触hadoop建议先从单节点集群开始。 前提 从 Apache 上下载了稳定的版本。 安装 安装hadoop集群通常需要在所有的节点上解压软件或者prm安装。 通常集群中的某一个节点被当做N 用途此文档描述了如何安装、配置和维护一个重大集群从几个节点到上千节点。初次接触hadoop建议先从单节点集群开始。前提从Apache 上下载了稳定的版本。安装安装hadoop集群通...
原文来自林羽飞扬 ubuntu版本12.04.3 64位 hadoop是用运行在java虚拟机上的，所以需要先安装jdk，jdk安装配置方法在另一篇博文ubuntu12.04下安装jdk1.7 源码包准备： 我下载的是hadoop-1.2.1.tar.gz,这个版本比较稳定，下载地址可以到官网提供的镜像http://w原文来自林羽飞扬 ubuntu版本12.04.3 64位 hadoop是用运行在java虚拟机上的，所以需要先安装jdk，jdk安装配置方法在另一篇博文ubuntu12.04下安装jdk1.7 源码包准备： 我下载...
写在前面： 1.Apache版本HADOOP云计算平台环境搭建 1.1 集群环境介绍 Hadoop集群环境包含1台机器，在每台机器上运行4台虚拟机，是一个典型的主从式（Master-Slaves）结构。集群包含一个主控节点（Master）和4个从属节点（Slave）。在主从式结构中，主节点一写在前面：1.Apache版本HADOOP云计算平台环境搭建 1.1 集群环境介绍Hadoop集群环境包含1台机器，在每台机器上运行4台虚拟机，是一个典型的主从式（Master-Slaves）结构。集群...
3.2分布式搭建 hostname 角色 登录用户 IP 网关 hapmaster 主控master hadoop 210.31.181.211 210.31.181.1 hapslave1 附属slave hadoop 210.31.181.216 210.31.181.1 hapslave2 附属slave hadoop 210.31.181.217 210.31.181.1 hapslave3 附属slave hadoop 2 3.2 分布式搭建hostname角色登录用户IP网关hapmaster主控masterhadoop210.31.181.211210.31.181.1hapslave1附属slavehadoop210.31.181.216210.31.181.1hapslave2附属slave...
修改主机名和IP的映射关系 vi /etc/hosts 192.168.61.134hadoop 关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off 修改主机名和IP的映射关系 vi /etc/hosts 192.168.61.134hadoop关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动...
oozie的安装部署及配置感觉不是一般的繁琐，而且层出不穷的bug也弄的我焦头烂额，下面主要讲下我的安装过程及遇到的问题 一．必要准备： 1.Apache的tomcat 2. mysql-connector-java-5.1.6.jar 或其他版本的 mysql-connectorjar 包 3.ext-2.2.zip 二．安装部oozie的安装部署及配置感觉不是一般的繁琐，而且层出不穷的bug也弄的我焦头烂额，下面主要讲下我的安装过程及遇到的问题 一．必要准备： 1. Apache的tomcat 2. my...
安装完之后进行配置，首先所有的配置文件从上一版本的hadoop/conf换成了hadoop/etc/hadoop，在hadoop安装目录下，修改 etc/hadoop/core-site.xml，将其配置为： configuration property namehadoop.tmp.dir/name value/usr/hadoop/tmp/value descriptionA ba安装完之后进行配置，首先所有的配置文件从上一版本的hadoop/conf换成了hadoop/etc/hadoop，在hadoop安装目录下，修改 etc/hadoop/core-site.xml，将其配置为：hadoop.tmp.d...
本文主要记录手动安装cloudera Hive cdh4.2.0集群过程，环境设置及Hadoop、HBase安装过程见上篇文章。 安装hive hive安装在desktop1上，注意hive默认是使用derby数据库保存元数据，这里替换为postgresql，下面会提到postgresql的安装说明，并且需要拷贝postg 本文主要记录手动安装cloudera Hive cdh4.2.0集群过程，环境设置及Hadoop、HBase安装过程见上篇文章。安装hivehive安装在desktop1上，注意hive默认是使用derby数据库保存元...
?xmlversion=”1.0″encoding=”UTF-8″standalone=”no”? !– LicensedtotheApacheSoftwareFoundation(ASF)underoneormore contributorlicenseagreements.SeetheNOTICEfiledistributedwith thisworkforadditionalinformationregardingcopyrightownership.?xml version=”1.0″ encoding=”UTF-8″ standalone=”no”?> Licensed to the Apache Software Foundation (ASF) under one or morecontributor license agreements. See...
安装hadoop的时候每次重新安装都有些配置会记不太清楚，要去查询很麻烦这次做了个笔记，在这里和大家分享下，如果内容有错误，请指正。因为是从word中复制出来的截的图片都没了，可以从下面链接中下载到word原版！之前没有写博客的习惯，以后会陆续分享一些安装hadoop的时候每次重新安装都有些配置会记不太清楚，要去查询很麻烦这次做了个笔记，在这里和大家分享下，如果内容有错误，请指正。因为是从word中复制出来的截的图片都没...