Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。一、安装sqoop 1、下载sqoop压缩包，并解压 压缩包分别是：sqoop-1.2.0-CDH3B4.tar.gz，hadoop-0.20.2-CDH3B4.tar.gz， Mysql JDBC驱动包...
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。一、安装sqoop 1、下载sqoop压缩包，并解压 压缩包分别是：sqoop-1.2.0-CDH3B4.tar.gz，hadoop-0.20.2-CDH3B4.tar.gz， Mysql JDBC驱动包...
《生产环境下Hadoop大集群安装与配置+DNS+NFS》一环境LinuxISO：CentOS-6.0-i386-bin-DVD.iso32位JDKversion：1.6.0_25-eaforlinuxHad..《生产环境下Hadoop大集群安装与配置+DNS+NFS》 一 环境 Linux ISO：CentOS-6.0-i386-bin-DVD.iso 32位 JDK version："1.6.0_25-ea" for linux Hadoop software version：hadoop-0.20.205.0.tar.gz for linux VMware Workstation Version： 7.0.0 build-203739 我的linux虚拟机配...
用途 此文档描述了如何安装、配置和维护一个重大集群从几个节点到上千节点。 初次接触hadoop建议先从单节点集群开始。 前提 从 Apache 上下载了稳定的版本。 安装 安装hadoop集群通常需要在所有的节点上解压软件或者prm安装。 通常集群中的某一个节点被当做N 用途此文档描述了如何安装、配置和维护一个重大集群从几个节点到上千节点。初次接触hadoop建议先从单节点集群开始。前提从Apache 上下载了稳定的版本。安装安装hadoop集群通...
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。当然在百度百科上这种方法在Nutch1.2之后，已经不再适合这样描述Nutch了，因为在1.2版本之后，Nutch专注的只是爬取数据，而全文检索的部分彻底Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。当然在百度百科上这种方法在Nutch1.2之后，已经不再适合这样...
安装hadoop的时候每次重新安装都有些配置会记不太清楚，要去查询很麻烦这次做了个笔记，在这里和大家分享下，如果内容有错误，请指正。因为是从word中复制出来的截的图片都没了，可以从下面链接中下载到word原版！之前没有写博客的习惯，以后会陆续分享一些安装hadoop的时候每次重新安装都有些配置会记不太清楚，要去查询很麻烦这次做了个笔记，在这里和大家分享下，如果内容有错误，请指正。因为是从word中复制出来的截的图片都没...
前序： 2月23日，在中关村，海淀黄庄丹棱街SOHO大厦好未来会议室，hadoop专家吴超大侠，分享使用hadoop进行论坛日志分析。在回来的第二天，赶上了这次草根面对面交流。说是草根，像我这样的是草根，其余的都是大侠。在这一次交流中，主要是针对初级想了解had前序：2月23日，在中关村，海淀黄庄丹棱街SOHO大厦好未来会议室，hadoop专家吴超大侠，分享使用hadoop进行论坛日志分析。在回来的第二天，赶上了这次草根面对面交流。说是草...
1：安装JDK 下载好jdk-7u45-linux-x64.gz 或从其它电脑copy过去 [jifeng@feng01 ~]$scp -r ./jdk-7u45-linux-x64.gz jifeng@jifeng01:/home/jifengThe authenticity of host jifeng01 (10.3.7.214) cant be established.RSA key fingerprint is a8:9d:34:63:1：安装JDK 下载好jdk-7u45-linux-x64.gz 或从其它电脑copy过去[jifeng@feng01 ~]$scp -r ./jdk-7u45-linux-x64.gz jifeng@jifeng01:/home/jifeng The authenticity of host...
配置主机名参考Hadoop 1.2.1 集群安装一 配置JDK环境参考Hadoop1.2.1集群安装二 配置hadoop A：下载解压hadoop http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.4.1/hadoop-2.4.1.tar.gz 在/home/jifeng 创建目录 mkdir hadoop hadoop-2.4.1.tar.gz配置主机名参考 Hadoop 1.2.1 集群安装一 配置JDK环境参考Hadoop1.2.1集群安装二 配置hadoopA：下载解压hadoop http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.4.1/...
一、实验目的 1. 现有Hadoop集群只有一个NameNode，现在要增加一个NameNode。 2. 两个NameNode构成HDFS Federation。 3. 不重启现有集群，不影响数据访问。 二、实验环境 4台CentOS release 6.4虚拟机，IP地址为 192.168.56.101 master 192.168.56.102 slave一、实验目的 1. 现有Hadoop集群只有一个NameNode，现在要增加一个NameNode。 2. 两个NameNode构成HDFS Federation。 3. 不重启现有集群，不影响数据访问。二、实验环境 4台...
hadoop 集群环境下面， 使用 sqoop 将hive 统计完生成的数据 导入 到 mysql 数据库中， 碰到 异常 Caused by: java.sql.SQLException: null, message from server: Host datanode is blocked because of many connection errors; unblock with mysqladminhadoop 集群环境下面， 使用 sqoop 将hive 统计完生成的数据 导入 到 mysql 数据库中， 碰到 异常 Caused by: java.sql.SQLException: null, message from server: "Host data...
第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src源码自行编译（10楼评论中提供了一个解决方法链接）。 下载地址:http://apache.c 第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载...
1、系统管理1.1 连接MySQL格式： mysql -h主机地址 -u用户名 －p用户密码举例：例1：连接到本机上的MySQL。首先在打开DOS窗口，然后进入目录 mysqlbin，再键入命令"mysql –u root –p"，回车后提示你输密码，如果刚安装好MySQL，超级用户"root"是没有密码的，故直接回车即可进入到MySQL中了，MySQL的提示符是： mysql>。例2：连接到远程主机上的MYSQL。假设远程主机的IP为：110.110.110.110，用户名为root，密码为abcd123。则键入...
举例：例1：连接到本机上的MySQL。首先在打开DOS窗口，然后进入目录 mysqlbin，再键入命令"mysql –u root –p"，回车后提示你输密码，如果刚安装好MySQL，超级用户"root"是没有密码的，故直接回车即可进入到MySQL中了，MySQL的提示符是： mysql>。例2：连接到远程主机上的MYSQL。假设远程主机的IP为：110.110.110.110，用户名为root，密码为abcd123。则键入以下命令： mysql -h 110.110.110.110 -u root –p abcd123 备注：u与ro...
[Hadoop]完全分布式集群安装过程详解 1. 用Vmware Workstation创建4个虚拟机，每个虚拟机都装上Centos（版本：CentOS-6.3-x86_64），示意图如下： 2. 在所有结点上修改/etc/hosts，使彼此之间都能够用机器名解析IP 192.168.231.131 node01 192.168.231.132 n[Hadoop]完全分布式集群安装过程详解1. 用Vmware Workstation创建4个虚拟机，每个虚拟机都装上Centos（版本：CentOS-6.3-x86_64），示意图如下：2. 在所有结点上修...