1、环境说明 集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下： Hostname IP 新建用户 新建用户密码 Master 10.10.10.213 hadoop 123456 Slave1 10.10.10.2141、环境说明集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下：HostnameIP新...
例如新增的节点ip为192.168.1.xxx 在所有nn和dn节点上增加192.168.1.xxx datanode-xxx的hosts 在xxx上新建用户 useradd hadoop -s /bin/bash -m 并将其他dn上的.ssh中的所有文件拷贝到xxx上的/home/ hadoop /.ssh路径下 安装jdk apt-get install sun-java6-j例如新增的节点ip为192.168.1.xxx 在所有nn和dn节点上增加192.168.1.xxx datanode-xxx的hosts 在xxx上新建用户 useradd hadoop -s /bin/bash -m 并将其他dn上的.ssh中的所有...
Hadoop集群服务器升级为rhel6内核后，System Cpu占用非常高，有任务运行的时候经常到50%以上。对其中一台机器一天的运行状态采样的数据： idle: 76%?? sys:14%? user: 9% 从采样数据中，可以发现System Cpu比User Cpu还要高，这在Hadoop集群环境中很不寻常。Hadoop集群服务器升级为rhel6内核后，System Cpu占用非常高，有任务运行的时候经常到50%以上。对其中一台机器一天的运行状态采样的数据： idle: 76%?? sys:14%? user: 9% 从...
在日常的使用过程中，可能经常需要将一个集群中hbase的数据迁移到或者拷贝到另外一个集群中，这时候，可能会出很多问题 以下是我在处理的过程中的一些做法和处理方式。 前提，两个hbase的版本一直，否则可能出现不可预知的问题，造成数据迁移失败 当两个集群在日常的使用过程中，可能经常需要将一个集群中hbase的数据迁移到或者拷贝到另外一个集群中，这时候，可能会出很多问题以下是我在处理的过程中的一些做法和处理方式。前提，...
服务器： nodea ----- master nodeb ----- slave nodec ----- slave 新建一个hadoop的账户 sudo useradd -d /home/hadoop -m hadoop -s /bin/bash sudo passwd hadoop 密码任意。 安装必要环境 jdk安装 sudo apt-get install sun-java6-jdk 安装完成后jdk位服务器： nodea -----> master nodeb -----> slave nodec -----> slave 新建一个hadoop的账户 sudo useradd -d /home/hadoop -m hadoop -s /bin/bash sudo passwd hadoop 密...
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。一、安装sqoop 1、下载sqoop压缩包，并解压 压缩包分别是：sqoop-1.2.0-CDH3B4.tar.gz，hadoop-0.20.2-CDH3B4.tar.gz， Mysql JDBC驱动包...
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。一、安装sqoop 1、下载sqoop压缩包，并解压 压缩包分别是：sqoop-1.2.0-CDH3B4.tar.gz，hadoop-0.20.2-CDH3B4.tar.gz， Mysql JDBC驱动包...
《生产环境下Hadoop大集群安装与配置+DNS+NFS》一环境LinuxISO：CentOS-6.0-i386-bin-DVD.iso32位JDKversion：1.6.0_25-eaforlinuxHad..《生产环境下Hadoop大集群安装与配置+DNS+NFS》 一 环境 Linux ISO：CentOS-6.0-i386-bin-DVD.iso 32位 JDK version："1.6.0_25-ea" for linux Hadoop software version：hadoop-0.20.205.0.tar.gz for linux VMware Workstation Version： 7.0.0 build-203739 我的linux虚拟机配...
用途 此文档描述了如何安装、配置和维护一个重大集群从几个节点到上千节点。 初次接触hadoop建议先从单节点集群开始。 前提 从 Apache 上下载了稳定的版本。 安装 安装hadoop集群通常需要在所有的节点上解压软件或者prm安装。 通常集群中的某一个节点被当做N 用途此文档描述了如何安装、配置和维护一个重大集群从几个节点到上千节点。初次接触hadoop建议先从单节点集群开始。前提从Apache 上下载了稳定的版本。安装安装hadoop集群通...
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。当然在百度百科上这种方法在Nutch1.2之后，已经不再适合这样描述Nutch了，因为在1.2版本之后，Nutch专注的只是爬取数据，而全文检索的部分彻底Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。当然在百度百科上这种方法在Nutch1.2之后，已经不再适合这样...
安装hadoop的时候每次重新安装都有些配置会记不太清楚，要去查询很麻烦这次做了个笔记，在这里和大家分享下，如果内容有错误，请指正。因为是从word中复制出来的截的图片都没了，可以从下面链接中下载到word原版！之前没有写博客的习惯，以后会陆续分享一些安装hadoop的时候每次重新安装都有些配置会记不太清楚，要去查询很麻烦这次做了个笔记，在这里和大家分享下，如果内容有错误，请指正。因为是从word中复制出来的截的图片都没...
前序： 2月23日，在中关村，海淀黄庄丹棱街SOHO大厦好未来会议室，hadoop专家吴超大侠，分享使用hadoop进行论坛日志分析。在回来的第二天，赶上了这次草根面对面交流。说是草根，像我这样的是草根，其余的都是大侠。在这一次交流中，主要是针对初级想了解had前序：2月23日，在中关村，海淀黄庄丹棱街SOHO大厦好未来会议室，hadoop专家吴超大侠，分享使用hadoop进行论坛日志分析。在回来的第二天，赶上了这次草根面对面交流。说是草...
1：安装JDK 下载好jdk-7u45-linux-x64.gz 或从其它电脑copy过去 [jifeng@feng01 ~]$scp -r ./jdk-7u45-linux-x64.gz jifeng@jifeng01:/home/jifengThe authenticity of host jifeng01 (10.3.7.214) cant be established.RSA key fingerprint is a8:9d:34:63:1：安装JDK 下载好jdk-7u45-linux-x64.gz 或从其它电脑copy过去[jifeng@feng01 ~]$scp -r ./jdk-7u45-linux-x64.gz jifeng@jifeng01:/home/jifeng The authenticity of host...
配置主机名参考Hadoop 1.2.1 集群安装一 配置JDK环境参考Hadoop1.2.1集群安装二 配置hadoop A：下载解压hadoop http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.4.1/hadoop-2.4.1.tar.gz 在/home/jifeng 创建目录 mkdir hadoop hadoop-2.4.1.tar.gz配置主机名参考 Hadoop 1.2.1 集群安装一 配置JDK环境参考Hadoop1.2.1集群安装二 配置hadoopA：下载解压hadoop http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.4.1/...
一、实验目的 1. 现有Hadoop集群只有一个NameNode，现在要增加一个NameNode。 2. 两个NameNode构成HDFS Federation。 3. 不重启现有集群，不影响数据访问。 二、实验环境 4台CentOS release 6.4虚拟机，IP地址为 192.168.56.101 master 192.168.56.102 slave一、实验目的 1. 现有Hadoop集群只有一个NameNode，现在要增加一个NameNode。 2. 两个NameNode构成HDFS Federation。 3. 不重启现有集群，不影响数据访问。二、实验环境 4台...