参考 http://www.cnblogs.com/zhijianliutang/p/5736103.html 1 wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz2 解压 tar -zxvf hadoop-2.9.2.tar.gz3 配置环境变量 vim /etc/profile export HADOOP_HOME=/usr/hadoop-2.9.2 export PATH=$PATH:$HADOOP_HOME/bin4 验证 $ hadoop version 配置ssh无密登录。。。。 原文：https://www.cnblogs.com/syscn/p/10138750.html
作为初学Hadoop的新手，搭建Hadoop开发环境花了我很大功夫。倒不是hadoop搭建复杂，由于hadoop本身是一个分布式、多jvm进程的运行环境，我们想达到能用eclipse进行代码跟踪调试目的，还真不是一般的费劲。一边在网上向给位前辈学习，一边自己动手尝试，花了我整整一天的时间终于完成了，为了使自己好不太容易完成的成就，后续被轻易忘记，也为了帮助其他hadoop小白同类脱贫致富，花了一晚上总结了此篇博文，以兹鼓励。一、准备篇言...
-- 建立源库表 USE source; -- 建立客户表 CREATE TABLE customer ( customer_number INT NOT NULL AUTO_INCREMENT PRIMARY KEY comment ‘客户编号，主键‘, customer_name VARCHAR(50) comment ‘客户名称‘, customer_street_address VARCHAR(50) comment ‘客户住址‘, customer_zip_code INT comment ‘邮编‘, customer_city VARCHAR(30) comment ‘所在城市‘, customer_state VARCHAR(2) ...
前一篇博文我们搭建了好了运行环境，这篇小文我们开始搭建开发调试环境。这才是真正的精华，是无数血泪铸就的！4、eclipse，又见eclipse这个我想只要是做java的没有不熟悉，因此我就不再多说了，一切向http://www.eclipse.org索取。注意，这里的eclipse环境安装在虚拟机中哦，别装错地方了！5、安装maven环境去maven.apache.org上下载maven3，解压到/home（因为/home一般是数据盘，装在这里不占系统盘的空间）。配置~/.bash_profil...
Hadoop是Java写的，他无法使用Linux预安装的OpenJDK,因此安装hadoop前需要先安装JDK（1.6以上）原材料：在Oracle官网下载的32位JDK：说明：1、CentOS 7.0系统现在只有64位的，但是，Hadoop一般支持32位的，在64位环境下有事会有Warning出现，避免真的有神马问题，选择i586的JDK（即32位的），当然，64位的CentOS 7 肯定是兼容32位JDK的，记住：64位系统肯定兼容32位的软件，32位系统不能兼容64位软件。64位只是说明了CPU一次运算的...
Ganglia环境搭建并监控Hadoop分布式集群 简介Ganglia可以监控分布式集群中硬件资源的使用情况，例如CPU，内存，网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度，作为简单地运维参考。 环境搭建流程 1、我们先在主机master01上面搭建好Ganglia环境2、在master01主机上解压JDK和Hadoop到安装目录、修改配置文件3、克隆出两台主机slave01,slave02并修改主机名和IP主机名映射、做免密码登录4、启动Gangli...
友情提示：本文超级长，请备好瓜子Hadoop的运行模式单机模式是Hadoop的默认模式，在该模式下无需任何守护进程，所有程序都在单个JVM上运行，该模式主要用于开发和调试mapreduce的应用逻辑；伪分布式模式下，Hadoop守护进程运行在一台机器上，模拟一个小规模的集群。该模式在单机模式的基础上增加了代码调试的功能，允许你检查NameNode，DataNode，Jobtracker，Tasktracker等模拟节点的运行情况；单机模式和伪分布式模式均用于开发和...
一，安装java环境 添加java环境变量vi /etc/profile # add by tank export JAVA_HOME=/data/soft/jdk/jdk1.7.0_71 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 二，修改文件句柄数vi /etc/security/limits.conf # add by tank* soft nofile 65536 * hard nofile 65536 三，设置ssh无密码登录 参考：http://www.cnbl...
一、安装并配置Linux8. 使用当前root用户创建文件夹，并给/opt/下的所有文件夹及文件赋予775权限，修改用户组为当前用户 mkdir -p /opt/modules mkdir -p /opt/software mkdir -p /opt/datas mkdir -p /opt/tools chmod775 /opt/* chown beifeng:beifeng /opt/*最终效果如下：[beifeng@beifeng-hadoop-02 opt]$ pwd /opt [beifeng@beifeng-hadoop-02 opt]$ ll total 20 drwxrwxr-x. 5 beifeng beifeng 4096 Jul 3000:13 clusterap...
Hadoop学习笔记(3) ——分布式环境搭建 前面，我们已经在单机上把Hadoop运行起来了，但我们知道Hadoop支持分布式的，而它的优点就是在分布上突出的，所以我们得搭个环境模拟一下。 在这里，我们采用这样的策略来模拟环境，我们使用3台ubuntu机器，1台为作主机(master)，另外2台作为从机(slaver)。同时，这台主机，我们就用第一章中搭建好的环境来。 我们采用与第一章中相似的步骤来操作: 运行环境搭建 在前面，我们知道，运行hadoo...
16配置IK中文分词器。 1.下载最新的Ik中文分词器。 下载地址：http://ik-analyzer.googlecode.com/files/IK%20Analyzer%202012FF_hf1.zip 2.解压IK Analyzer 2012FF_hf1.zip,获得IK Analyzer 2012FF_hf1。将该目录下的IKAnalyzer.cfg.xml,stopword.dic放到之前安装TOMCAT_HOME/webapps/solr/WEB-INF/classes目录下（没有就创建classes文件夹。） IKAnalyzer2012FF_u1.jar放到之前安装的TOMCAT_HOME/webapps/solr/WEB-INF/lib目...
简介Ganglia可以监控分布式集群中硬件资源的使用情况，例如CPU，内存，网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度，作为简单地运维参考。 环境搭建流程 1、我们先在主机master01上面搭建好Ganglia环境2、在master01主机上解压JDK和Hadoop到安装目录、修改配置文件3、克隆出两台主机slave01,slave02并修改主机名和IP主机名映射、做免密码登录4、启动Ganglia和Hadoop集群、实现wordcount实例 关闭防火...
搭建为伪分布式Hadoop环境1、宿主机（Windows）与客户机（安装在虚拟机中的Linux）网络连接。a) Host-only 宿主机与客户机单独组网；好处：网络隔离；坏处：虚拟机和其他服务器之间不能通讯；b) Bridge 桥接 宿主机与客户机在同一个局域网中。好处：窦在同一个局域网，可以互相访问；坏处：不完全。2、Hadoop的为分布式安装步骤a) 设置静态IP在centos下左面上右上角图标右键修改；重启网卡service network restart;验证：执行命令i...
第一部分：Linux环境安装Hadoop是运行在Linux，虽然借助工具也可以运行在Windows上，但是建议还是运行在Linux系统上，第一部分介绍Linux环境的安装、配置、Java JDK安装等。第二部分：Hadoop本地模式安装Hadoop本地模式只是用于本地开发调试，或者快速安装体验Hadoop，这部分做简单的介绍。第三部分：Hadoop伪分布式模式安装学习Hadoop一般是在伪分布式模式下进行。这种模式是在一台机器上各个进程上运行Hadoop的各个模块，伪分布式...
《Programming Hive》读书笔记（一）Hadoop和Hive环境搭建 先把主要的技术和工具学好，才干更高效地思考和工作。 Chapter 1.Introduction 简单介绍Chapter 2.Getting Started 环境配置 Hadoop版本号会更新，以官方安装教程为准http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation For most of the book, it won’t matterwhich mode you’re using. We’...