注意：此次搭建是在ssh无密码配置、jdk环境已经配置好的情况下进行的可以参考： Hadoop完全分布式安装教程CentOS环境下搭建hadoop伪分布式集群1.更改主机名执行命令：vi /etc/sysconfig/network2.设置hosts中ip与主机名的绑定执行命令 vi /etc/hosts在里面添加选项设置你的主机名与ip的对应关系3.安装hadoop执行命令,将压缩包解压到/usr/local/hadoop文件夹下tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local/hadoop4.进入...
上篇我们讲述了如何使用VMware安装CentOS系统，接下来就看如何安装我们最为熟悉的jdk吧！安装前先看看系统上有没有安装过jdk，输入java -version,如果查询出了其他版本的jdk版本，就先删除了，笔者这里使用jdk1.6。说开始就开始，下面开始说明安装步骤吧。1.我们去Oracle获取jdk1.6安装文件，地址分享:http://download.oracle.com/otn/java/jdk/6u45-b06/jdk-6u45-linux-i586.bin，这地址不能直接进行下载需要登录oracle；2.启动虚...
闲来无事，突然看到关于Hadoop集群。以前也了解过，网上找过一些关于百度，谷歌等底层hadoop集群的文档，可是面对很多陌生的技术，看不太通透。所有想自己动手虚拟机试试。经常听到这么高大上的名词，Hadoop已经成为大数据的代名词。短短几年间，Hadoop从一种边缘技术成为事实上的标准。而另一方面，MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候，谷歌好像早已进入到了下一个时代。Hadoop支持三种启动集群模式，分别是单...
Ganglia监控Hadoop集群的安装部署 一、 安装环境 Ubuntu server 12.04安装gmetad的机器：192.168.52.105安装gmond的机 器：192.168.52.31，192.168.52.32，192.168.52.33，192.168.52.34，192.168.52.35，192.168.52.36，192.168.52.37，192.168.52.38，192.168.52.105浏览监控web页面的机器：192.168.52.105 二、 介绍 Ganglia 监控套件包括三个主要部分：gmond，gmetad，和网页接口，通常被称为ganglia- web。gmond 是一个守护...
三台服务器yiprod01,02,03，其中01为namenode，02为secondarynamenode，3个均为datanode3台服务器的这里提到的配置均需一样。0、安装前提条件：0.1 确保有java安装完java后，在.bash_profile中，必须有JAVA_HOME配置export JAVA_HOME=/home/yimr/local/jdk0.2 确保3台机器建立信任关系，详见另一篇文章1、core-site.xml<configuration><property><name>hadoop.tmp.dir</name><value>file:/home/sdc/tmp/hadoop-${user.name}</value...
1.创建hadoop用户(我是添加到root group，也可以新增hadoop group)[root@hftclclw0001 ~]# useradd hadoop [root@hftclclw0001 ~]# usermod -g root[root@hftclclw0001 ~]# cat /etc/passwd ... ... hadoop:x:50295:0::/home/hadoop:/bin/bash[root@hftclclw0001 ~]# chmod 644 /etc/suders [root@hftclclw0001 ~]# vi 644 /etc/suders ... ... root ALL=(ALL) ALL hadoop ALL=(ALL) ALL ...2.ssh免密码登陆[hadoop@hftclclw0001...
因为工作需求，需要我这边实现一个大文件上传到HDFS的功能，因为本机无法连接公司内网的集群，无奈只好自己动手搭建一个单节点的Hadoop来满足工作的需求。下面简单介绍下安装过程中遇到的坑我的机器是阿里云的最低配安装文件：hadoop-2.6.0.tar.gz安装过程也不赘述，请参考：http://www.powerxing.com/install-hadoop-in-centos/按部就班的安装完成之后，执行以下命令：cd /usr/local/hadoop/sbinsh start-all.shjps一个都不能少我...
这篇文章中主要介绍的是，如何基于VM安装Linux，以及如何在安装好Linux之后，基于操作系统安装VMTools。在安装之前，应该先规划好 每个node*的IP地址，以及 hostname：node0 : hostname node0.kokia ; 192.168.10.27node1 : hostname node1.kokia ; 192.168.10.28node2 : hostname node2.kokia ; 192.168.10.29 1. Linux的安装 LZ软件版本是： 1. VMwareWorkstation： 8.0 2. Linux 4.0 企业版 3. Hadoop 1.0...
[一]、环境参数 eclipse-java-kepler-SR2-linux-gtk-x86_64.tar.gz //现在改为eclipse-jee-kepler-SR2-linux-gtk-x86_64.tar.gzHadoop1.0.3Java 1.8.0Ubuntu 12.04 64bit[二]、安装配置1、复制生成的 hadoop-eclipse-plugin-1.0.3.jar 到 eclipse/plugins 路径下,重启eclipse即可。2、在eclipse菜单依次点击 windows → show view → other… ，选择“Show View”对话框打开，搜索框输入“map”，会找到项“Map/Reduce Locations...
Hadoop Eclipse 开发工具 主要分为1、根据Hadoop版本生成插件 2、安装Hadoop Eclipse插件 3、配置Hadoop目录 4、配置Hadoop连接 5、新一个MapReduce工程 WordCount.javaMapReduce——WordCount问题总结参考：http://blog.sina.com.cn/s/blog_7fcb1aef0100zpux.html正成功输入出后信息:14/05/21 23:06:47 INFO input.FileInputFormat: Total input paths to process : 214/05/21 23:06:47 WARN util.NativeCodeLoader: Unable to ...
tips：这个部署完全在以root用户操作，系统为ubuntu14.04，使用了Oracle JDK7_u55替换原来的OpenJDK安装过程：安装Java：从自己的宿主机ftp服务器下载包：cd /usr/lib/jvm wget ftp://192.168.42.110/jdk-7u55-linux-x64.tar.gz tar xvf jdk-7u55-linux-x64.tar.gz mv jdk1.7.0_55/ java-7-sun编辑bashrc：vi ~/.bashrc #添加以下内容 export JAVA_HOME=/usr/lib/jvm/java-7-sun export JRE_HOME=${JAVA_HOME}/jre export CLASSPA...
因为本人最近最近一段时间 都在学习Hadoop，接触了比较多的理论，但是想要深入的去学习Hadoop整个平台，那就必须实战的训练，首先第一步，当然是先搭建好一个Hadoop平台为先。但是比较坑爹的是，Hadoop是要求安装在Linux环境下的，在Windows下是不能直接运行的。所以只能在Windows下搞个Cygwin，然后把Hadoop安装包往里面扔了。我对Cygwin的印象一直不是很好，以前用过这个模拟过Linux环境，后来发现总是会出现各种环境上的问题，非...
一、准备 1，配通网络 ping www.baidu.com 之前安装虚拟机时配过 2，关闭防火墙 systemctl stop firewalld systemctl disable firewalld（开机自动关闭） 3，关闭 selinux vi /etc/selinux/config 修改为selinux disabled 4，关闭 NetworkManager systemctl stop NetworkManager systemctl disable NetworkManager 5，修改计算机名 hadp01(根据个人喜好) 6，配置yum源 安装 yum install wget 做个备份 mv /etc/yum.repos.d/CentOS-...
CentOS 是什么？ CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每两年发行一次，而每个版本的 CentOS 会定期（大概每六个月）更新一次，以便支持新的硬件。这样，建立一个安全、低维护、稳定、高预测性、高重复性的 Linux 环境。 CentOS（Community Enterprise Operating System）是Linux发行版之一...
在谷歌趋势上看，spark全球火，而hawq除了中国其他地方也比较火，尤其德国芬兰hawq火。有意思的是hawq的开发团队的老大是华人，是北京某著名大学的08届博士！团队也有好多华人hive的感觉很呆板，spark天马行空但吃内存并发底。pgsql-->greenplum-->hawq，一路走来，hawq算是够了。hawq的缺点是开发麻烦，CPP语言么！spark用scala语言，代码量少，开发快。hawq是计算存储分离，使用p2p udp快速传输数据。而spark计算和存储一体，RDD...