CentOS 是什么？ CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每两年发行一次，而每个版本的 CentOS 会定期（大概每六个月）更新一次，以便支持新的硬件。这样，建立一个安全、低维护、稳定、高预测性、高重复性的 Linux 环境。 CentOS（Community Enterprise Operating System）是Linux发行版之一...
在谷歌趋势上看，spark全球火，而hawq除了中国其他地方也比较火，尤其德国芬兰hawq火。有意思的是hawq的开发团队的老大是华人，是北京某著名大学的08届博士！团队也有好多华人hive的感觉很呆板，spark天马行空但吃内存并发底。pgsql-->greenplum-->hawq，一路走来，hawq算是够了。hawq的缺点是开发麻烦，CPP语言么！spark用scala语言，代码量少，开发快。hawq是计算存储分离，使用p2p udp快速传输数据。而spark计算和存储一体，RDD...
1.环境说明master 192.168.0.223 mesos-masterslave 192.168.0.225 mesos-salve2.环境准备关闭防火墙关闭selinux两台机器修改主机名master/slave设置hosts，能互相解析3.master和slave配置ssh互信这里配置hadoop用户双机互信，因为hadoop用hadoop用户启动master yum -y install sshpass ssh-keygen 一路回车 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.0.220 slave yum -y install sshpass ssh-k...
hdfsHadoop平台的起源：2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。2005年，Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年2月被分离出来，成为一套完整独立的软件，起名为HadoopHadoop名字不是一个缩写，而是一个生造出来的词。是Hadoop之父Doug Cutting儿子毛绒玩...
在/usr目录下建立 hadoop文件夹,赋予hadoop用户权限 (master)[hadoop@master usr]$ sudo mkdir hadoop [hadoop@master usr]$ ls -al total 156 drwxr-xr-x. 2 root root 4096 Jul 31 00:17 hadoop [hadoop@master usr]$ sudo chown -R hadoop:hadoop hadoop [hadoop@master usr]$ ls -al total 156 drwxr-xr-x. 2 hadoop hadoop 4096 Jul 31 00:17 hadoop在/usr/hadoop目录下 安装hadoop，完成后删除安装包[hadoop@master had...
异常一:2014-03-13 11:10:23,665 INFO org.apache.Hadoop.ipc.Client: Retrying connect to server: Linux-hadoop-38/10.10.208.38:9000.Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)2014-03-13 11:10:24,667 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: Linux-hadoop-38/10.10.208.38:9000. Already tried 1 time(s); retry policy ...
1.在三个节点上安装JDK RPM2.在三个节点上安装HADOOP-1.2.1 RPMrpm方式安装和gz解压方式安装后的目录结构有些不同.安装好之后无需设置HADOOP_HOME环境变量[root@server-914 usr]# whereis hadoophadoop: /usr/bin/hadoop /etc/hadoop /usr/etc/hadoop /usr/include/hadoop /usr/share/hadoop可执行文件在/usr/bin/hadoop,之前在conf目录下的配置文件都在/etc/hadoop下，/usr/etc/hadoop是指向/etc/hadoop的链接，管理集群的脚步在...
一、安装集群A、上传HADOOP安装包B、规划安装目录 /export/servers/hadoop-2.8.4C、解压安装包D、修改配置文件 $HADOOP_HOME/etc/hadoop/1、hadoop-env.sh export JAVA_HOME=/export/servers/jdk1.8.0_112、core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> ...
2. 安装Zookeeper2.1. 解压程序※ 3台服务器分别执行tar -xf ~/install/zookeeper-3.4.9.tar.gz -C/opt/cloud/packagesln -s /opt/cloud/packages/zookeeper-3.4.9 /opt/cloud/bin/zookeeper ln -s /opt/cloud/packages/zookeeper-3.4.9/conf /opt/cloud/etc/zookeepermkdir -p /opt/cloud/data/zookeeper/dat mkdir -p /opt/cloud/data/zookeeper/logdat mkdir -p /opt/cloud/logs/zookeeper2.2. 修改配置文件2.2.1. 修改zo...
目錄： 1.VM10安裝 2.VMTOOL安裝 3.R語言在Ubuntu安装注：以下截图针对Ubuntu操作系统，对Centos步骤类似。请读者选择不同镜像即可。第一部分：VMware WorkStation10 安装 1.安装好VMware10虚拟机软件并下载好Ubuntu16.04 LTS 64位版的镜像包2.打开VMware10虚拟机软件，选择“创建新的虚拟机” 3.虚拟机创建过程3-1）在“新建虚拟机向导”窗口中，选择“自定义”然后下一步3-2）硬件兼容性选择“Workstation10.0”下...
本篇文章主要是对hadoop pipes编程的一些问题的备注，对于网上常见的问题，并未完全写入。安装基础环境：3台基于centos7的虚拟机（1个master，2个slave：slave1、slave2）、hadoop-2.6.0 1. hadoop安装主要参考的网址是：hadoop参考安装 2. linux配置ssh免密码登录，具体参考的是：centos ssh免密码登录 tips： 1. 三个虚拟机的一定要用一样的帐号，即用户名。如果不一样的话，通过ssh进行免密码登录时会出现问题。比如master登录...
培训Hadoop架构开发！从基础到高级，手把手培训！[技术QQ：2937765541]获取视频资料和培训解答技术支持地址??获取视频资料和培训解答技术支持地址原文：http://huadu951.iteye.com/blog/2288098
继hadoop完全分布式安装后，再结合zookper+hbase安全。在之前环境配置下继续进行。 一、zookper安装1.1 下载并解压软件cd /software wget -c http://apache.fayea.com/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz tar -zxf zookeeper-3.4.10.tar.gz -C /usr/local/ ln -sv /usr/local/zookeeper-3.4.10/ /usr/local/zookeeper echo 1.2 修改配置文件配置文件参数详解可参考zookeeper参数cat > /usr/local/zookeeper/conf/...
Download & Install download hadoop from http://hadoop.apache.org/releases.html#Downloaddownload zip file (not rpm)[v 1.1.2 bin] http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2-bin.tar.gz [v 2.0.5-alpha] http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.0.5-alpha/hadoop-2.0.5-alpha.tar.gz [v 2.1.0-beta] ] http://mirror.bit.edu.cn/apache/hadoop/comm...
作者：二青邮箱：xtfggef@gmail.com 微博：http://weibo.com/xtfggef现在开始要系统地学习下Hadoop了，虽然可能有点儿晚，但是还是想好好学习一下这门火爆的技术，让我们从安装环境开始。官方文档本文使用的个软件及版本如下：Ubuntu 14.10 64 Bit Server EditionHadoop2.6.0JDK 1.7.0_71sshrsync首先自己准备一个装有linux系统的机器，物理机虚拟机都可，推荐使用Oracle VirtualBox 搭建一个虚拟机。本文使用Window7+VirtualB...