JDK 在Ubuntu下的安装 与 环境变量的配置 前期准备工作： 找到 JDK 和 配置TXT文件 并拷贝到桌面下 不是目录 而是文件拷贝到桌面下 以下的命令部分就直接复制粘贴就能够了 1.配置root用户 使用快捷键 Ctrl + Alt + T 打开终端 输入命令：sudo passwd root 在须要输入password的地方 输入 123456 （注意 须要输入3次 每次输入的时候在屏幕上是不显示出来的） 2.启用root用户 在终端输入命令：su root 输入password：123456 3.安...
所需软件及版本： jdk-7u80-linux-x64.tar.gz hadoop-2.6.0.tar.gz1.安装JDKHadoop 在需在JDK下运行,注意JDK最好使用Oracle的否则可能出bug 2.创建用户[root@MyDB01 ~]# groupadd hadoop[root@MyDB01 ~]# useradd -g hadoop hadoop[root@MyDB01 ~]# passwd hadoop 3.配置SSH确认SSH的客户端和服务端已安装[hadoop@MyDB01 ~]$ rpm -qa|grep sshlibssh2-1.4.2-1.el6.x86_64openssh-clients-5.3p1-94.el6.x86_64openssh-server-5.3p1-...
注意：此次搭建是在ssh无密码配置、jdk环境已经配置好的情况下进行的可以参考： Hadoop完全分布式安装教程CentOS环境下搭建hadoop伪分布式集群1.更改主机名执行命令：vi /etc/sysconfig/network2.设置hosts中ip与主机名的绑定执行命令 vi /etc/hosts在里面添加选项设置你的主机名与ip的对应关系3.安装hadoop执行命令,将压缩包解压到/usr/local/hadoop文件夹下tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local/hadoop4.进入...
一、准备编译软件1.在官网下载jdk1.7、maven3.2.1、ant1.9.4，解压设置好环境变量就可以用。 环境变量设置如下：（1）执行vim /etc/profile （2）在文件尾部加入: export JAVA_HOME=/home/spark/jdk1.7 export MAVEN_HOME=/home/spark/apache-maven-3.2.1 export ANT_HOME=/home/spark/apache-ant-1.9.4 export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$ANT_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JA...
上篇我们讲述了如何使用VMware安装CentOS系统，接下来就看如何安装我们最为熟悉的jdk吧！安装前先看看系统上有没有安装过jdk，输入java -version,如果查询出了其他版本的jdk版本，就先删除了，笔者这里使用jdk1.6。说开始就开始，下面开始说明安装步骤吧。1.我们去Oracle获取jdk1.6安装文件，地址分享:http://download.oracle.com/otn/java/jdk/6u45-b06/jdk-6u45-linux-i586.bin，这地址不能直接进行下载需要登录oracle；2.启动虚...
CentOS 是什么？ CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每两年发行一次，而每个版本的 CentOS 会定期（大概每六个月）更新一次，以便支持新的硬件。这样，建立一个安全、低维护、稳定、高预测性、高重复性的 Linux 环境。 CentOS（Community Enterprise Operating System）是Linux发行版之一...
在谷歌趋势上看，spark全球火，而hawq除了中国其他地方也比较火，尤其德国芬兰hawq火。有意思的是hawq的开发团队的老大是华人，是北京某著名大学的08届博士！团队也有好多华人hive的感觉很呆板，spark天马行空但吃内存并发底。pgsql-->greenplum-->hawq，一路走来，hawq算是够了。hawq的缺点是开发麻烦，CPP语言么！spark用scala语言，代码量少，开发快。hawq是计算存储分离，使用p2p udp快速传输数据。而spark计算和存储一体，RDD...
1.环境说明master 192.168.0.223 mesos-masterslave 192.168.0.225 mesos-salve2.环境准备关闭防火墙关闭selinux两台机器修改主机名master/slave设置hosts，能互相解析3.master和slave配置ssh互信这里配置hadoop用户双机互信，因为hadoop用hadoop用户启动master yum -y install sshpass ssh-keygen 一路回车 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.0.220 slave yum -y install sshpass ssh-k...
Download & Install download hadoop from http://hadoop.apache.org/releases.html#Downloaddownload zip file (not rpm)[v 1.1.2 bin] http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2-bin.tar.gz [v 2.0.5-alpha] http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.0.5-alpha/hadoop-2.0.5-alpha.tar.gz [v 2.1.0-beta] ] http://mirror.bit.edu.cn/apache/hadoop/comm...
安装完之后进行配置，首先所有的配置文件从上一版本的hadoop/conf换成了hadoop/etc/hadoop，在hadoop安装目录下，修改 etc/hadoop/core-site.xml，将其配置为： configuration property namehadoop.tmp.dir/name value/usr/hadoop/tmp/value descriptionA ba安装完之后进行配置，首先所有的配置文件从上一版本的hadoop/conf换成了hadoop/etc/hadoop，在hadoop安装目录下，修改 etc/hadoop/core-site.xml，将其配置为：hadoop.tmp.d...
最近要搭hadoop环境，不想装双系统，所以就想在虚拟机上实验一番 环境准备 1、光盘镜像:CentOS-6.0-i386-bin-DVD.iso 2、VMware10 3、hadoop版本：hahadoop-2.2.0 4、jdk1.8.0 我们要建立一个具有如下配置的集群： host name ip address os 1 master 192.168 最近要搭hadoop环境，不想装双系统，所以就想在虚拟机上实验一番环境准备 1、光盘镜像:CentOS-6.0-i386-bin-DVD.iso2、VMware10 3、hadoop版本：hahadoop-2.2.0 4、jdk1.8...
蓝色部分为文件的内容，橙色部分为新加的启动项目 [root@master bin]# cat /etc/rc.d/rc.local #!/bin/sh # # This script will be executed *after* all the other init scripts. # You can put your own initialization stuff in here if you don't # want to do the full Sys V style init stuff. touch /var/lock/subsys/local /home/work/php/sbin/php-fpm start /home/work/nginx/sbin/nginx /home/wor...
DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens192 UUID=f384ed85-2e1e-4087-9f53-81afd746f459 DEVICE=ens192 ONBOOT=no 修改后内容：TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no...
-i mysql 如果之前已经安装了mysql，则停止mysql服务#service mysqld stop 第二步，卸载已经安装的mysql（先卸载mysql-server-5.1.73-7.el6.x86_64和mysql-5.1.73-7.el6.x86_64）#rpm -ev mysql-server-5.1.73-7.el6.x86_64#rpm -ev mysql-5.1.73-7.el6.x86_64#rpm -ev perl-DBD-MySQL-4.013-3.el6.x86_64#rpm -ev mysql-devel-5.1.73-7.el6.x86_64 卸载centos自带的mysql-libs-5.1.73-7.el6.x86_64# rpm -ev --nodeps mys...
准备 1、三台Centos7的机器，在/etc/hosts中都加上所有的hostname解析： 172.20.0.4 node1 172.20.0.5 node2 172.20.0.6 node3 2、配置node1到三台机器的免密登录 3、全部安装jdk8 4、官网下载安装包：hadoop-2.7.7.tar.gz（推荐中国科学技术大学开源镜像：http://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz） 5、计划：node1作为namenode和datanode，node2和node3作为datanode 配置 三...