环境介绍：在这两种装备centos6.4（32位置）的server安装Hadoop-2.5.1分布式集群（2台机器，主要试验用。哈哈）。1．改动主机名和/etc/hosts文件1）改动主机名（非必要）vi /etc/sysconfig/network HOSTNAME=XXX重新启动后生效。2）/etc/hosts是ip地址和其相应主机名文件，使机器知道ip和主机名相应关系。格式例如以下：#IPAddress HostName 192.168.1.67 MasterServer 192.168.1.241 SlaveServer 2．配置免password登陆SSH1）生成...
首先总结一下之所以被搭建大数据环境支配的原因：浮躁。 总是坐不住，总是嫌视频太长，总是感觉命令太杂太多，所以就不愿去面对。 在抖音上听到一句话：“为什么人们不愿吃学习的苦而能吃社会的苦？ 因为学习的苦需要主动去吃，所以没人愿意，到了社会上，社会的苦不得不吃。” 有些时候，有些坎坷，我们必须要亲身经历，就算你逃避，也终有一天会面对它。就像我，觉得教科书文字枯燥，不如看视频跟着敲直接。但是绕了一圈，...
hadoop2.2.0 链接：http://pan.baidu.com/s/1gdR8KYB 密码：tngd jdk-7u79-linux-x64.tar.gz 链接：http://pan.baidu.com/s/1i3R4HZR 密码：x7do 原文：http://www.cnblogs.com/1184212881-Ark/p/5169675.html
一、安装hadoop前的准备工作1.修改主机字符显示vi /etc/sysconfig/i18n修改为LANG="zh_CN" 2. 修改主机名称1) vi /etc/sysconfig/network修改为HOSTNAME=master(/slave1/slave2)------每台主机改成自己的名称2) vi /etc/hosts将如下内容添加到三台主机该文件的末尾192.168.0.6 master192.168.0.5 slave1192.168.0.2 slave23) 以上方法需要重启主机才能生效，若要即使生效，可以使用<hostname 主机名>命令 3. ssh无密钥登陆1) 通过以...
一、准备编译软件1.在官网下载jdk1.7、maven3.2.1、ant1.9.4，解压设置好环境变量就可以用。 环境变量设置如下：（1）执行vim /etc/profile （2）在文件尾部加入: export JAVA_HOME=/home/spark/jdk1.7 export MAVEN_HOME=/home/spark/apache-maven-3.2.1 export ANT_HOME=/home/spark/apache-ant-1.9.4 export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$ANT_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JA...
最近要搭hadoop环境，不想装双系统，所以就想在虚拟机上实验一番 环境准备 1、光盘镜像:CentOS-6.0-i386-bin-DVD.iso 2、VMware10 3、hadoop版本：hahadoop-2.2.0 4、jdk1.8.0 我们要建立一个具有如下配置的集群： host name ip address os 1 master 192.168 最近要搭hadoop环境，不想装双系统，所以就想在虚拟机上实验一番环境准备 1、光盘镜像:CentOS-6.0-i386-bin-DVD.iso2、VMware10 3、hadoop版本：hahadoop-2.2.0 4、jdk1.8...
蓝色部分为文件的内容，橙色部分为新加的启动项目 [root@master bin]# cat /etc/rc.d/rc.local #!/bin/sh # # This script will be executed *after* all the other init scripts. # You can put your own initialization stuff in here if you don't # want to do the full Sys V style init stuff. touch /var/lock/subsys/local /home/work/php/sbin/php-fpm start /home/work/nginx/sbin/nginx /home/wor...
Hadoop系列之（一）：Hadoop单机部署 1. Hadoop介绍 Hadoop是一个能够对海量数据进行分布式处理的系统架构。 Hadoop框架的核心是：HDFS和MapReduce。HDFS分布式文件系统为海量的数据提供了存储，MapReduce分布式处理框架为海量的数据提供了计算。2. Hadoop安装 2.1 建立hadoop用户 增加hadoop用户 a.以root身份登录，添加”hadoop”用户useradd -m hadoop -s /bin/bash 密码输入两次，笔者使用”hadoop”作为密码，比较好记忆。这样...