Ganglia环境搭建并监控Hadoop分布式集群 简介Ganglia可以监控分布式集群中硬件资源的使用情况,例如CPU,内存,网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度,作为简单地运维参考。 环境搭建流程 1、我们先在主机master01上面搭建好Ganglia环境2、在master01主机上解压JDK和Hadoop到安装目录、修改配置文件3、克隆出两台主机slave01,slave02并修改主机名和IP主机名映射、做免密码登录4、启动Gangli...
deploy.sh脚本
#!/bin/bash#set -xif [ $# -lt 3 ]then echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag"echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag confFile"exit fi#!/bin/bash#set -xif [ $# -lt 3 ]then echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag"echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag confFile"exit fisrc=$1...
一,安装java环境
添加java环境变量vi /etc/profile # add by tank
export JAVA_HOME=/data/soft/jdk/jdk1.7.0_71
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 二,修改文件句柄数vi /etc/security/limits.conf # add by tank* soft nofile 65536
* hard nofile 65536 三,设置ssh无密码登录 参考:http://www.cnbl...
一、安装并配置Linux8. 使用当前root用户创建文件夹,并给/opt/下的所有文件夹及文件赋予775权限,修改用户组为当前用户 mkdir -p /opt/modules
mkdir -p /opt/software
mkdir -p /opt/datas
mkdir -p /opt/tools
chmod775 /opt/*
chown beifeng:beifeng /opt/*最终效果如下:[beifeng@beifeng-hadoop-02 opt]$ pwd
/opt
[beifeng@beifeng-hadoop-02 opt]$ ll
total 20
drwxrwxr-x. 5 beifeng beifeng 4096 Jul 3000:13 clusterap...
用于测试,我用4台虚拟机搭建成了hadoop结构我用了两个台式机。一个xp系统,一个win7系统。每台电脑装两个虚拟机,要不然内存就满了。 1、安装虚拟机环境 Vmware,收费产品,占内存较大。 或 Oracle的VirtualBox,开源产品,占内存较小,但安装ubuntu过程中,重启会出错。 我选Vmware。 2、安装操作系统 Centos,红帽开源版,接近于生产环境。 Ubuntu,操作简单,方便,界面友好。 我选Ubuntu12.10.X ...
Hadoop版本:2.6.0 虚拟机VMware11 操作系统ubuntu14.04-x64相关的教程可见http://blog.csdn.net/ggz631047367/article/details/42426391此处仅分享在配置过程中遇到的问题。问题1. 针对使用sudo su的问题 在以前操作ubuntu的时候我习惯使用sudo su进行需要root权限的操作,但是在配置环境的时候遇到了两个问题。问题都在利用sudo su之后,重启命令行或者虚拟机以后出现,主要原因是用户账户更换导致。 一、ssh无法无密码登...
Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下。 在这里,我们采用这样的策略来模拟环境,我们使用3台ubuntu机器,1台为作主机(master),另外2台作为从机(slaver)。同时,这台主机,我们就用第一章中搭建好的环境来。 我们采用与第一章中相似的步骤来操作: 运行环境搭建 在前面,我们知道,运行hadoo...
目的: CentOS7 安装 Hadoop 伪分布式环境组件版本信息: Hadoop: 2.7.7 Hbase: 1.4.8 zookeeper:3.4.7资料下载: 资料包含:虚拟机安装包,CentOS7镜像,所需组件 链接:https://pan.baidu.com/s/1-Ye0vppf19bYQ9SUEDqHXg 提取码:hysl Linux 设置: (1.)关闭防火墙: systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开...
Hadoop2.7.7 centos7 完全分布式 配置与问题随记这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤,文章内容未经过润色,请参考的同学搭配其他博客一同使用,并记得根据实际情况调整相关参数。0.preparejdk,推荐1.8关闭防火墙开放ECS安全组?三台机器之间的免密登陆sship映射:【question1】hadoop启动时出现报错java.net.BindException: Cannot assign requested address说明ip映射没有配置正确,正确的方式是...
一、前期准备1、配置ip进入文件编辑模式:vim /etc/sysconfig/network-scripts/ifcfg-ens192 原内容:TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=dhcp
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens192
UUID=f384ed85-2e1e-4087-9f53-81afd746f459
DEVICE=ens192
ONBOOT=no 修改后内容:TYPE=Etherne...
转载请注明来自36大数据(36dsj.com):36大数据 ? Hadoop分布式文件系统HDFS的工作原理详述转注:读了这篇文章以后,觉得内容比较易懂,所以分享过来支持一下。 Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的 机器上。它能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。要理解HDFS的内部工作原理,首先要理解什么是分布式文件系统。1.分...
一、伪分布式1.新建虚拟机 2. 修改虚拟机的静态IP 3. 修改主机名 4. 关闭防火墙 5. 创建普通用户 useradd jinghang passwd jinghang 6. 配置普通用户具有root权限 vim /etc/sudoers 91 jinghang ALL=(ALL) NOPASSWD:ALL 完成后:wq! 7.在/opt目录下创建文件夹 (1)在/opt目录下创建module、software文件夹 mkdir /opt/module /opt/software (...
1.配置hadoop-env.sh:export JAVA_HOME=/usr/lib/jvm/jdk1.8.2012.配置core-site.xml文件:<!-- 指定hadoop所使用的文件系统schema(URL),HDFS的老大(NameNode)的地址 --><property><name>fs.defaultFS</name><value>hdfs://master1:9000</value></property><!-- 指定hadoop运行时产生的文件存储目录 --><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value></property>3.配置hdfs-site.xml文件: <!-- 指...
简介Ganglia可以监控分布式集群中硬件资源的使用情况,例如CPU,内存,网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度,作为简单地运维参考。 环境搭建流程 1、我们先在主机master01上面搭建好Ganglia环境2、在master01主机上解压JDK和Hadoop到安装目录、修改配置文件3、克隆出两台主机slave01,slave02并修改主机名和IP主机名映射、做免密码登录4、启动Ganglia和Hadoop集群、实现wordcount实例 关闭防火...
搭建为伪分布式Hadoop环境1、宿主机(Windows)与客户机(安装在虚拟机中的Linux)网络连接。a) Host-only 宿主机与客户机单独组网;好处:网络隔离;坏处:虚拟机和其他服务器之间不能通讯;b) Bridge 桥接 宿主机与客户机在同一个局域网中。好处:窦在同一个局域网,可以互相访问;坏处:不完全。2、Hadoop的为分布式安装步骤a) 设置静态IP在centos下左面上右上角图标右键修改;重启网卡service network restart;验证:执行命令i...