原创，转载请注明。谢谢shell启动hadoop集群1：明确启动顺序 1）启动zookeeper集群（分别在centos 4-02，centos6-02，centos7-02） app/zookeeper-3.4.5/bin/zkServer.sh start //启动进程 app/zookeeper-3.4.5/bin/zkServer.sh status //查看状态 2）启动journalnode（分别在centos 4-02，centos6-02，centos7-02） app/hadoop-2.7.2/sbin/hadoop-daemon.sh start journalnode 3）格式化HDFS（centos4-01） hdfs namenode...
Ganglia环境搭建并监控Hadoop分布式集群 简介Ganglia可以监控分布式集群中硬件资源的使用情况，例如CPU，内存，网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度，作为简单地运维参考。 环境搭建流程 1、我们先在主机master01上面搭建好Ganglia环境2、在master01主机上解压JDK和Hadoop到安装目录、修改配置文件3、克隆出两台主机slave01,slave02并修改主机名和IP主机名映射、做免密码登录4、启动Gangli...
概念了解主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。主从结构分类：1、一主多从2、多主多从Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式：1、主节点 从节点2、master slave3、管理者 工作者4、leader followerHadoop集群中各个角色的名称：服务主节点从节点HDFSNameNodeDataNodeYARNResourceManagerNode...
集群配置：jdk1.8.0_161hadoop-2.6.1zookeeper-3.4.8linux系统环境：Centos6.53台主机：master、slave01、slave02Hadoop HA集群搭建（高可用）： 设置静态IP地址为普通用户添加sudo权限服务器网络设置：NAT模式域名设置主机名设置SSH免登录配置关闭防火墙红色步骤主每台主机都要执行，参照上一篇伪分布式集群的搭建环境变量（每台主机一样）：配置文件：配置core-site.xml<configuration><property><!-- 指定hdfs的nameservice为ns...
1.虚拟机安装centos7(网上可以百度，各种教程，此处忽略)2.修改主机名（同时修改3台机器）[root@promote ~]# vim /etc/hostname
# 主机名
hadoop001
[root@promote ~]# hostname hadoop001
[root@promote ~]# hostname
hadoop001
3.修改hosts[root@promote ~]# vim /etc/hosts
## 添加
192.168.1.13 hadoop001
192.168.1.14 hadoop002
192.168.1.15 hadoop003
[root@promote ~]# scp /etc/hosts 192.168.1.14:/etc
[root@promote ~...
VirtualBox虚拟机下载地址下载择操作系统对应的基础安装包
下载扩展包（不区分操作系统）http://www.oracle.com/technetwork/cn/server-storage/virtualbox/downloads/index.html安装基础包按照提示安装即可扩展包安装1 先安装基础包2 安装扩展包打开虚拟机 -> 管理 -> 全局设定 -> 扩展 -> 点击右边的加号 -> 选择下载的扩展包文件，按照提示安装即可VBox安装CentOS7下载minimalISOhttp://isoredirect.centos.org/centos/7/isos/x...
一、备份namenode的元数据namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。1、将元数据复制到远程站点 （1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器 #!/bin/bash export dirname=/mnt/tmphadoop/dfs/namesecondary/current/`date +%y%m%d%H` if [ ! -d ${dirname} ] then mkdir ${dirname} ...
一、伪分布式1.新建虚拟机 2. 修改虚拟机的静态IP 3. 修改主机名 4. 关闭防火墙 5. 创建普通用户 useradd jinghang passwd jinghang 6. 配置普通用户具有root权限 vim /etc/sudoers 91 jinghang ALL=(ALL) NOPASSWD:ALL 完成后:wq! 7.在/opt目录下创建文件夹 （1）在/opt目录下创建module、software文件夹 mkdir /opt/module /opt/software (...
Class ClusterStatus====================================================================ClusterStatus provides clients with information such as:Size of the cluster.Name of the trackers.Task capacity of the cluster.The number of currently running map and reduce tasks.State of the JobTracker.Details regarding black listed trackers.
---------------------------------------------------------------------...
16配置IK中文分词器。
1.下载最新的Ik中文分词器。
下载地址：http://ik-analyzer.googlecode.com/files/IK%20Analyzer%202012FF_hf1.zip
2.解压IK Analyzer 2012FF_hf1.zip,获得IK Analyzer 2012FF_hf1。将该目录下的IKAnalyzer.cfg.xml,stopword.dic放到之前安装TOMCAT_HOME/webapps/solr/WEB-INF/classes目录下（没有就创建classes文件夹。） IKAnalyzer2012FF_u1.jar放到之前安装的TOMCAT_HOME/webapps/solr/WEB-INF/lib目...
简介Ganglia可以监控分布式集群中硬件资源的使用情况，例如CPU，内存，网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度，作为简单地运维参考。 环境搭建流程 1、我们先在主机master01上面搭建好Ganglia环境2、在master01主机上解压JDK和Hadoop到安装目录、修改配置文件3、克隆出两台主机slave01,slave02并修改主机名和IP主机名映射、做免密码登录4、启动Ganglia和Hadoop集群、实现wordcount实例 关闭防火...
1、bigdata is not allowed to impersonate xxx
原因：用户代理未生效。检查core-site.xml文件是否正确配置。<property><name>hadoop.proxyuser.bigdata.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.bigdata.groups</name><value>*</value>
</property>备注hadoop.proxyuser.XXX.hosts 与 hadoop.proxyuser.XXX.groups 中XXX为异常信息中User:* 中的用户名部分<property> <name>hadoop.proxyuser....
spark集群启动的时候可以正常，进入 ./spark-shell 就会出现如下错误配置文件：spark-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_51export SCALA_HOME=/home/hadoop/scala-2.11.6export SPARK_MASTER_IP=master24export SPARK_MASTER_PORT=17077export SPARK_MASTER_WEBUI_PORT=18080export SPARK_WORKER_CORES=1export SPARK_WORKER_MEMORY=30gexport SPARK_WORKER_WEBUI_PORT=18081export SPARK_WORKER_INSTANCES=1INFO SparkEn...
搭建Hadoop集群需要注意的问题：1.检查三台主机名是否正确2.检查三台IP是否正确3.检查 /etc/hosts 映射是否正确4.检查 JDK和Hadoop 是否安装成功（看环境变量配置）键入 ：sudo vi /etc/profile进到文件之后，检查环境变量配置是否正确：5.检查 SSH免密码登录 是否设置成功：[master：主机名server1：第一台从机名server2：第二台从机名]6.检查 Hadoop配置文件进到hadoop目录下：【注：Nahshon 为用户名，更改为你自己的虚拟机主机...
经过前边的积累，今天终于实现了集群环境下部署Hadoop，并成功运行了官方的例子。工作如下：两台机器：NameNode：上网小本，3G内存，机器名：YP-X100e，IP：192.168.101.130。DataNode：虚拟机，Win7下载VMWare10中虚拟Ubuntu14，虚拟机器名：ph-v370，IP：192.168.101.110确保可互相ping通，按照机器名和IP配置各自机器的/etc/hosts文件和/etc/hostname文件，我的hosts配置内容如下127.0.0.1 localhost
192.168.101.130 YP-X100e
...
