Hadoop版本：2.6.0 虚拟机VMware11 操作系统ubuntu14.04-x64相关的教程可见http://blog.csdn.net/ggz631047367/article/details/42426391此处仅分享在配置过程中遇到的问题。问题1. 针对使用sudo su的问题 在以前操作ubuntu的时候我习惯使用sudo su进行需要root权限的操作，但是在配置环境的时候遇到了两个问题。问题都在利用sudo su之后，重启命令行或者虚拟机以后出现，主要原因是用户账户更换导致。 一、ssh无法无密码登...
Hadoop学习笔记(3) ——分布式环境搭建 前面，我们已经在单机上把Hadoop运行起来了，但我们知道Hadoop支持分布式的，而它的优点就是在分布上突出的，所以我们得搭个环境模拟一下。 在这里，我们采用这样的策略来模拟环境，我们使用3台ubuntu机器，1台为作主机(master)，另外2台作为从机(slaver)。同时，这台主机，我们就用第一章中搭建好的环境来。 我们采用与第一章中相似的步骤来操作: 运行环境搭建 在前面，我们知道，运行hadoo...
目的： CentOS7 安装 Hadoop 伪分布式环境组件版本信息： Hadoop: 2.7.7 Hbase: 1.4.8 zookeeper：3.4.7资料下载： 资料包含：虚拟机安装包，CentOS7镜像，所需组件 链接：https://pan.baidu.com/s/1-Ye0vppf19bYQ9SUEDqHXg 提取码：hysl Linux 设置： （1.）关闭防火墙： systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开...
Hadoop2.7.7 centos7 完全分布式 配置与问题随记这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤，文章内容未经过润色，请参考的同学搭配其他博客一同使用，并记得根据实际情况调整相关参数。0.preparejdk，推荐1.8关闭防火墙开放ECS安全组?三台机器之间的免密登陆sship映射：【question1】hadoop启动时出现报错java.net.BindException: Cannot assign requested address说明ip映射没有配置正确，正确的方式是...
一、前期准备1、配置ip进入文件编辑模式：vim /etc/sysconfig/network-scripts/ifcfg-ens192 原内容：TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=dhcp DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens192 UUID=f384ed85-2e1e-4087-9f53-81afd746f459 DEVICE=ens192 ONBOOT=no 修改后内容：TYPE=Etherne...
转载请注明来自36大数据（36dsj.com)：36大数据 ? Hadoop分布式文件系统HDFS的工作原理详述转注：读了这篇文章以后，觉得内容比较易懂，所以分享过来支持一下。 Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的 机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。1.分...
一、伪分布式1.新建虚拟机 2. 修改虚拟机的静态IP 3. 修改主机名 4. 关闭防火墙 5. 创建普通用户 useradd jinghang passwd jinghang 6. 配置普通用户具有root权限 vim /etc/sudoers 91 jinghang ALL=(ALL) NOPASSWD:ALL 完成后:wq! 7.在/opt目录下创建文件夹 （1）在/opt目录下创建module、software文件夹 mkdir /opt/module /opt/software (...
1.配置hadoop-env.sh:export JAVA_HOME=/usr/lib/jvm/jdk1.8.2012.配置core-site.xml文件:<!-- 指定hadoop所使用的文件系统schema（URL)，HDFS的老大（NameNode）的地址 --><property><name>fs.defaultFS</name><value>hdfs://master1:9000</value></property><!-- 指定hadoop运行时产生的文件存储目录 --><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value></property>3.配置hdfs-site.xml文件： <!-- 指...
简介Ganglia可以监控分布式集群中硬件资源的使用情况，例如CPU，内存，网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度，作为简单地运维参考。 环境搭建流程 1、我们先在主机master01上面搭建好Ganglia环境2、在master01主机上解压JDK和Hadoop到安装目录、修改配置文件3、克隆出两台主机slave01,slave02并修改主机名和IP主机名映射、做免密码登录4、启动Ganglia和Hadoop集群、实现wordcount实例 关闭防火...
搭建为伪分布式Hadoop环境1、宿主机（Windows）与客户机（安装在虚拟机中的Linux）网络连接。a) Host-only 宿主机与客户机单独组网；好处：网络隔离；坏处：虚拟机和其他服务器之间不能通讯；b) Bridge 桥接 宿主机与客户机在同一个局域网中。好处：窦在同一个局域网，可以互相访问；坏处：不完全。2、Hadoop的为分布式安装步骤a) 设置静态IP在centos下左面上右上角图标右键修改；重启网卡service network restart;验证：执行命令i...
ubuntu14.04安装hadoop2.7.1伪分布式和错误解决需要说明的是我下载的是源码，通过编译源码并安装一、需要准备的软件：1.JDK和GCC 设置JAVA_HOME： vim ~/.bashrc 在最后增加：export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31，保存退出。 使设置立即生效：source ~/.bashrc 测试JAVA_HOME是否设置成功，输出了上面设置的路径表示成功： echo $JAVA_HOME2.安装maven 解压 tar -zxvf apache-ma...
官方API链接地址：http://hadoop.apache.org/docs/current/一、什么是HDFS？ HDFS(Hadoop distributed file system):Hadoop上面的通用的分布式文件系统，具有高容错，高吞吐量的特性，同时它也是Hadoop的核心。二、Hadoop的优缺点 优点： 1）高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖; 2）高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中...
一个虚拟机 1.以 NAT网卡模式 装载虚拟机 2.最好将几个用到的虚拟机修改主机名，静态IP /etc/network/interface，这里 是 s101 s102 s103 三台主机 ubantu，改/etc/hostname文件 3.安装ssh 在第一台主机那里s101 创建公私密匙 ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa>cd .ssh>cp id_rsa.pub >authorized_keys 创建密匙库将id_rsa.pub传到其他主机上，到.ssh目录下通过 服务端 nc -l 8888 >~/.ssh/aut...
1.在三个机器上都建hadoop账户，密码和账号一样。 # useradd -d /opt/hadoop hadoop # passwd hadoop # chown -R hadoop:hadoop hadoop/ 把hadoop用户分别加上sudo权限 # vim /etc/sudoers root ALL=(ALL) ALL hadoop ALL=(ALL) ALL 2建立账户后，需要对hadoop账户实现无密码ssh登陆的功能 1) 分别切换到hadoop账户，并生成rsa公钥（三台机器上均执行）：# su – hadoop$ ssh-keygen -t rsa -P...
文本详细介绍了HDFS中的许多概念，对于理解Hadoop分布式文件系统很有帮助。1. 介绍在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于NFS中，文件是存...