13年学习过一段时间的hadoop，但是工作中用到的地方比较少，有些生疏，加上现在hadoop版本也已经比较新了，所以空闲时间想继续学习一下，找到这篇文章，从头开始搭建一个hadoop环境，转过来备忘 Hadoop developers usually test their scripts and code on a pseudo-distributed environment(also known as a single node setup), which is a virtual machine that runs all of the Hadoop daemons simultaneously on a single ma...
ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建集群规划：hostnameNameNodeDataNodeJournalNodeResourceManagerZookeepernode01√√√node02√√node03√√√√node04√√√node05√√√准备工作:首先克隆5台ubuntu虚拟机vim /etc/netplan/01-network-manager-all.yaml修改网络配置我的5台网络配置如下： (ps: 由于这次是家里台式, 所以网关和之前笔记本搭的那次不一样)# Let NetworkManager manage all devic...
三台服务器分别配置IP为：192.168.11.131192.168.11.132192.168.11.133分别配置主机名master：# hostnamectl set-hostname master其它两台分别配置为slave1和slave2各服务器关闭selinux和防火墙：# vi /etc/sysconfig/selinuxSELINUX=enforcing --> SELINUX=disabled# setenforce 0# systemctl stop firewalld# systemctl disable firewalld替换yum源：[root@master ~]# mkdir apps上传包wget-1.14-15.el7.x86_64.rpm[root@master ...
hadoop的基本概念 伪分布式hadoop集群安装 hdfs、MapReduce演示互联网正在从IT走向DT时代。大数据应用分析 1、统计类的分析 2、推荐类的分析 3、机器学习（分类，聚类） 4、人工智能、预测（算法）一、什么是hadoop 官网：http://hadoop.apache.orghadoop是apache旗下的一套开源软件平台。 是一个可靠的、可扩展的、可分布式计算的开源软件。apache hadoop平台是一个框架，允许使用简单的编程模型。 该平台被设计成可以从单个服...
一、虚拟机安装centos7需要显示IPv4地址时设置修改ip addr 中显示ipv4修改 ONBOOT=no 为 ONBOOT=yes，同时需要添加HWADDR=00:0c:29:c8:b6:a7，其中后缀mac地址需要填写ip addr中ech33的ip6的mac 00:0c:29:3a:18:15systemctl stop NetworkManager systemctl disable NetworkManagerservice network restart 启动OK二、安装jdk，这里安装版本jdk1.8.0_192.# 文件解压 tar zxvf jdk-8u192-linux-x64.tar.gz # 移动文件到指定目录下 mv...
环境信息操作系统：macOS Mojave 10.14.6JDK：1.8.0_211 (安装位置：/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home)hadoop：3.2.1开通ssh在"系统偏好设置"->"共享"，设置如下：免密码登录执行以下命令创建秘钥：ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa一路next，最终会在~/.ssh目录生成id_rsa和id_rsa.pub文件执行以下命令，将自己的秘钥放在ssh授权目录，这样ssh登录自身就不需要输入密码了：cat ~/.ssh/...
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/463523151.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker 1.2 各节点重新产生ssh加密文件 ssh-keygen -t rsa 一路回车 进入/root/.ssh目录 cat id_rsa.pub >> authorized.k...
网上hadoop单节点安装文章真是一搜一大堆，可以这样说，全是垃圾，那些博主也不知道自己安装过没有。。反正就一堆的copy，我实在看不下去了。必须把我总结的写出来，如果你有任何问题随时联系我！E-Mail: yanghg@pku.edu.cn下面我以2.2.0为例子！注意这是单节点！！伪分布式！！不喜勿看 Hadoop2.2.0（Yarn）安装详细过程一、运行一个单机版模式的hadoop伪分布式平台1、软件环境 1、操作系统：由于linux的开源性、安全性...
1、将zookeeper-3.4.6.tar.gz解压（例：root目录下）2、将/root/zookeeper-3.4.6/conf/zoo_simple.cfg修改为zoo.cfg并修改zookeeper存放文件的目录：dataDir=/tmp/zookeeper添加：#其中1、2、3是zookeeper的服务编号，后面是对应服务器的主机名server.1=zlj02:2888:3888server.2=my01:2888:3888server.3=my02:2888:38883、mkdir /tmp/zookeeper（三个zookeeper所在的机器都要）4、创建并存放各自zookeeper的服务编号：vim /tmp/zoo...
Ganglia环境搭建并监控Hadoop分布式集群 简介Ganglia可以监控分布式集群中硬件资源的使用情况，例如CPU，内存，网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度，作为简单地运维参考。 环境搭建流程 1、我们先在主机master01上面搭建好Ganglia环境2、在master01主机上解压JDK和Hadoop到安装目录、修改配置文件3、克隆出两台主机slave01,slave02并修改主机名和IP主机名映射、做免密码登录4、启动Gangli...
deploy.sh脚本 #!/bin/bash#set -xif [ $# -lt 3 ]then echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag"echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag confFile"exit fi#!/bin/bash#set -xif [ $# -lt 3 ]then echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag"echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag confFile"exit fisrc=$1...
一，安装java环境 添加java环境变量vi /etc/profile # add by tank export JAVA_HOME=/data/soft/jdk/jdk1.7.0_71 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 二，修改文件句柄数vi /etc/security/limits.conf # add by tank* soft nofile 65536 * hard nofile 65536 三，设置ssh无密码登录 参考：http://www.cnbl...
一、安装并配置Linux8. 使用当前root用户创建文件夹，并给/opt/下的所有文件夹及文件赋予775权限，修改用户组为当前用户 mkdir -p /opt/modules mkdir -p /opt/software mkdir -p /opt/datas mkdir -p /opt/tools chmod775 /opt/* chown beifeng:beifeng /opt/*最终效果如下：[beifeng@beifeng-hadoop-02 opt]$ pwd /opt [beifeng@beifeng-hadoop-02 opt]$ ll total 20 drwxrwxr-x. 5 beifeng beifeng 4096 Jul 3000:13 clusterap...
用于测试，我用4台虚拟机搭建成了hadoop结构我用了两个台式机。一个xp系统，一个win7系统。每台电脑装两个虚拟机，要不然内存就满了。 1、安装虚拟机环境 Vmware，收费产品，占内存较大。 或 Oracle的VirtualBox，开源产品，占内存较小，但安装ubuntu过程中，重启会出错。 我选Vmware。 2、安装操作系统 Centos，红帽开源版，接近于生产环境。 Ubuntu，操作简单，方便，界面友好。 我选Ubuntu12.10.X ...
Hadoop版本：2.6.0 虚拟机VMware11 操作系统ubuntu14.04-x64相关的教程可见http://blog.csdn.net/ggz631047367/article/details/42426391此处仅分享在配置过程中遇到的问题。问题1. 针对使用sudo su的问题 在以前操作ubuntu的时候我习惯使用sudo su进行需要root权限的操作，但是在配置环境的时候遇到了两个问题。问题都在利用sudo su之后，重启命令行或者虚拟机以后出现，主要原因是用户账户更换导致。 一、ssh无法无密码登...