[学习笔记]1.Hadoop的安装1）首先到apache hadoop网站下载hadoop-2.7.4.tar.gz，随便解压到一个目录。文章转载自原文：https://blog.csdn.net/qq_44594249/article/details/94450830原文：https://www.cnblogs.com/haima1949/p/11419892.html
一、虚拟机安装centos7需要显示IPv4地址时设置修改ip addr 中显示ipv4修改 ONBOOT=no 为 ONBOOT=yes，同时需要添加HWADDR=00:0c:29:c8:b6:a7，其中后缀mac地址需要填写ip addr中ech33的ip6的mac 00:0c:29:3a:18:15systemctl stop NetworkManager systemctl disable NetworkManagerservice network restart 启动OK二、安装jdk，这里安装版本jdk1.8.0_192.# 文件解压 tar zxvf jdk-8u192-linux-x64.tar.gz # 移动文件到指定目录下 mv...
hadoop2.2.0hive0.13.1 （事先已经安装好hadoop、MySQL以及在MySQL中建好了hive专用账号，数据创建不创建都可以）1.下载解压2.把MySQL驱动加入hive的lib包中3.从模板文件中复制一份hive-env.sh出来，然后修改。设置hadoop目录4.从模板文件复制一份hive-site.xml出来，然后修改 1 <property>2 <name>javax.jdo.option.ConnectionURL</name>3 <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> 4 ...
一，安装环境 硬件：虚拟机 操作系统：Centos 6.4 64位 IP：10.51.121.10 主机名：datanode-4 安装用户：root二，安装JDK 安装JDK1.6或者以上版本。这里安装jdk1.6.0_45。 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 1，下载jdk1.6.0_45-linux-x64.gz，解压到/usr/lib/jdk1.6.0_45。 2，在/root/.bash_profile中添加如下配置：export JAVA_HOME=/usr/lib/jdk1.6.0_45export PATH=$JAVA_HOME/b...
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/463523151.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker 1.2 各节点重新产生ssh加密文件 ssh-keygen -t rsa 一路回车 进入/root/.ssh目录 cat id_rsa.pub >> authorized.k...
1）查看Hadoop目录结构[atguigu@hadoop102 hadoop-3.1.3]$ ll 总用量 52 drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 bin drwxr-xr-x. 3 atguigu atguigu 4096 5月 22 2017 etc drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 include drwxr-xr-x. 3 atguigu atguigu 4096 5月 22 2017 lib drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 libexec -rw-r--r--. 1 atguigu atguigu 15429 5月 22 2017 LICENSE.tx...
Hadoop安装安装环境本人开发用的电脑操作系统是ubuntu14.04 64位，因此本文讲述的是Hadoop在ubuntu14.0464bit系统下的安装，实际上Hadoop目前也只支持Linux系统。有人号称在Windows下成功安装了Hadoop，我是没有见过。新建用户首先要为Hadoop的安装创建一个新用户：sudouseradd -d /home/hadoop -m hadoopsudopasswd hadoop输入hadoop用户的密码，两次为hadoop用户增加管理员权限，方便部署：sudoadduser hadoop sudo配置SSH免密码...
网上hadoop单节点安装文章真是一搜一大堆，可以这样说，全是垃圾，那些博主也不知道自己安装过没有。。反正就一堆的copy，我实在看不下去了。必须把我总结的写出来，如果你有任何问题随时联系我！E-Mail: yanghg@pku.edu.cn下面我以2.2.0为例子！注意这是单节点！！伪分布式！！不喜勿看 Hadoop2.2.0（Yarn）安装详细过程一、运行一个单机版模式的hadoop伪分布式平台1、软件环境 1、操作系统：由于linux的开源性、安全性...
本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建。 1 环境介绍一台阿里云ECS服务器：master操作系统：CentOS 7.3Hadoop：hadoop-2.7.3.tar.gzJava: jdk-8u77-linux-x64.tar.gzPig: pig-0.17.0.tar.gz2 Pig 下载下载 pig-0.17.0.tar.gz 并在合适的位置解压缩，笔者这里解压缩的路径为:/usr/local将解压得到的目录改名为 hbase 1 cd /usr/local 2mv pig-0.17.0/ pig/3 添加 Pig 环境变量在"...
hadoop入门学习教程--DKHadoop完整安装步骤使用hadoop版本是DKH标准三节点发行版，DKHadoop版本的易用性比较好，环境部署要简单的多，参考此篇安装前请先下载DKHadoop版本，网盘链接：https://pan.baidu.com/s/1-427Sh6lTLrLAPh6KMOYVg 提取码：vg2w 第一部分：准备工作1、大数据平台所需配置：(1) 系统：CentOS 6.5 64位（需默认安装Desktop）(2) CPU ：intel E3及以上。(3) 内存：建议最小8G,用图计算建议32G,推荐128G。(4) 硬...
hadoop-04-mysql安装su root1，rpm -qa|grep mysql2, rpm -e --nodeps `rpm -qa|grep mysql`3,rpm -ivh com * rpm -ivh lib* rpm -ivh devel* rpm -ivh client* rpm -ivh server* 原文：http://www.cnblogs.com/stono/p/7765931.html
Hadoop单节点模式安装 官方教程：http://hadoop.apache.org/docs/r2.7.3/ 本文基于：Ubuntu 16.04、Hadoop-2.7.3一、概述 本文参考官方文档介绍Hadoop单节点模式（本地模式及伪分布式模式）安装（Setting up a Single Node Cluster）。 1、Hadoop安装的三种模式 （1）单机模式（standalone） 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配...
目录环境准备创建hadoop用户更新apt配置SSH免密登陆安装配置Java环境安装HadoopHadoop单机/伪分布配置单机Hadoop伪分布Hadoop启动Hadoop停止Hadoop作者： vincent_zh时间：2016-10-16 出处：http://www.cnblogs.com/vincentzh/p/5967274.html 声明：本文以学习、研究和分享为主，如需转载，标明作者和出处，非商业用途！ 环境准备 此处准备的环境是Virtual Box虚拟机下的Ubuntu14.04 64位系统，Hadoop版本为Hadoop2.6.0。装好Ha...
SSH无密安装与配置具体配置步骤：◎ 在root根目录下创建.ssh目录 （必须root用户登录）cd /root & mkdir .sshchmod 700 .ssh & cd .ssh◎ 创建密码为空的 RSA 密钥对：ssh-keygen -t rsa -P ""◎ 在提示的对称密钥名称中输入 id_rsa将公钥添加至 authorized_keys 中：cat id_rsa.pub >> authorized_keyschmod 644 authorized_keys # 重要◎ 编辑 sshd 配置文件 /etc/ssh/sshd_config ，把 #AuthorizedKeysFile .ssh/authorized_ke...
参考http://www.powerxing.com/install-hadoop/安装环境：ubuntu 14.04 ，64位下载：Oracle JDK 1.7hadoop2.6 1、安装jdk。将jdk的tar.gz包解压缩到/usr/lib/jvm/下，重命名为java，在~/.bashrc中添加环境变量：export JAVA_HOME=/usr/lib/jvm/javaexport JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH 2、安装openssh server sudo apt-get install opens...