依赖： 1.jdk jdk-8u91-linux-x64.rpm 2.hadoop hadoop-2.7.3.tar.gz把这两个依赖放到 /usr/local/ 下 安装JDK 这里直接用rpm安装 rpm -ivh jdk-8u91-linux-x64.rpm 安装好以后，会在 /usr目录下建立一个 java的文件夹，里面就是安装的java 安装Hadoop 1.进入到 /usr/local/ 解压hadoop tar -zxvf hadoop-2.7.3.tar.gz 2.给hadoop配置java路径 vi etc/hadoop/hadoop-env.sh ...
安装步骤：1、新建虚拟机（网络选桥接模式、内存尽量大）2、安装Ubuntu 18.043、安装JDK JRE4、创建hadoop用户# 1、创建用户 sudo useradd -m hadoop -s /bin/bash # 2、设置密码（按提示输入两次密码）sudo passwd hadoop # 3、设置权限sudo adduser hadoop sudo # 4、用hadoop登录后更新一下 apt sudo apt-get update5、配置SSH无密码登录ssh localhost此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hado...
今天在安装hadoop2.2.0时遇到若干问题，解决这些问题有些心得，记录下来以备不时之需。 问题1、master和slave之间不能相互ssh免密码登陆。 问题表象此处略过，直接说解决办法： 1、查看.ssh 目录权限是否正确。700、600 经测试都没有问题。 2、查看.ssh 目录里面文件权限是否正确。最好600.因为ssh服务需要保证此部分文件不能有篡改的风险。 3、删除id_rsa.pub文件，因为ssh登陆到对端时，对端若存在id_rsa.pub文件，则...
1.修改主机名及hosts文件10.205.22.185 nn1 （主）作用namenode,resourcemanager,datanode,zk,hive,sqoop 10.205.22.186 nn2 （备）作用namenode,resourcemanager,datanode,zk 10.205.22.187 dn1 作用datanode,zk 1.1配置ssh免密码登录主节点能免密码登录各个从节点ssh nn1 ssh nn2 ssh dn1 2. 安装jdk1.8和zookeeper，hive,sqoop可搭建成功后再安装2.1修改profile文件，配置环境变量export JAVA_HOME=/usr/java/jdk1.8.0_65 ...
文件夹文件夹 11. 前言 22. 部署 22.1. 机器列表 22.2. 主机名 22.2.1. 暂时改动主机名 32.2.2. 永久改动主机名 32.3. 免password登录范围 43. 约定 43.1. 安装文件夹约定 43.2. 服务port约定 54. 工作详单 65. JDK安装 65.1. 下载安装包 65.2. 安装步骤 66. 免passwordssh2登录 77. Hadoop安装和配置 87.1. 下载安装包 87.2. 安装和环境变量配置 87.3. 改动hadoop-env.sh 97.4. 改动/etc/hosts 97.5. 改动slaves 107.6. 准备好各配...
注：pdf版下载:http://pan.baidu.com/s/1GKGkf 一、实验环境准备 本机配置 CPU ： IntelCorei5-3317,1.7GHz Memory ： 8G OS ： WIN8 VMware 及 Ubuntu12.04 VMware 的安装略。 先安装一个虚拟机（本实验安装的是 Ubuntu12.04LST64bit ） JDK 安装 JDK 下载注：pdf版下载:http://pan.baidu.com/s/1GKGkf一、实验环境准备 本机配置 CPU：Intel Core i5-3317,1.7GHz Memory：8G OS：WIN8 VMware及Ubuntu12.04 VMware的安装略。 先安装...
俗话说得好，万事开头难。在软件开发中，环境部署要算是第一门槛了。我最近折腾了一周时间把cdh5.0.2.tar.gz版本在MRv1模式下，成功集成了Kerberos安全认证，并且是在全分布式模式下。经过这次安装过程，对hadoop的了解又深入了一层。现在趁着自己刚搭建完环俗话说得好，万事开头难。在软件开发中，环境部署要算是第一门槛了。我最近折腾了一周时间把cdh5.0.2.tar.gz版本在MRv1模式下，成功集成了Kerberos安全认证，并且是在全分布...
继上次安装完Kerberos安全认证后，现在我在这基础上，又给CDH加上了HA（high availability），也就是高可靠性，具体来讲就是双NameNode，双Jobtracker（我还是在MRv1模式下），有了HA后，这下集群的健壮性就能够得到很好的保证了。 我还是按照官方文档来操作继上次安装完Kerberos安全认证后，现在我在这基础上，又给CDH加上了HA（high availability），也就是高可靠性，具体来讲就是双NameNode，双Jobtracker（我还是在MRv1模式下）...
Hadoop2安装笔记可以参看：http://www.geedoo.info/hadoop2-development-environment-to-build-test.html 这里主要记录下hadoop安装和测试过程遇到的问题记录： 1.问题一 安装配置完成后执行start-dfs.sh出现如下异常： sed: -e expression #1, char 6: unknHadoop2安装笔记可以参看：http://www.geedoo.info/hadoop2-development-environment-to-build-test.html 这里主要记录下hadoop安装和测试过程遇到的问题记录： 1.问题一 安...
本文尝试使用shell脚本来自动化安装配置Hadoop。使用的操作系统为CentOS，Hadoop版本为?1.x，jdk版本?1.7，其他版本未测试，可能有未知bug。 Hadoop安装脚本 Hadoop安装分为3步，首先安装jdk，然后安装Hadoop，接着配置ssh免密码登陆(非必须)。[1] #!/bin/ba本文尝试使用shell脚本来自动化安装配置Hadoop。使用的操作系统为CentOS，Hadoop版本为?1.x，jdk版本?1.7，其他版本未测试，可能有未知bug。 Hadoop安装脚本 Hadoop安装分为...
本文主要讲解如何编译安装配置 Hadoop2.x eclipse plugin插件的详细过程： 环境参数 编译过程 安装配置 [一]、环境参数 Eclipse Juno Service Release 2 Hadoop2.2.0 Java 1.6.0_65 Mac OXS 10.9.2 [二]、编译过程 目前Hadoop2.x的插件源码托管在github上，本文主要讲解如何编译安装配置 Hadoop2.x eclipse plugin插件的详细过程： 环境参数编译过程安装配置[一]、环境参数 Eclipse Juno Service Release 2Hadoop2.2.0Java 1.6.0_6...
目录结构 Hadoop集群(CDH4)实践之 (0) 前言 Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建 Hadoop集群(CDH4)实践之 (2) HBaseZookeeper搭建 Hadoop集群(CDH4)实践之 (3) Hive搭建 Hadoop集群(CHD4)实践之 (4) Oozie搭建 Hadoop集群(CHD4)实践之 (5) Sqoop安目录结构 Hadoop集群(CDH4)实践之 (0) 前言 Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建 Hadoop集群(CDH4)实践之 (2) HBase&Zookeeper搭建 Hadoop集群(CDH4)实践之 (3) Hiv...
安装cloudera-manager 在http://go.cloudera.com/cloudera-standard-download.html下载cloudera-manager-installer.bin 下载完要给它设置执行权限 chmod +x ./cloudera-manager-installer.bin 要用root权限运行, sudo?./cloudera-manager-installer.bin 一步安装cloudera-manager 在http://go.cloudera.com/cloudera-standard-download.html下载cloudera-manager-installer.bin 下载完要给它设置执行权限 chmod +x ./cloudera-mana...
VMware安装多个RedHat Linux操作系统，摘抄了不少网上的资料，基本上按照顺序都能安装好 ? 1、建用户 groupadd bigdata useradd -g bigdata hadoop passwd hadoop ? 2、建JDK vi /etc/profile ? export JAVA_HOME=/usr/lib/java-1.7.0_07 export CLASSPATH=.VMware安装多个RedHat Linux操作系统，摘抄了不少网上的资料，基本上按照顺序都能安装好1、建用户groupadd bigdatauseradd -g bigdata hadooppasswd hadoop2、建JDKvi /etc/...
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。一、安装sqoop 1、下载sqoop压缩包，并解压 压缩包分别是：sqoop-1.2.0-CDH3B4.tar.gz，hadoop-0.20.2-CDH3B4.tar.gz， Mysql JDBC驱动包...