安装版本 hadoop-2.0.0-cdh4.2.0hbase-0.94.2-cdh4.2.0hive-0.10.0-cdh4.2.0jdk1.6.0_38 安装前说明 安装目录为/opt 检查hosts文件 关闭防火墙 设置时钟同步 使用说明 安装hadoop、hbase、hive成功之后启动方式为： 启动dfs和mapreduce desktop1上执行start- 安装版本hadoop-2.0.0-cdh4.2.0 hbase-0.94.2-cdh4.2.0 hive-0.10.0-cdh4.2.0 jdk1.6.0_38安装前说明安装目录为/opt检查hosts文件关闭防火墙设置时钟同步使用说明安装hadoo...
MySQL是最流行的开源SQL数据库管理系统，它由MySQL AB开发、发布和支持。MySQL AB是一家由MySQL开发人员创建的商业公司，它是一家使用了一种成功的商业模式来结合开源价值和方法论的第二代开源公司。MySQL是MySQL AB的注册商标。 MySQL是一个快速的、多线程、多用户和健壮的SQL数据库服务器。MySQL服务器支持关键任务、重负载生产系统的使用，也可以将它嵌入到一个大配置(mass-deployed)的软件中去。 MySQL的官方发音是“My Es...
参考资料： hive安装手册。 Hadoop2.7实战v1.0之Hive-2.0.0+MySQL远程模式安装 http://m.blog.itpub.net/30089851/viewspace-2082805/ 安装环境 Ubuntu 12.04 server java 1.7.0_95 hadoop 2.6.4 步骤： 1、安装mysql 直接使用命令安装: 更新源sudo apt-get update 安装sudo apt-get install mysql-server mysql-client 2、Mysql创建新用户以及数据库并授权mysql> create database hive_remote_meta; Query OK, 1 row affec...
hadoop在linux上的安装 配置免密码登录 ssh-keygen -t dsa -P -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys test：ssh localhost hadoop环境变量 export JAVA_HOME=/usr/local/jdk export HADOOP_INSTALL=/usr/local/hadoop export PATH=hadoop在linux上的安装配置免密码登录 ssh-keygen -t dsa -P -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keystest：ssh localhosthadoop环境变量 expor...
[Hadoop]完全分布式集群安装过程详解 1. 用Vmware Workstation创建4个虚拟机，每个虚拟机都装上Centos（版本：CentOS-6.3-x86_64），示意图如下： 2. 在所有结点上修改/etc/hosts，使彼此之间都能够用机器名解析IP 192.168.231.131 node01 192.168.231.132 n[Hadoop]完全分布式集群安装过程详解1. 用Vmware Workstation创建4个虚拟机，每个虚拟机都装上Centos（版本：CentOS-6.3-x86_64），示意图如下：2. 在所有结点上修...
Hadoop2对HDFS的改进很大，支持HDFS(NameNode) 和ResourceManager高可用性，避免集群中单点故障造成整个集群不可用。那么，从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统，具体 根据下面规划来，本文只部署高可用Hadoop集群，后续 很快更新其他 Hadoop2对HDFS的改进很大，支持HDFS(NameNode) 和ResourceManager高可用性，避免集群中单点故障造成整个集群不可用。那么，从本文开始将部署一套高可用Hadoop集群及家族中相...
官网下载地址 ? https://dev.mysql.com/downloads/file/?id=471503 ? 本文所用MySQL版本为5.7.19; 上传包 ? 将mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar 安装包上传到/opt/soft目录（此目录可以自定义）,采用rz命令； [root@bigdata112 conf]# rz ? 若不存在rz命令，可以用yum进行安装（如下代码），安装完成再执行rz 上传包命令； [root@bigdata112 ~]# yum install lrzsz 检测是否已有mysql [root@bigdata112 ~]# rpm -qa | gre...
安装时报错：Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (site) on project hadoop-hdfs: An Ant BuildException has occured: input file /usr/local/hadoop-2.6.0-stable/hadoop-2.6.0-src/hadoop-hdfs-project/hadoop-hdfs/target/findbugsXml.xml does not exist 原因错误已经写得很清楚了。 解决办法：去掉docs，执行：mvn package -Pdist,native -DskipTests -Dtar <rf> :hadoop-hdfshad...
-i mysql 如果之前已经安装了mysql，则停止mysql服务#service mysqld stop 第二步，卸载已经安装的mysql（先卸载mysql-server-5.1.73-7.el6.x86_64和mysql-5.1.73-7.el6.x86_64）#rpm -ev mysql-server-5.1.73-7.el6.x86_64#rpm -ev mysql-5.1.73-7.el6.x86_64#rpm -ev perl-DBD-MySQL-4.013-3.el6.x86_64#rpm -ev mysql-devel-5.1.73-7.el6.x86_64 卸载centos自带的mysql-libs-5.1.73-7.el6.x86_64# rpm -ev --nodeps mys...
hadoop-04-mysql安装 su root 1，rpm -qa|grep mysql 2, rpm -e --nodeps `rpm -qa|grep mysql` 3,rpm -ivh com * rpm -ivh lib* rpm -ivh devel* rpm -ivh client* rpm -ivh server* hadoop-04-mysql安装标签：sql grep lib mysq cli mysql安装 nod node bsp 本文系统来源：http://www.cnblogs.com/stono/p/7765931.html
Sqoop1和Sqoop2的对比 sqoop2比sqoop1的改进 引入sqoop server，集中化管理connector等 多种访问方式：CLI,Web UI，REST API 引入基于角色 的安全机制sqoop1与sqoop2的优缺点sqoop1的架构，仅仅使用一个sqoop客户端，sqoop2的架构，引入了sqoop server集中化管理connector，以及rest api，web，UI，并引入权限安全机制。 sqoop1优点架构部署简单 sqoop1的缺点命令行方式容易出错，格式紧耦合，无法支持所有数据类型，安全机制不够...
Hadoop伪分布式集群安装部署 浪尖 浪尖聊大数据 一、 准备环境1， 安装简介Java-- jdk-8u121-linux-x64.tar.gzHadoop--hadoop-2.7.4.tar.gz (jdk1.7会报错)本系列教程所有jar包，请关注微信公众号 ：Spark高级玩法，输入software获取。二， 修改主机名2.1查看主机名hostname2.2 修改/etc/sysconfig/network文件修改前修改后2.3 立即生效假如只是完成了步骤2.2，实际上只是修改了静态配置，重启的时候才会生效，要想立即生效，可以输...
环境配置及软件安装 环境配置域名映射免密登录关闭SELinux时钟同步 软件安装环境变量配置配置文件环境配置 目标配置三台虚拟机（CentOS7.6版本），网络配置已完成，JDK已安装并配置环境变量，防火墙已关闭 hostnamectl set-hostname num04 域名映射 【必选操作】 首先配置当前主机名 可以执行hostname查看到当前主机名，为进行配置的话可以看到一个IP地址 执行hostnamectl set-hostname 主机名，为主机设置主机名，这里三台主机就分...
安装步骤： 1、新建虚拟机（网络选桥接模式、内存尽量大） 2、安装Ubuntu 18.04 3、安装JDK JRE 4、创建hadoop用户# 1、创建用户 sudo useradd -m hadoop -s /bin/bash # 2、设置密码（按提示输入两次密码） sudo passwd hadoop # 3、设置权限 sudo adduser hadoop sudo # 4、用hadoop登录后更新一下 apt sudo apt-get update5、配置SSH无密码登录ssh localhost此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码...
准备 1、三台Centos7的机器，在/etc/hosts中都加上所有的hostname解析： 172.20.0.4 node1 172.20.0.5 node2 172.20.0.6 node3 2、配置node1到三台机器的免密登录 3、全部安装jdk8 4、官网下载安装包：hadoop-2.7.7.tar.gz（推荐中国科学技术大学开源镜像：http://mirrors.ustc.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz） 5、计划：node1作为namenode和datanode，node2和node3作为datanode 配置 三...