目录结构 Hadoop集群(CDH4)实践之 (0) 前言 Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建 Hadoop集群(CDH4)实践之 (2) HBaseZookeeper搭建 Hadoop集群(CDH4)实践之 (3) Hive搭建 Hadoop集群(CHD4)实践之 (4) Oozie搭建 Hadoop集群(CHD4)实践之 (5) Sqoop安目录结构 Hadoop集群(CDH4)实践之 (0) 前言 Hadoop集群(CDH4)实践之 (1) Hadoop(HDFS)搭建 Hadoop集群(CDH4)实践之 (2) HBase&Zookeeper搭建 Hadoop集群(CDH4)实践之 (3) Hiv...
Mysql for Windows 7 32位：我把mysql数据库安装在了自己win7的笔记本上，这样的好处就是减少了虚拟机master slave的开销和使用空 一、环境描述 Mysql版本：mysql-installer-community-5.5.27.1 32位 Mysql for Windows 7 32位：我把mysql数据库安装在了自己win7的笔记本上，这样的好处就是减少了虚拟机master slave的开销和使用空间还可以多利用一台机器的资源，如果你的虚拟机资源很紧张的话也可以这样部署。 Linux ISO：C...
今天讲讲怎么用sqoop将Hbase或者Hive的东西导出到mysql。不过事先要告诉大家目前sqoop没有办法把数据直接从Hbase导出到mysql。必须要通过Hive建立2个表，一个外部表是基于这个Hbase表的，另一个是单纯的基于hdfs的hive原生表，然后把外部表的数据导入到原生表（临时），然后通过hive将临时表里面的数据导出到mysql数据准备 mysql建立空表 CREATE TABLE `employee` ( `rowkey` int(11) NOT NULL,`id` int(11) NOT NULL,`name` varch...
本文主要记录手动安装cloudera Hive cdh4.2.0集群过程，环境设置及Hadoop、HBase安装过程见上篇文章。 安装hive hive安装在desktop1上，注意hive默认是使用derby数据库保存元数据，这里替换为postgresql，下面会提到postgresql的安装说明，并且需要拷贝postg 本文主要记录手动安装cloudera Hive cdh4.2.0集群过程，环境设置及Hadoop、HBase安装过程见上篇文章。安装hivehive安装在desktop1上，注意hive默认是使用derby数据库保存元...
此时能够点开一个application。点击Tracking URL: ApplicationMaster 进入到MapReduce Job job_1409xxxx，Job页面 点击左側的Configuration 这里有此Job相应的全部參数。在 右上角的搜索框中输入string, 当中key为 hive.query.string相应的value值就是完整的hive SQL语。 如图之前并没有好好看过Hadoop监控页面。如今发现这里事实上也是值得研究的。在Hadoop监控页面怎样查看Hive的完整SQL标签：分享 track ica pre 搜索 ...
由于很多数据在hadoop平台，当从hadoop平台的数据迁移到hive目录下时，由于hive默认的分隔符是\,为了平滑迁移，需要在创建表格时 由于很多数据在Hadoop平台，当从hadoop平台的数据迁移到hive目录下时，由于hive默认的分隔符是\,为了平滑迁移，需要在创建表格时指定数据的分割符号，语法如下： create table test(uid string,name string)row format delimited fields terminated by \t； 通过这种方式，完成分隔符的指定。 然后通过...
Hive 安装 相比起很多教程先介绍概念，我喜欢先动手装上，然后用例子来介绍概念。我们先来安装一下Hive 先确认是否已经安装了对应的yum源，如果没有照这个教程里面写的安装cdh的yum源http://blog.csdn.net/nsrainbow/article/details/36629339 Hive是什么 HiHive 安装 相比起很多教程先介绍概念，我喜欢先动手装上，然后用例子来介绍概念。我们先来安装一下Hive 先确认是否已经安装了对应的yum源，如果没有照这个教程里面写的安装c...
继续写，其实mysql 导入导出 hdfs 对于实际项目开发没啥用的，但是那个可以拿来入门。今天写跟Hbase和Hive的协作。我突然发现我的教程写的顺序很凌乱啊，没有先介绍Hive 的安装，这点向大家道歉，我后面补上。 数据准备 mysql 在mysql 里面建立表 employee继续写，其实mysql 导入导出 hdfs 对于实际项目开发没啥用的，但是那个可以拿来入门。今天写跟Hbase和Hive的协作。我突然发现我的教程写的顺序很凌乱啊，没有先介绍Hive 的安装...
安装版本 hadoop-2.0.0-cdh4.2.0hbase-0.94.2-cdh4.2.0hive-0.10.0-cdh4.2.0jdk1.6.0_38 安装前说明 安装目录为/opt 检查hosts文件 关闭防火墙 设置时钟同步 使用说明 安装hadoop、hbase、hive成功之后启动方式为： 启动dfs和mapreduce desktop1上执行start- 安装版本hadoop-2.0.0-cdh4.2.0 hbase-0.94.2-cdh4.2.0 hive-0.10.0-cdh4.2.0 jdk1.6.0_38安装前说明安装目录为/opt检查hosts文件关闭防火墙设置时钟同步使用说明安装hadoo...
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言查询，汇总，分析数据。而mapreduce开发人员可以把己写的mapper 和reducer 作为插...
安装虚拟机（centos7）Master：192.168.0.228Slave：192.168.0.207软件apache-hive-1.2.1-bin.tar.gzhadoop-2.6.0-cdh5.4.8.tar.gzjdk-8u65-linux-x64.tar.gzmysql-connector-java-5.1.31-bin.jarhbase-0.98.15-hadoop2-bin.tarzookeeper-3.4.6.tar1.关闭防火墙 Systemctl disable firewalld.service Systemctl stop firewalld.service Setenforce 0 Vim /etc/selinux/config 永久关闭 将SELINUX=enforce改为SELINUX=disab...
从零基础到高级，一对一培训！[技术QQ：2937765541] ------------------------------------------------------------------------------------------------------------------------------------------- 课程体系：获取视频资料和培训解答技术支持地址 课程展示(大数据技术很广，一直在线为你培训解答！)： 获取视频资料和培训解答技术支持地址 大数据架构开发 挖掘分析 Hadoop HBase Hive Storm Spark Sqoop Flume ZooKeep...
参考资料： hive安装手册。 Hadoop2.7实战v1.0之Hive-2.0.0+MySQL远程模式安装 http://m.blog.itpub.net/30089851/viewspace-2082805/ 安装环境 Ubuntu 12.04 server java 1.7.0_95 hadoop 2.6.4 步骤： 1、安装mysql 直接使用命令安装: 更新源sudo apt-get update 安装sudo apt-get install mysql-server mysql-client 2、Mysql创建新用户以及数据库并授权mysql> create database hive_remote_meta; Query OK, 1 row affec...
为什么数据分析一般用到java，而不是使用hadoop，flume，hive的api使用php来处理相关业务？回复内容：为什么数据分析一般用到java，而不是使用hadoop，flume，hive的api使用php来处理相关业务？像传统的关系数据库,进行数据分析的时候难道不是直接使用SQL吗? 如果要分析Web服务器日志,用PHP也完全可以呀,file()读入文件,每行就是数组的一个元素,然后通过分割或者正则匹配就能拿到每一列的内容.如果文件很大,可以调用命令split进行切...
一、问题 Hive安装好以后，查看数据库时提示“FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient”. 二、原因分析 Hadoop安装版本为2.9.2，Hive安装版本为2.3.8，网查可能是版本原因（官网查版本是支持的http://hive.apache.org/downloads.html）。后续再测试2.3.8版本。 三、...