1.报错截图和日志 hadoop2.7.5安装hive2.1.1启动报错 Caused by: java.sql.SQLException: Access denied for user ‘root’@‘node03’ (using password: YES) at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:965) [root@node03 apache-hive-2.1.1-bin]# bin/hive which: no hbase in (:/export/servers/apache-hive-2.1.1-bin/bin::/export/servers/hadoop-2.7.5/bin:/export/servers/hadoop-2.7.5/sbin::/expor...
Hive QL 是Hive支持的类似SQL的查询语言。Hive QL大体可以分为DDL、DML和UDF语言。DDL语言主要是创建数据库、创建表、数据库和表的删除；DML主要进行数据的添加、查询；UDF支持用户定义查询函数。 这里写目录标题 本文主要介绍DDL语言1.1 创建数据库1.2 查询数据库1.3 修改数据库属性1.4 删除数据库1.5 创建表1.6 修改表1.7 删除表 参考资料本文主要介绍DDL语言 数据库和数据库表的增删改查！ 1.1 创建数据库 CREATE DATABASE [IF ...
Hive的用处，就是把hdfs里的文件建立映射转化成数据库的表 但hive里的sql语句都是转化成了mapruduce来对hdfs里的数据进行处理 ，并不是真正的在数据库里进行了操作。 而那些表的定义则是储存在了mysql数据库中，他只是记录相应表的定义 所以你的集群中要有一台机器装了mysql 装hive，装到哪都行然后解压tar –zxvf xxxxx –C apps 然后进入到这个目录里下的conf里 创建hive-site.xml文件告诉他mysql在哪，连接驱动是啥，用户名和...
Hive是一个基于HDFS的数据仓库软件，可理解为数据库管理工具；Hive的功能主要有： 1. 支持使用SQL对分布式存储的大型数据集进行读、写、管理，将SQL转化成MapReduce任务执行； 2. 将数据结构映射到已存储的数据中，即将存储在HDFS上结构化的文件内容定义成Hive的外部表。 3. Hive提供了命令行的操作工具和JDBC的开发接口。 我们知道HBase也是基于HDFS的数据库，两者之间有何异同点呢？简言之，Hive和HBase都是Hadoop集群下的工具(b...
Windows10系统下Hadoop和Hive开发环境搭建填坑指南 笔者目前需要搭建数据平台，发现了Windows系统下，Hadoop和Hive等组件的安装和运行存在大量的坑，而本着有坑必填的目标，笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows10系统下Hadoop和Hive开发环境的搭建。这篇文章记录了整个搭建过程中的具体步骤、遇到的问题和对应的解决方案。作者： Throwable 来源：Throwable|2020-11-03 08:36 ?收藏??分享本文...
虚拟机没有配置hbase CentOS 7 配置hadoop(三) 配置hbase（伪分布） 准备 hive压缩包 和 mysql的jdbc驱动jar包 所需内容在第一章节 CentOS 7 配置hadoop(一) 安装虚拟机 （四）配置hive 1.安装mysql服务1）执行安装wget： yum -y install wget2）执行：wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm3）之后执行 ： yum -y install mysql57-community-release-el7-10.noarch.rpm4...
前提 笔者目前需要搭建数据平台，发现了Windows系统下，Hadoop和Hive等组件的安装和运行存在大量的坑，而本着有坑必填的目标，笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows10系统下Hadoop和Hive开发环境的搭建。这篇文章记录了整个搭建过程中的具体步骤、遇到的问题和对应的解决方案。 环境准备基于笔者的软件版本洁癖，所有选用的组件都会使用当前（2020-10-30）最高的版本。软件 版本 备注Windows ...
基于Hadoop的Hive的安装与配置 hive的定义与作用 定义 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 作用 1.） 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 2.） 操作接口采用类SQL语法，提供快速开发的能力。 避免了去写MapReduce，减少开发人员的学习成本。 hive的安装配置与调试 前面需要安装配置好hadoop...
我正在尝试安装Apache Hive,我将HIVE_HOME和HADOOP_HOME插入hive_config.sh并将一些hive jar复制到$HADOOP_HOME / lib中但是当我尝试使用hive命令启动它时,会出现以下错误：Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:346) at...
一、报错信息： 在我执行分区归档时命令：alter table hive_text archive partition (folder=docs); 报错如下：查看日志：cat /tem/hive/root/hive.log(这是我的日志路径),报错日志如下 默认日志路径：/tmp/<user.name>文件夹的hive.log文件中，全路径就是/tmp/当前用户名(root)/hive.log。2019-08-30 04:15:34,496 ERROR [main]: exec.DDLTask (DDLTask.java:failed(520)) - java.lang.NoClassDefFoundError: org/apache/hadoop/t...
环境配置说明：软件 版本VirtualBox 6.1Ubuntu 16.04Hadoop 2.7.7MySql 5.7.29MySql驱动 5.1.46Hive 2.3.6sqoop 1.4.7一、hadoop集群配置以及HDFS命令学习 参考依据： 《python+spark2.0+hadoop机器学习与大数据实战》的第2到6章 （这本书在网上一搜便可以搜到pdf版。傻瓜式教学，跟着一步步安装即可） 1、跟书中不同的安装配置说明： （1）VirtualBox 6.1 这是目前的最新版本，我的电脑是64位，所以下载了6.1版本，如果您的电脑是...
最近我的同学给我发了一篇特别有意思的关于大数据的技术生态Hadoop、Hive、Spark 关系的解读文章。个人觉得非常有意思，通俗易懂，我转载到这里，希望大家一起学习。 luis大数据255 人赞同了该回答你叫杰杰马，你来到了青青草原，找了一块风水宝地插了个旗子，上面写着淘淘村，于是你成为了一个小村庄的村长。 （你创建了个互联网应用） 你还别说，这个小村庄还真有人来住，慢慢的有了几十号村民，还有过来吃住玩的旅人游客。 （你...