首页 / MYSQL / Hive学习之路（三）Hive元数据信息对应MySQL数据库表

Hive学习之路（三）Hive元数据信息对应MySQL数据库表

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Hive学习之路（三）Hive元数据信息对应MySQL数据库表，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5471字，纯文字阅读大概需要8分钟。

内容图文

正文

概述

Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。

Hive的元数据信息在MySQL数据中有57张表

Hive学习之路（三）Hive元数据信息对应MySQL数据库表 - 文章图片

一、存储Hive版本的元数据表（VERSION）

VERSION -- 查询版本信息

Hive学习之路（三）Hive元数据信息对应MySQL数据库表 - 文章图片

该表比较简单，但很重要。

VER_ID	SCHEMA_VERSION	VERSION_COMMENT
ID主键	Hive版本	版本说明
1	0.13.0	Set by MetaStore

如果该表出现问题，根本进入不了Hive-Cli。

比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。

二、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）

1、DBS

DBS　　　　 -- 存储Hive中所有数据库的基本信息

Hive学习之路（三）Hive元数据信息对应MySQL数据库表 - 文章图片

元数据表字段	说明	示例数据
DB_ID	数据库ID	2
DESC	数据库描述	测试库
DB_LOCATION_URI	数据库HDFS路径	hdfs://namenode/user/hive/warehouse/lxw1234.db
NAME	数据库名	lxw1234
OWNER_NAME	数据库所有者用户名	lxw1234
OWNER_TYPE	所有者角色	USER

2、DATABASE_PARAMS

DATABASE_PARAMS　　--该表存储数据库的相关参数，在CREATE DATABASE时候用

WITH DBPROPERTIES (property_name=property_value, …)指定的参数。

Hive学习之路（三）Hive元数据信息对应MySQL数据库表 - 文章图片

元数据表字段	说明	示例数据
DB_ID	数据库ID	2
PARAM_KEY	参数名	createdby
PARAM_VALUE	参数值	lxw1234

注意：

DBS和DATABASE_PARAMS这两张表通过DB_ID字段关联。

三、Hive表和视图相关的元数据表

主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。

1、TBLS

该表中存储Hive表、视图、索引表的基本信息。

元数据表字段	说明	示例数据
TBL_ID	表ID	1
CREATE_TIME	创建时间	1436317071
DB_ID	数据库ID	2，对应DBS中的DB_ID
LAST_ACCESS_TIME	上次访问时间	1436317071
OWNER	所有者	liuxiaowen
RETENTION	保留字段	0
SD_ID	序列化配置信息	86，对应SDS表中的SD_ID
TBL_NAME	表名	lxw1234
TBL_TYPE	表类型	MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
VIEW_EXPANDED_TEXT	视图的详细HQL语句	select `lxw1234`.`pt`, `lxw1234`.`pcid` from `liuxiaowen`.`lxw1234`
VIEW_ORIGINAL_TEXT	视图的原始HQL语句	select * from lxw1234

2、TABLE_PARAMS

该表存储表/视图的属性信息。

元数据表字段	说明	示例数据
TBL_ID	表ID	1
PARAM_KEY	属性名	totalSize、numRows、EXTERNAL
PARAM_VALUE	属性值	970107336、21231028、TRUE

3、TBL_PRIVS

该表存储表/视图的授权信息

元数据表字段	说明	示例数据
TBL_GRANT_ID	授权ID	1
CREATE_TIME	授权时间	1436320455
GRANT_OPTION		0
GRANTOR	授权执行用户	liuxiaowen
GRANTOR_TYPE	授权者类型	USER
PRINCIPAL_NAME	被授权用户	username
PRINCIPAL_TYPE	被授权用户类型	USER
TBL_PRIV	权限	Select、Alter
TBL_ID	表ID	22，对应TBLS表中的TBL_ID

四、Hive文件存储信息相关的元数据表

　　主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS

　　由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。

1、SDS

　　该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。

　　TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。

元数据表字段	说明	示例数据
SD_ID	存储信息ID	1
CD_ID	字段信息ID	21，对应CDS表
INPUT_FORMAT	文件输入格式	org.apache.hadoop.mapred.TextInputFormat
IS_COMPRESSED	是否压缩	0
IS_STOREDASSUBDIRECTORIES	是否以子目录存储	0
LOCATION	HDFS路径	hdfs://namenode/hivedata/warehouse/ut.db/t_lxw
NUM_BUCKETS	分桶数量	5
OUTPUT_FORMAT	文件输出格式	org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
SERDE_ID	序列化类ID	3，对应SERDES表

2、SD_PARAMS

　　该表存储Hive存储的属性信息，在创建表时候使用

　　STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。

元数据表字段	说明	示例数据
SD_ID	存储配置ID	1
PARAM_KEY	存储属性名
PARAM_VALUE	存储属性值

3、SERDES

该表存储序列化使用的类信息

元数据表字段	说明	示例数据
SERDE_ID	序列化类配置ID	1
NAME	序列化类别名
SLIB	序列化类	org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

4、SERDE_PARAMS

该表存储序列化的一些属性、格式信息,比如：行、列分隔符

元数据表字段	说明	示例数据
SERDE_ID	序列化类配置ID	1
PARAM_KEY	属性名	field.delim
PARAM_VALUE	属性值	,

五、Hive表字段相关的元数据表

主要涉及COLUMNS_V2

1、COLUMNS_V2

该表存储表对应的字段信息。

元数据表字段	说明	示例数据
CD_ID	字段信息ID	1
COMMENT	字段注释
COLUMN_NAME	字段名	pt
TYPE_NAME	字段类型	string
INTEGER_IDX	字段顺序	2

六、Hive表分区相关的元数据表

主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS

1、PARTITIONS

该表存储表分区的基本信息。

元数据表字段	说明	示例数据
PART_ID	分区ID	1
CREATE_TIME	分区创建时间
LAST_ACCESS_TIME	最后一次访问时间
PART_NAME	分区名	pt=2015-06-12
SD_ID	分区存储ID	21
TBL_ID	表ID	2

2、PARTITION_KEYS

该表存储分区的字段信息。

元数据表字段	说明	示例数据
TBL_ID	表ID	2
PKEY_COMMENT	分区字段说明
PKEY_NAME	分区字段名	pt
PKEY_TYPE	分区字段类型	string
INTEGER_IDX	分区字段顺序	1

3、PARTITION_KEY_VALS

该表存储分区字段值。

元数据表字段	说明	示例数据
PART_ID	分区ID	2
PART_KEY_VAL	分区字段值	2015-06-12
INTEGER_IDX	分区字段值顺序	0

4、PARTITION_PARAMS

该表存储分区的属性信息。

元数据表字段	说明	示例数据
PART_ID	分区ID	2
PARAM_KEY	分区属性名	numFiles、numRows
PARAM_VALUE	分区属性值	15、502195

七、其他不常用的元数据表

DB_PRIVS

数据库权限信息表。通过GRANT语句对数据库授权后，将会在这里存储。

IDXS

索引表，存储Hive索引相关的元数据

INDEX_PARAMS

索引相关的属性信息。

TAB_COL_STATS

表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里。

TBL_COL_PRIVS

表字段的授权信息

PART_PRIVS

分区的授权信息

PART_COL_STATS

分区字段的统计信息。

PART_COL_PRIVS

分区字段的权限信息。

FUNCS

用户注册的函数信息

FUNC_RU

用户注册函数的资源信息

内容总结

以上是互联网集市为您收集整理的Hive学习之路（三）Hive元数据信息对应MySQL数据库表全部内容，希望文章能够帮你解决Hive学习之路（三）Hive元数据信息对应MySQL数据库表所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/894742.html

来源：【匿名】

【上一篇】mysql 把select结果update更新到表中,从查询结果中更新数据【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【Hive学习之路（三）Hive元数据信息对应MySQL数据库表】教程文章相关的互联网学习教程文章

从入门到自闭之Python--MySQL数据库的单表操作【代码】

单表查询：select * from 表 where 条件 group by 分组 having 过滤 order by 排序 limit n;语法：select distinct 字段1，字段2... from 表名 where 条件 group by 组名 having 筛选 order by 排序 limit 限制条数找到表:from拿着where指定的约束条件，去文件/表中取出一条条记录将取出的一条条记录进行分组group by，如果没有group by，则整体作为一组执行select（去重）：select * from 表名;将分组的结果进行having过滤将结果按...

备份mysql数据库【图】

使用navicate 使用命令备份mysqldump -hlocalhost -uroot -prootdatabases > C:\Users\asus008\Desktop\mp4\databases.sql还原mysql -hlocalhost -uroot -proot databases < C:\Users\asus008\Desktop\mp4\databases.sql备份多个数据库mysqldump -hlocalhost -uroot -proot --databases oa tele > C:\Users\asus008\Desktop\mp4\databasesf.sql备份所有数据库mysqldump --all -databases -hlocalhost -uroot -proot > C:\Users\as...

Ubuntu下取消MySQL数据库本机绑定限制方法

出现问题：在Ubuntu系统中，添加了MySQL账户，赋予了数据库完全操作权限，并且允许数据库从外部链接但是，还是无法远程访问MySQL数据库。原因：Ubuntu系统中，默认安装的MySQL限制了只有本机才能访问数据库解决办法：取消MySQL数据库的本机绑定限制nano /etc/mysql/my.cnf #编辑配置文件找到bind-address = 127.0.0.1改为#bind-address = 127.0.0.1ctrl+o #保存配置ctrl+x #退出/etc/init.d/mysql restart #重启数据库现在已经可以...

MySQL数据库web维护管理软件【图】

TreeSoft数据库管理系统使用JAVA开发，采用稳定通用的springMVC +JDBC架构，实现基于WEB方式对 MySQL，Oracle，PostgreSQL 等数据库进行维护管理操作。功能包括：数据库的展示,库表的展示，表字段结构的展示， SQL语句的在线编辑批量执行，表结构的在线设计维护，数据的在线编辑维护，查询语句保存，JSON数据格式化，SQL语法帮助，在线数据源选择配置等。系统内置14套UI皮肤，45套代码编辑区UI方案，使用中可以依个人喜好选择配...

mysql数据库相关基础知识01【代码】

数据库的简介1.什么是数据库：数据仓库。访问必须只能用SQL语句来访问。数据库也是一个文件的系统。 2.数据库的作用：存储数据的作用。开发任何的应用，都有数据库。 3.关系型的数据库：数据库中保存的都是实体与实体之间的关系。 4.常见的数据库* Java开发，必用的两个数据库Oracle和MySQL* Oracle数据库（甲骨文）大型的数据库，收费的。* MySQL数据库小型的数据库，免费开源的。被Oracle收购了（在6.x版本下开始收费了）*...

python连接mysql数据库

1.系统必须安装MySQL-python软件，否则python没有连接的模块(在Linux系统)yum install MySQL-python2.安装mysql数据库yum install mysql-server mysql[root@AY140528120357495c4bZ ~]# /etc/init.d/mysqld restartStopping mysqld: [ OK ]Starting mysqld: [ OK ][root@AY140528120357495c4bZ ~]#3.在mysql中创建数据库和表[root@AY1405...

配置MySQL数据库【图】

一、配置MySQL数据库1、解压绿色版mysql，如下图二、安装服务1、运行cmd（管理员版本，否则没有权限），如下图 2、运行命令mysqld –install安装服务，如下图：如果不需要mysql里，只需要运行mysqld –remove即可移除，如下图 3、运行net start mysql 启动服务，如下图如需要配置是否开机启动mysql可以在windows服务里面配置。三、客户端测试1、mysql –uroot –p 如下图四、配置编码为UTF-81、在mysql5.6的根目录下，复制my-d...

MYSQLshu数据库学习----查询

查询语句是MYSQL数据库中用到的最多的语句。查询语句分为几种单表查询集合函数查询连接查询子查询合并查询正则表达式查询一：单表查询SELECT 属性 FROM 表名 [WHERE 查询条件][GROUP BY 属性名1 [HAVING 分组条件]][ORDER BY 属性2 [ASC/DESC]][LIMIT];WHERE 查询条件查询条件符号或关键字例子比较=、<、<=、>、>=、!=、<>、!>、!<WHERE ID = 1指定范围BETWEEN AND、NOT BETWEEN ANDWHERE ID BETWEEN 2 AND 3指定集合IN、NOT INWH...

MYSQL数据库导入数据时出现乱码的解决办法

首先在新建数据库时一定要注意生成原数据库相同的编码形式，如果已经生成可以用phpmyadmin等工具再整理一次，防止数据库编码和表的编码不统一造成乱码。方法一: 通过增加参数 –default-character-set = utf8 解决乱码问题mysql -u root -p password < path_to_import_file –default-character-set = utf8 方法二: 在命令行导入乱码解决1. use database_name; 2. set names utf8; (或其他需要的编码) 3. source example.sql (sql...

mysql数据库表格导出为excel表格【代码】

在本地数据库中操作如下：由于excel表格的编码是GBK，所以导出时要加一个设置字符编码；select*from 某个表 into outfile ‘d:/文件名.xls‘CHARACTERSET gbk; 原文：http://www.cnblogs.com/luwenjie110/p/4336988.html

如何设置才能远程登录Mysql数据库【代码】【图】

可以在一台机器上访问另一台机器的MySQL，但是需要一些设置。进入MySQL后，输入以下命令： GRANT ALL PRIVILEGES ON *.* TO ‘tigase‘@‘%‘ IDENTIFIED BY ‘123456‘ WITH GRANT OPTION;允许任何主机以tigase为用户名（root用户不能远程登录，只能本地登录），123456为密码访问MySQL。flush privileges;让MySQL重新加载权限，使赋予的权限能够马上生效。原文：http://www.jb51.net/article/54407.htm

linux下如何实现mysql数据库每天自动备份定时备份【代码】【图】

概述??备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。而对于一些网站、系统来说，数据库就是一切，所以做好数据库的备份是至关重要的！备份是什么？为什么要备份容灾方案建设存储介质光盘磁带硬盘磁盘阵列 DAS：直接附加存储 NAS：网络附加存储 SAN：存储区域网络云存储这里主要以本地磁盘为存储介质讲一下计划任务的...

ThinkPHP学习（三）配置PHP5支持MySQL，连接MySQL数据库【图】

配置PHP5支持MySQL打开PHP配置文件“F:\PHP\php5328Win32\php.ini”，查找“extension=php_mysql.dll”，把前面的分号去掉，保存文件，启动服务；却提示“PHP startup: Unable to load dynamic library :F:\PHP\php_mysql.dll”错误，解决办法，打开PHP配置文件“F:\PHP\php5328Win32\php.ini”，查找“extension_dir = "ext"”，把前面的分号去掉，保存文件，启动服务，问题解决；准备测试数据如果你还没有安装MySQL，请先安装MyS...

全网最全一篇MySQL数据库MVCC详解，不全你打我【图】

什么是MVCC全称Multi-Version Concurrency Control，即多版本并发控制，主要是为了提高数据库的并发性能。以下文章都是围绕InnoDB引擎来讲，因为myIsam不支持事务。同一行数据平时发生读写请求时，会上锁阻塞住。但mvcc用更好的方式去处理读—写请求，做到在发生读—写请求冲突时不用加锁。这个读是指的快照读，而不是当前读，当前读是一种加锁操作，是悲观锁。那它到底是怎么做到读—写不用加锁的，快照读和当前读又是什么鬼，跟着...

Spring Batch示例: 读取CSV文件并写入MySQL数据库【代码】

Spring Batch示例: 读取CSV文件并写入MySQL数据库GitHub版本: https://github.com/kimmking/SpringBatchReferenceCN/blob/master/01_introduction/Spring_Batch_MySQL.md原文链接: Reading and writing CVS files with Spring Batch and MySQL原文作者: Steven Haines - 技术架构师下载本教程的源代码: SpringBatch-CSV演示代码用批处理程序来操作动辄上GB的数据很可能会拖死整个系统,但现在我们可以通过Spring Batch将其拆解为多...

首页 / MYSQL / Hive学习之路 （三）Hive元数据信息对应MySQL数据库表

Hive学习之路 （三）Hive元数据信息对应MySQL数据库表

内容导读

内容图文

概述

一、存储Hive版本的元数据表（VERSION）

二、Hive数据库相关的元数据表（DBS、DATABASE_PARAMS）

1、DBS

2、DATABASE_PARAMS

三、Hive表和视图相关的元数据表

1、TBLS

2、TABLE_PARAMS

3、TBL_PRIVS

四、Hive文件存储信息相关的元数据表

1、SDS

2、SD_PARAMS

3、SERDES

4、SERDE_PARAMS

五、Hive表字段相关的元数据表

1、COLUMNS_V2

六、Hive表分区相关的元数据表

1、PARTITIONS

2、PARTITION_KEYS

3、PARTITION_KEY_VALS

4、PARTITION_PARAMS

七、其他不常用的元数据表

内容总结

内容备注

内容手机端

【Hive学习之路 （三）Hive元数据信息对应MySQL数据库表】教程文章相关的互联网学习教程文章

MYSQL - 相关标签

数据库 - 相关标签

元数据 - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程

首页 / MYSQL / Hive学习之路（三）Hive元数据信息对应MySQL数据库表

Hive学习之路（三）Hive元数据信息对应MySQL数据库表

【Hive学习之路（三）Hive元数据信息对应MySQL数据库表】教程文章相关的互联网学习教程文章