14-大数据-元数据信息详解 --mysql数据表对应元数据信息

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了14-大数据-元数据信息详解 --mysql数据表对应元数据信息，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3194字，纯文字阅读大概需要5分钟。

内容图文

1、version表
存储hive版本的元数据表
SCHEMA_VERSION字段表示hive版本
如果该表不存在，启动hive CLI时，报错 table hive.version does not exists

2、hive 数据库相关的元数据表
1> DBS
存储hive中所有数据库的基本信息
字段描述：
DB_ID 数据库id
DESC 数据库描述
DB_LOCATION_URL 数据库HDFS路径
NAME 数据库名
OWNER_NAME 数据库所有者用户名
OWNER_TYPE 所有者角色

2> DATABSE_PARAMS
存储数据库的相关参数，在create database时使用 with dbproperties(propety_name=property_value…)指定的参数
注意：DATABSE_PARAMS和DBS这两张表通过DB_ID关联

3、hive表和视图相关的元数据表
1> TBLS
存储hive表、视图、索引表的基本信息
字段说明：
TBL_ID 表ID
CREATE_TIME 创建时间
DB_ID 数据库ID，对应DBS中的DB_ID
LAST_ACCESS_TIME 上次访问时间
OWNER 所有者
RETENTION 保留字段
SD_ID 序列化配置信息 86，对应SDS表中的SD_ID
TBL_NAME 表名
TBL_TYPE 表类型 MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
VIEW_EXPANDED_TEXT 视图的详细HQL语句
VIEW_ORIGINAL_TEXT 视图的原始HQL语句

2> TABLE_PARAMS
存储表/视图的属性信息
字段说明：
TBL_ID 表ID 1
PARAM_KEY 属性名 如totalSize、numRows、EXTERNAL
PARAM_VALUE 属性值

3> TBL_PRIVS
存储表/视图的授权信息
字段说明：
TBL_GRANT_ID 授权ID
CREATE_TIME 授权时间
GRANTOR 授权执行用户
GRANTOR_TYPE 授权者类型
PRINCIPAL_NAME 被授权用户
PRINCIPAL_TYPE 被授权用户类型
TBL_PRIV 权限 Select、Alter
TBL_ID 表ID 对应TBLS表中的TBL_ID

这三张表通过TBL_ID关联

4、Hive文件存储信息相关的元数据表
hdfs支持的文件格式很多，建hive表也可以指定各种文件格式，hive在将hql解析成MapReduce时，需要知道去哪里，使用哪种格式读写hdfs文件，这些信息就保存在下面表中
1> SDS
该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等
TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息
字段说明：
SD_ID 存储信息ID 1
CD_ID 字段信息ID 21，对应CDS表
INPUT_FORMAT 文件输入格式
IS_COMPRESSED 是否压缩
IS_STOREDASSUBDIRECTORIES 是否以子目录存储 0
LOCATION HDFS路径
NUM_BUCKETS 分桶数量
OUTPUT_FORMAT 文件输出格式
SERDE_ID 序列化类ID 3，对应SERDES表

2> SD_PARAMS
存储Hive存储的属性信息，在创建表时候使用
STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定

3> SERDES
存储序列化使用的类信息

4> SERDE_PARAMS
存储序列化的一些属性、格式信息,比如：行、列分隔符

5、Hive表字段相关的元数据表
1> COLUMNS_V2
存储表对应的字段信息
字段说明：
CD_ID 字段信息ID，同于TBS的TBL_ID
COMMENT 字段注释
COLUMN_NAME 字段名
TYPE_NAME 字段类型
INTEGER_IDX 字段顺序

6、Hive表分区相关的元数据表
1> PARTITIONS
存储表分区的基本信息
字段说明：
PART_ID 分区ID
CREATE_TIME 分区创建时间
LAST_ACCESS_TIME 最后一次访问时间
PART_NAME 分区
SD_ID 分区存储ID
TBL_ID 表ID

2> PARTITION_KEYS
存储分区的字段信息
字段说明：
TBL_ID 表ID
PKEY_COMMENT 分区字段说明
PKEY_NAME 分区字段名
PKEY_TYPE 分区字段类型
INTEGER_IDX 分区字段顺序

3> PARTITION_KEY_VALS
存储分区字段值

4> PARTITION_PARAMS
存储分区的属性信息

7、其他不常用的元数据表
1> DB_PRIVS
数据库权限信息表。通过GRANT语句对数据库授权后，将会在这里存储
2> IDXS
索引表，存储Hive索引相关的元数据
3> INDEX_PARAMS
索引相关的属性信息
4> TAB_COL_STATS
表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里
5> TBL_COL_PRIVS
表字段的授权信息
6> PART_PRIVS
分区的授权信息
7> PART_COL_STATS
分区字段的统计信息
8> PART_COL_PRIVS
分区字段的权限信息
9> FUNCS
用户注册的函数信息
10> FUNC_RU
用户注册函数的资源信息

内容总结

以上是互联网集市为您收集整理的14-大数据-元数据信息详解 --mysql数据表对应元数据信息全部内容，希望文章能够帮你解决14-大数据-元数据信息详解 --mysql数据表对应元数据信息所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---