记录一下window idea 如何直连sparksql 使用hive数据元数据

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了记录一下window idea 如何直连sparksql 使用hive数据元数据，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2408字，纯文字阅读大概需要4分钟。

内容图文

　　我就直接贴了，把hive的元数据库改成latin1字符集，记住库和里面所有表

 1 alter database hive character set latin1;  
 2 
 3  alter table BUCKETING_COLS                 convert to character set latin1;
 4  alter table CDS                            convert to character set latin1;
 5  alter table COLUMNS_V2                     convert to character set latin1;
 6  alter table DATABASE_PARAMS                convert to character set latin1;
 7  alter table DBS                            convert to character set latin1;
 8  alter table FUNC_RU                        convert to character set latin1;
 9  alter table FUNCS                          convert to character set latin1;
10  alter table GLOBAL_PRIVS                   convert to character set latin1;
11  alter table PART_COL_STATS                 convert to character set latin1;
12  alter table PARTITION_KEY_VALS             convert to character set latin1;
13  alter table PARTITIONS                     convert to character set latin1;
14  alter table ROLES                          convert to character set latin1;
15  alter table SDS                            convert to character set latin1;
16  alter table SEQUENCE_TABLE                 convert to character set latin1;
17  alter table SERDES                         convert to character set latin1;
18  alter table SKEWED_STRING_LIST             convert to character set latin1;
19  alter table SKEWED_STRING_LIST_VALUES      convert to character set latin1;
20  alter table SORT_COLS                      convert to character set latin1;
21  alter table TAB_COL_STATS                  convert to character set latin1;
22  alter table TBLS                           convert to character set latin1;
23  alter table VERSION                        convert to character set latin1;

 4.测试

 1 object test {
 2     def main(args: Array[String]): Unit = {
 3 
 4       val conf = new SparkConf()
 5       conf.setAppName(s"TestHive")
 6       conf.setMaster("local[4]")
 7       val spark = SparkSession.builder.config(conf).enableHiveSupport().getOrCreate()
 8 
 9       spark.sql("show databases").show
10     }
11 
12 }

 

 

　　

记录一下window idea 如何直连sparksql 使用hive数据元数据

标签：环境   res   column   lob   开发环境   info   roles   配置   ide   

本文系统来源：https://www.cnblogs.com/zhangwensi/p/12886808.html

内容总结

以上是互联网集市为您收集整理的记录一下window idea 如何直连sparksql 使用hive数据元数据全部内容，希望文章能够帮你解决记录一下window idea 如何直连sparksql 使用hive数据元数据所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---