首页 / 大数据 / 大数据工具篇之Hive与MySQL整合完整教程

大数据工具篇之Hive与MySQL整合完整教程

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了大数据工具篇之Hive与MySQL整合完整教程，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2652字，纯文字阅读大概需要4分钟。

内容图文

一、引言

　Hive元数据存储可以放到RDBMS数据库中，本文以Hive与MySQL数据库的整合为目标，详细说明Hive与MySQL的整合方法。

二、安装驱动

MySQL最新的Java驱动版本为：mysql-connector-java-5.1.28-bin.jar，下载后拷贝到：Hive/Lib目录。

三、安装MySQL

　　3.1 版本

　　RHEL5+mysql-5.5.35-1.i386.rpm

　　3.2 顺序　　

　　MySQL-shared-compat-5.5.35-1.rhel15.i386.rpm

      MySQL-server-5.5.35-1.rhel5.i386.rpm

      MySQL-client-5.5.35-1.rhel5.i386.rpm

四、配置文件

　　修改Hive配置文件Hive-site.xml，修改后的结果如下所示：

             1
            <
            property
            >
             2
            <
            name
            >javax.jdo.option.ConnectionURL</name> 3<value>jdbc:mysql://localhost:3306/hivedb?characterEncoding=UTF-8</value> 4<description>JDBC connect string for a JDBC metastore</description> 5</property> 6 7<property> 8<name>javax.jdo.option.ConnectionDriverName</name> 9<value>com.mysql.jdbc.Driver</value>10<description>Driver class name for a JDBC metastore</description>11</property>1213<property>14<name>javax.jdo.PersistenceManagerFactoryClass</name>15<value>org.datanucleus.jdo.JDOPersistenceManagerFactory</value>16<description>class implementing the jdo persistence</description>17</property>1819<property>20<name>javax.jdo.option.DetachAllOnCommit</name>21<value>true</value>22<description>detaches all objects from session so that they can be used after transaction is committed</description>23</property>2425<property>26<name>javax.jdo.option.NonTransactionalRead</name>27<value>true</value>28<description>reads outside of transactions</description>29</property>3031<property>32<name>javax.jdo.option.ConnectionUserName</name>33<value>root</value>34<description>username to use against metastore database</description>35</property>3637<property>38<name>javax.jdo.option.ConnectionPassword</name>39<value>root</value>40<description>password to use against metastore database</description>41</property>

五、结果展示

安装完成以后，通过访问mysql客户端，可以用来验证是否安装成功。注意与普通关系型数据创建表格后的区别。

　　mysql>show tables;
 

             1
            +----------------+

             2
            | Tables_in_hive |

             3
            +----------------+

             4
            | BUCKETING_COLS |

             5
            | COLUMNS |

             6
            | DBS |

             7
            | PARTITION_KEYS |

             8
            | SDS |

             9
            | SD_PARAMS |

            10
            | SEQUENCE_TABLE |

            11
            | SERDES |

            12
            | SERDE_PARAMS |

            13
            | SORT_COLS |

            14
            | TABLE_PARAMS |

            15
            | TBLS |

            16 +----------------+

　六、注意事项

曾经有人单独找我咨询过这个问题：为何无法在Hive中指定使用哪个MySQL数据库？这里面有一个需要说明的地方是Hive的数据库的概念不同于RDBMS数据库，MySQL数据库的指定是基于配置文件的，但是Hive的数据库只是一个命名空间号，类似分组的概念。hive中的数据库可以在使用MySQL数据库中，通过Select * from DBS查看到。

原文：http://www.cnblogs.com/hadoopdev/p/3513541.html

内容总结

以上是互联网集市为您收集整理的大数据工具篇之Hive与MySQL整合完整教程全部内容，希望文章能够帮你解决大数据工具篇之Hive与MySQL整合完整教程所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1220593.html

来源：【匿名】