首页 / MYSQL / Using ClickHouse like MySQL by ProxySQL

Using ClickHouse like MySQL by ProxySQL

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Using ClickHouse like MySQL by ProxySQL，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5328字，纯文字阅读大概需要8分钟。

内容图文

Using ClickHouse like MySQL by ProxySQL - 文章图片

用户访问ClickHouse，需要默认的客户端clickhouse-client，但是这个工具不够友好：

  1. 需要额外安装，并且使用上，不是那么nice
  2. clickhouse-client其实是clickhouse的软连接，即要么全装，要么不用

啥最普及啊？
答：MySQL

基本所有的服务器都装了mysql，注意，这里指的是mysql-client，就是那个让你用命令行连接到MySQL服务的那个命令

ProxySQL是众多MySQL中间件中的佼佼者，一直被Percona推崇，最近他们也放出了支持ClickHouse的版本

因此，今天的话题就是：
ClickHouse+ProxySQL = Using ClickHouse like MySQL

Install

1
yum -y install   perl-DBD-MySQL
  • 注意
    • 支持ClickHouse的ProxySQL版本，只支持Ubuntu 16, Debian 9, CentOS 7, and Fedora 24，其他版本的不要往下看了

启动ProxySQL

12345678910
# 默认配置文件是这个：/etc/proxysql.cnf # 默认是没有这个数据目录的:mkdir /var/lib/proxysql# 启动proxysql --clickhouse-server# ProxySQL默认会以daemon的方式在后台

创建ClickHouse用户

  • 用户通过MySQL协议，访问ProxySQL，ProxySQL代理请求访问ClickHouse
  • 在第一步里，需要一个密码，这个密码不是ClickHouse的，而是访问ProxySQL的
12345678910111213141516171819202122232425262728
# 登陆本地的ProxySQL# ProxySQL端口是6032，默认用户名密码在配置文件里写有root@10.x.x.x.x:/root  # mysql -h 127.0.0.1 -P 6032  -uadmin -padminWelcome to the MariaDB monitor.  Commands end with ; or g.Your MySQL connection id is 3Server version: 5.5.30 (ProxySQL Admin Module)Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others.Type 'help;' or 'h' for help. Type 'c' to clear the current input statement.MySQL [(none)]> INSERT INTO clickhouse_users VALUES ('clicku','clickp',1,100);Query OK, 1 row affected (0.00 sec)MySQL [(none)]> select * from clickhouse_users ; +----------+----------+--------+-----------------+| username | password | active | max_connections |+----------+----------+--------+-----------------+| clicku   | clickp   | 1      | 100             |+----------+----------+--------+-----------------+1 row in set (0.00 sec)MySQL [(none)]> LOAD CLICKHOUSE USERS TO RUNTIME;Query OK, 0 rows affected (0.00 sec)MySQL [(none)]> SAVE CLICKHOUSE USERS TO DISK;Query OK, 0 rows affected (0.00 sec)

通过MySQL客户端连接ClickHouse

  • ProxySQL默认开启6090端口，来接收用户对ClickHouse的访问
12345678910111213
# 使用上面的用户名和密码# 如果是不同机器，记得改IProot@10.x.x.x.x:/root  # mysql -h 127.0.0.1 -P 6090  -uclicku -pclickp --prompt "ProxySQL-ClickHouse> " Welcome to the MariaDB monitor.  Commands end with ; or g.Your MySQL connection id is 13Server version: 5.5.30 (ProxySQL ClickHouse Module)Copyright (c) 2000 大专栏  Using ClickHouse like MySQL by ProxySQL, 2017, Oracle, MariaDB Corporation Ab and others.Type 'help;' or 'h' for help. Type 'c' to clear the current input statement.ProxySQL-ClickHouse>

执行ClickHouse操作

123456789101112131415161718192021222324252627282930313233343536373839404142
MySQL [(none)]> select version(); +-------------------+| version           |+-------------------+| 5.5.30-clickhouse |+-------------------+1 row in set (0.00 sec)MySQL [(none)]> select now();+---------------------+| now()               |+---------------------+| 2017-12-19 15:45:26 |+---------------------+1 row in set (0.00 sec)MySQL [(none)]> select today(); +------------+| today()    |+------------+| 2017-12-19 |+------------+1 row in set (0.00 sec)# 我们的某个表 600多亿ProxySQL-ClickHouse> select count(*) from XXXXX ; +-------------+| count()     |+-------------+| 62699641362 |+-------------+1 row in set (11.20 sec)# 另一个表 1300多亿ProxySQL-ClickHouse> select count(*) from edge_msg_all;+--------------+| count()      |+--------------+| 131929726359 |+--------------+1 row in set (5.30 sec)

缺点

  • 缺乏clickhouse-client默认的
    1. SQL格式化
    2. SQL进度条
  • 这2个功能非常之好用，格式化后的SQL非常美观，如果是要发给其他人的SQL，会显得非常专业
  • 进度条功能可以明显看到SQL的执行进度，对于明显慢的不能再慢的SQL，可以及时终止掉，防止把集群资源跑满

问题

  • ProxySQL目前对后端的ClickHouse支持很弱，必须是本地的ClickHouse，并且，这个ClickHouse不能有密码，目前是写死的，不支持修改

总结

  • MySQL方式访问ClickHouse，可以减少ClickHouse对于新手的陌生感，非常值得一试
  • ProxySQL还有很多先进的功能，这里没有展开。不确定是否提供了SQL的控制功能，如果有，那简直太好了

Reference

Update

  • 调研ProxySQL其实有一个明显的目的，那就是支持可视化方面的需求
  • 在github上有非常多的数据可视化项目，如Superset、SQLPad、Metabase、Franchise等，但是只有Superset官方支持了ClickHouse，其他几个都不支持，但是支持MySQL
  • 虽然ProxySQL给ClickHouse做了一层包装，可以用MySQL协议访问ClickHouse，但是由于各家具体产品在实际操作过程中的命令不同，导致无法使用
  • Metabase
    • 执行了一个命令，select CONCAT(DATE_FORMAT(current_timestamp, '%Y-%m-%d %H:%i:%S.%f' ), ' ', @@system_time_zone);，这做不到啊
  • SqlPad
    • 获取DB信息的时候，需要查询INFORMATION_SCHEMA.columns，这个也做不到啊
  • Franchise直接没跑通
  • Redash
    • 安装复杂，还要额外依赖PG和Redis，没试
  • 我们觉得还是继续用Superset吧。。。。

ProxySQL在ClickHouse里能干吗？

  • 之所以讨论这个问题，原因是有的同学对中间件产生了误会，误以为ProxySQL会主动帮你把MySQL的函数转换成ClickHouse的函数
  • 然鹅并不是这个意思
  • ProxySQL的意义，是提供了一个MySQL协议的通讯方式，具体的SQL还得是ClickHouse自己的
  • 说白了，以前你用Python的mysqldb模块，写MySQL专有的函数操作MySQL，现在数据库操作类、方法不用变，把SQL写成ClickHouse专门的函数或者语法，ProxySQL帮你去操作ClickHouse
  • 注意一点，如果是mysqldb模块，需要在SQL里用db.tb的方式来指定数据库名

内容总结

以上是互联网集市为您收集整理的Using ClickHouse like MySQL by ProxySQL全部内容，希望文章能够帮你解决Using ClickHouse like MySQL by ProxySQL所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/885957.html

来源：【匿名】