使用datax将mysql数据同步到ES 附elasticsearchwriter插件

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了使用datax将mysql数据同步到ES 附elasticsearchwriter插件，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3055字，纯文字阅读大概需要5分钟。

内容图文

1、使用datax工具将mysql数据库中的数据同步到elasticsearch中。DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图：

可以看到Elasticsearch只支持写，但是不支持读的，如果支持从Elasticsearch读出来，写到mysql也是很好的哦！

2、datax的安装，配置就不写了，之前搞过，现在需要搞一个mysql写到elasticsearch的json。

 1 {
 2     "job": {
 3         "setting": {
 4             "speed": {
 5                 "byte": 8388608,
 6                 "channel": 3
 7             },
 8             "errorLimit": {
 9                 "record": 0,
10                 "percentage": 0.02
11             }
12         },
13         "content": [{
14             "reader": {
15                 "name": "mysqlreader",
16                 "parameter": {
17                     "username": "账号",
18                     "password": "密码",
19                     "column": ["appkey"],
20                     "connection": [{
21                         "table": ["数据表名称"],
22                         "jdbcUrl": ["jdbc:mysql://ip地址:端口号/数据库名称"]
23                     }]
24                 }
25             },
26             "writer": {
27                 "name": "elasticsearchwriter",
28                 "parameter": {
29                     "endpoint": "http://ip地址:9200",
30                     "index": "shared_log", # 索引的名称
31                     "type": "doc", # 类型的名称
32                     "cleanup": false, #true表示插入前清空，即覆盖同步；false则追加同步
33                     "dynamic": true, #这里一定要指定为true，否则使用的是datax的模板，而不会使用es的模板
34                     "settings": {
35                         "index": {
36                             "number_of_shards": 12, # 分片的数量
37                             "number_of_replicas": 0 # 副本的数量
38                         }
39                     },
40                     "batchSize": 10000,
41                     "splitter": ",",
42                     "column": [{
43                         "name": "appkey", # 字段名称
44                         "type": "keyword" # 字段类型
45                     }]
46                 }
47             }
48         }]
49     }
50 }

注意，需要搞一个elasticsearchwriter插件，将elasticsearchwriter插件放在datax\datax\plugin\writer。

关于elasticsearchwriter插件的打包方式参数：http://www.bubuko.com/infodetail-3663894.html

内容总结

以上是互联网集市为您收集整理的使用datax将mysql数据同步到ES 附elasticsearchwriter插件全部内容，希望文章能够帮你解决使用datax将mysql数据同步到ES 附elasticsearchwriter插件所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端