Elasticsearch中使用reiver-jdbc导入数据

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Elasticsearch中使用reiver-jdbc导入数据，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2703字，纯文字阅读大概需要4分钟。

内容图文

Elastisearch中提供了river模块来从其他数据源中获取数据，该项功能以插件的形式存在，目前已有的river插件包括： river pluginsedit 1. Supported by Elasticsearch CouchDB River Plugin RabbitMQ River Plugin Twitter River Plugin Wikipedia River Plug

　　Elastisearch中提供了river模块来从其他数据源中获取数据，该项功能以插件的形式存在，目前已有的river插件包括：

　　river pluginsedit

　　1. Supported by Elasticsearch

　　CouchDB River Plugin

　　RabbitMQ River Plugin

　　Twitter River Plugin

　　Wikipedia River Plugin

　　2. Supported by the community

　　ActiveMQ River Plugin (by Dominik Dorn)

　　Amazon SQS River Plugin (by Alex Bogdanovski)

　　CSV River Plugin (by Martin Bednar)

　　Dropbox River Plugin (by David Pilato)

　　FileSystem River Plugin (by David Pilato)

　　Git River Plugin (by Olivier Bazoud)

　　GitHub River Plugin (by uberVU)

　　Hazelcast River Plugin (by Steve Samuel)

　　JDBC River Plugin (by J?rg Prante)

　　JMS River Plugin (by Steve Sarandos)

　　Kafka River Plugin (by Endgame Inc.)

　　LDAP River Plugin (by Tanguy Leroux)

　　MongoDB River Plugin (by Richard Louapre)

　　Neo4j River Plugin (by Steve Samuel)

　　Open Archives Initiative (OAI) River Plugin (by J?rg Prante)

　　Redis River Plugin (by Steve Samuel)

　　RSS River Plugin (by David Pilato)

　　Sofa River Plugin (by adamlofts)

　　Solr River Plugin (by Luca Cavanna)

　　St9 River Plugin (by Sunny Gleason)

　　Subversion River Plugin (by Pascal Lombard)

　　DynamoDB River Plugin (by Kevin Wang)

　　可以看出，，已经覆盖了大部分的数据源，特别是针对关系型数据库提供了统一的jdbc-river来进行数据操作。

　　elasticsearch-river-jdbc的源码在：github.com/jprante/elasticsearch-river-jdbc,该项目提供了详细的文档，下面以SQL Server为例简单说明使用方法。

　　首先，需要安装elasticsearch-river-jdbc,在elasticsearch目录下执行：

　　./bin/plugin --install jdbc --url xbib.org/repository/org/xbib/elasticsearch/plugin/elasticsearch-river-jdbc/1.1.0.1/elasticsearch-river-jdbc-1.1.0.1-plugin.zip

　　然后，安装SQLServer的JDBC库，链接为： Microsoft JDBC Driver.把其中的 'sqljdbc4.jar'复制到elasticsearch安装目录的lib文件夹下。

　　考虑到elasticsearch集群，以上两个步骤在每个节点上都需要执行。

　　最后也是最关键的一步，在elasticsearch中建立river,让elasticsearch自动从SQLServer中获取数据。

　　PUT /_river/mytest_river/_meta

　　{

　　"type" : "jdbc",

　　"jdbc" : {

　　"driver":"com.microsoft.sqlserver.jdbc.SQLServerDriver",

　　"url":"jdbc:sqlserver://MYSQLSERVERNAME;databaseName=MYProductDatabase",

　　"user":"admin","password":"Password",

　　"sql":"select ProductID as _id, CategoryID,ManufacturerID,MfName,ProductTitle,MfgPartNumber from MyProductsTable(nolock)",

　　"poll":"10m",

　　"strategy" : "simple",

　　"index" : "myinventory",

　　"type" : "product",

　　"bulk_size" : 100,

　　"max_retries": 5,

　　"max_retries_wait":"30s",

　　"max_bulk_requests" : 5,

　　"bulk_flush_interval" : "5s"

　　}

　　}

内容总结

以上是互联网集市为您收集整理的Elasticsearch中使用reiver-jdbc导入数据全部内容，希望文章能够帮你解决Elasticsearch中使用reiver-jdbc导入数据所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---