译者前言近期的主要工作是在为公司的 APP 增加搜索功能。因为也遇到了需要把关系型数据库中的数据同步 ElasticSearch 中的问题，故抽了点时间翻译了这篇官方的博文。最近，在数据同步方面也有些思考。本篇文章的重点不在 Logstash 的 JDBC 插件的使用方法，而是数据同步会遇到的一些细节问题如何处理。我觉得，这些设计思想是通用的，无论你使用的何种方式进行数据同步。翻译正文 为了利用 ElasticSearch 强大的搜索能力，大部分的...
Elasticsearch与Postgresql数据检索性能对比与融合一般来说，影响数据库最大的性能问题有两个，一个是对数据库的读写操作，一个是数据库中的数据太大导致操作慢，对于前者我们可以适当借助缓存来减少一部分读操作，而针对一些复杂的报表分析和搜索可以交给hadoop和elasticsearch,对于写并发大，读也并发大，我们可以考虑分库分表，主从读写分离或者两者结合等方式来提高并发性和时效性，例如PG大并发写，大数据查看可以用elasticse...
本文介绍如何使用go-mysql-elasticsearch同步mysql数据库信息到ElasticSearch。1.go-mysql-elasticsearch简介 go-mysql-elasticsearch是一个将MySQL数据自动同步到Elasticsearch的服务。 它首先使用mysqldump获取原始数据，然后用binlog增量地同步数据。 github地址：https://github.com/siddontang/go-mysql-elasticsearch 这里有几点注意事项：1.Mysql的binlog必须是ROW模式，不然启动会报错。 2.连接Mysql的用户权限需要大一些。...
延用上篇ELK所需环境，新增logstash配置文件 需要数据库链接驱动 Microsoft JDBC driver 6.2 for SQL Server 下载地址： https://www.microsoft.com/zh-CN/download/details.aspx?id=55539 在 logstash 的 bin 文件夹下 新增文件夹 jdbcconfig 以及如下文件 新增 Logstash 配置文件 jdbc.conf input {jdbc {jdbc_driver_library => "D:\ELK_logs\logstash-6.3.2\bin\jdbcconfig\mssql-jdbc-6.2.2.jre8.jar"jdbc_driver_class => "...
******重点中的重点，这是首先要注意的问题： 就是导入的org.elasticsearch.elasticsearch-spark-20_2.11 Jar包的版本一定要和要读取的ES数据库的版本保持一致， 如果比数据库版本低，会直接报错，如果高于数据库的版本，数据的解析会出现问题。 首先配置SparkConf1 SparkConf conf = new SparkConf() 2 .setAppName("ElasticSearch-spark") 3 .setMaster("local[1]") 4 ...
elasticsearch的一个最为显著的优点：快速全文检索。关于elasticsearch 全文检索的原理，请看：https://blog.csdn.net/wolfcode_cn/article/details/81907195 一、es 安装 参考官网安装教程：https://www.elastic.co/guide/en/elasticsearch/reference/6.6/zip-targz.html 教程中介绍了多种操作系统多种安装方式：本篇选择的是linux操作系统下，手动下载安装包的方式安装：wget https://artifacts.elastic.co/downloads/elasticsea...
先找到官方下载地址：[https://artifacts.elastic.co/downloads/logstash/logstash-6.2.2.tar.gz][1] [1]: https://artifacts.elastic.co/downloads/logstash/logstash-6.2.2.tar.gz 这里请酌情修改： 然后解压 ：tar -zxvf logstash-6.2.2.tar.gz 之后进入解压后的文件夹：cd logstash-6.2.2 创建配置文件： logstash_test.conf ? input { ? ? ? jdbc { ? ? ? ? #驱动绝对路径 ? ? ? ? jdbc_driver_library => "/root/mysql-con...
1.Kafka Connect Connect是Kafka的一部分，它为在Kafka和外部存储系统之间移动数据提供了一种可靠且伸缩的方式，它为连接器插件提供了一组API和一个运行时-Connect负责运行这些插件，它们负责移动数据。Connect以worker进程集群的方式运行，基于work进程安装连接器插件，然后使用REST API管理和配置connector，这些work进程都是长时间运行的作业。connector启动额外的task，利用work节点的资源以并行的方式移动大量的数据。SourceC...
SparkSQL(Spark用于处理结构化数据的模块) 通过SparkSQL导入的数据可以来自MySQL数据库、Json数据、Csv数据等，通过load这些数据可以对其做一系列计算 下面通过程序代码来详细查看SparkSQL导入数据并写入到ES中： 数据集：北京市PM2.5数据 Spark版本：2.3.2 Python版本：3.5.2 mysql-connector-java-8.0.11 下载 ElasticSearch：6.4.1 Kibana：6.4.1 elasticsearch-spark-20_2.11-6.4.1.jar 下载 具体代码：1 # coding: utf-82 imp...
首先讲个题外话。logstash配置文件hello-world.json上篇也提到过，不过那是7.9.0版本的，注意mapping下面是没有type的，因为默认的type就是_doc：{"index_patterns": ["hello-world-%{+YYYY.MM.dd}"],"order": 0,"settings": {"index.refresh_interval": "10s"},"mappings": {"properties": {"createTime": {"type": "long" },"sessionId": {"type": "text", "fielddata": true,"fields": {"keyword": {"type": ...
爬虫数据存储——安装docker和ElasticSearch(基于Centos7) 先决条件 操作系统要求 要安装Docker Engine-Community，您需要一个CentOS 7的维护版本。不支持或未测试存档版本。 该centos-extras库必须启用。默认情况下，此存储库是启用的，但是如果已禁用它，则需要 重新启用它。 overlay2建议使用存储驱动程序。 卸载旧版本 较旧的Docker版本称为docker或docker-engine。如果已安装这些程序，请卸载它们以及相关的依赖项。 $ sudo y...
数据写流程和读流程 一、数据写流程二、数据读流程 一、数据写流程客户端选择一个 集群任意节点 发送请求过去，这个 node 就是 coordinating node（协调节点）。coordinating node（协调节点） 对 document 进行路由，将请求转发给对应的 node（有 primary shard）。实际的 node 上的 primary shard 处理请求，然后将数据同步到 replica node。coordinating node 如果发现 primary node 和所有 replica node 都搞定之后，就返回响应...
转自 https://elasticsearch.cn/article/6178 前言 很多使用Elasticsearch的同学会关心数据存储在ES中的存储容量，会有这样的疑问：xxTB的数据入到ES会使用多少存储空间。这个问题其实很难直接回答的，只有数据写入ES后，才能观察到实际的存储空间。比如同样是1TB的数据，写入ES的存储空间可能差距会非常大，可能小到只有300~400GB，也可能多到6-7TB，为什么会造成这么大的差距呢？究其原因，我们来探究下Elasticsearch中的数据是如...
文/朱季谦目录 一、Elasticdump工具介绍 二、Elasticdump工具安装 三、Elasticdump工具使用最近在开发当中做了一些涉及到Elasticsearch映射结构及数据导出导入的工作，怕以后会把这过程忘记，可谓好记性不如烂笔头，故而记录成一篇博文。 玩Elasticsearch的童鞋大概都会遇到这样一个问题，如何快速地将Elasticsearch里的索引结构映射和对应数据快速地进行备份和数据还原。 这时，就可以通过Elasticsearch的导入导出工具Elasticdump...
官网公告全文翻译：今天，我们开始踏上了作为一家上市公司的旅程。我很自豪地宣布，Elastic 正式在纽约证券交易所上市，股票代码为“ESTC”。2010 年 2 月 8 日，Elasticsearch 首次发布。在当时，我认为搜索不应该被局限在网站的一个搜索框中。那时，很多公司开始存储大量的数据，包括结构化和非结构化的数据，这些数据来自很多不同的数据源，如数据库、网站、应用程序以及移动连接设备。在我看来，搜索将为用户带来新型的与数据交...