首页 / ELEASTATICSEARCH / ElasticSearch实战系列十: ElasticSearch冷热分离架构

ElasticSearch实战系列十: ElasticSearch冷热分离架构

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了ElasticSearch实战系列十: ElasticSearch冷热分离架构，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6395字，纯文字阅读大概需要10分钟。

内容图文

前言

本文主要介绍ElasticSearch冷热分离架构以及实现。

冷热分离架构介绍

冷热分离是目前ES非常火的一个架构，它充分的利用的集群机器的优劣来实现资源的调度分配。ES集群的索引写入及查询速度主要依赖于磁盘的IO速度，冷热数据分离的关键点为使用固态磁盘存储数据。若全部使用固态，成本过高，且存放冷数据较为浪费，因而使用普通机械磁盘与固态磁盘混搭，可做到资源充分利用，性能大幅提升的目标。因此我们可以将实时数据(5天内)存储到热节点中，历史数据(5天前)的存储到冷节点中，并且可以利用ES自身的特性，根据时间将热节点的数据迁移到冷节点中，这里因为我们是按天建立索引库，因此数据迁移会更加的方便。

架构图:
ElasticSearch实战系列十: ElasticSearch冷热分离架构 - 文章图片

一个例子

使用冷热分离的时候，我们需要将索引库建立在热节点中，等到一定的时间时间在将该索引库迁移冷节点中。因此这里我们需要更加热节点的量来进行设置分片数。
比如，我们拥有6个热节点，9个冷节点，索引库的主分片的数据量500G左右，那么该索引库建立18个分片并且都在在热节点中，此时该索引库的分片的分布是，热节点:18,冷节点0；等到该数据不是热数据之后，将该索引库的分片全部迁移到冷节点中，索引库的分片的分布是，热节点:0,冷节点18。

单个索引库热冷节点分片分布示例:

时间	索引库名称	热节点分片数量	冷节点分片数量
20190707	TEST_20190703	18	0
20190708	TEST_20190703	0	18

最终实现效果图，这里我用cerebro界面截图来表示
cerebro示例图:
写入ES索引库中，分片分布在热节点中
ElasticSearch实战系列十: ElasticSearch冷热分离架构 - 文章图片
过了一段时间之后进行了迁移，分片数据迁移到了冷节点:

更多ElasticSearch的相关介绍可以查看我的这篇博文:https://www.cnblogs.com/xuwujing/p/12093933.html

ElasticSearch冷热分离架构实现

ElasticSearch冷热分离架构是一种思想，其实现原理是使用ElasticSearch的路由完成，在data节点设置对应的路由，然后在创建索引库时指定分布到那些服务器，过一段时间之后，根据业务要求在将这些索引库的数据进行迁移到其他data节点中。

ElasticSearch节点配置

这里需要改变的节点为data节点，其他的节点配置无需更改。这里我就用以前写的ElasticSearch实战系列一: ElasticSearch集群+Kibana安装教程里面的配置进行更改。

data节点的elasticsearch.yml原配置:

cluster.name: pancm
node.name: data1
path.data: /home/elk/datanode/data
path.logs: /home/elk/datanode/logs
network.host: 0.0.0.0
network.publish_host: 192.169.0.23
transport.tcp.port: 9300
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.169.0.23:9301","192.169.0.24:9301","192.169.0.25:9301"]
node.master: false
node.data: true
node.ingest: false 
index.number_of_shards: 5
index.number_of_replicas: 1
discovery.zen.minimum_master_nodes: 1
bootstrap.memory_lock: true
http.max_content_length: 1024mb

相比普通的data节点, 主要是增加了这两个配置:

node.attr.rack: r1
node.attr.box_type: hot

热节点配置示例:

cluster.name: pancm
node.name: data1
path.data: /home/elk/datanode/data
path.logs: /home/elk/datanode/logs
network.host: 0.0.0.0
network.publish_host: 192.169.0.23
transport.tcp.port: 9300
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.169.0.23:9301","192.169.0.24:9301","192.169.0.25:9301"]
node.master: false
node.data: true
node.ingest: false 
index.number_of_shards: 5
index.number_of_replicas: 1
discovery.zen.minimum_master_nodes: 1
bootstrap.memory_lock: true
http.max_content_length: 1024mb
node.attr.rack: r1
node.attr.box_type: hot

冷节点配置大体相同，就是后面的值进行更改

node.attr.rack: r9
node.attr.box_type: cool

冷节点配置示例:

cluster.name: pancm
node.name: data1
path.data: /home/elk/datanode/data
path.logs: /home/elk/datanode/logs
network.host: 0.0.0.0
network.publish_host: 192.169.0.23
transport.tcp.port: 9300
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.169.0.23:9301","192.169.0.24:9301","192.169.0.25:9301"]
node.master: false
node.data: true
node.ingest: false 
index.number_of_shards: 5
index.number_of_replicas: 1
discovery.zen.minimum_master_nodes: 1
bootstrap.memory_lock: true
http.max_content_length: 1024mb
node.attr.rack: r1
node.attr.box_type: hot

ElasticSearch索引库设置

在创建索引库的时候需要指定默认索引库的分片归属，如果没有指定，就会根据ElasticSearch默认进行均匀分布。这里我们将索引库默认创建到hot节点中，满足业务条件之后在使用命令或代码将该索引库设置到冷节点中。

索引示例:

PUT TEST_20190717
{
  "index":"TEST_20190717",
  "settings": {
    "number_of_shards" :18,
    "number_of_replicas" : 1,
    "refresh_interval" : "10s",
    "index.routing.allocation.require.box_type":"hot"
  },
"mappings": {
    "mt_task_hh": {
      "properties": {
        "accttype": {
          "type": "byte"
        },
....

}
}

索引库冷节点设置

根据业务要求，我们可以对索引库的数据进行迁移，使用dsl语句在kibana上执行或者使用java代码实现都可以。

dsl语句:

PUT TEST_20190717/_settings
{
  
    "index.routing.allocation.require.box_type":"cool"
  
}

java代码实现:

  public static void setCool(String index) throws IOException {
        RestClient restClient = null;
        try {
            Objects.requireNonNull(index, "index is not null");
            restClient = client.getLowLevelClient();
            String source = "{\"index.routing.allocation.require.box_type\": \"%s\"}";
            source = String.format(source, "cool");
            HttpEntity entity = new NStringEntity(source, ContentType.APPLICATION_JSON);
            restClient.performRequest("PUT", "/" + index + "/_settings", Collections.<String, String>emptyMap(), entity);
        } catch (IOException e) {
            throw e;
        } finally {
            if (restClient != null) {
                restClient.close();
            }
        }
    }

完整代码地址: https://github.com/xuwujing/java-study/tree/master/src/main/java/com/pancm/elasticsearch

其它

其实这篇文章本应来说在2019年就完成了初稿，但是因为其他的事情一直耽搁，好在查看草稿是发现了，于是便补了。因为时隔太久，细节上相比之前的文章有一定的差距。不过好在是写出来了，以后的话写文章的话还是尽早，不然后面就忘了。目前ElasticSearch实战系列已经写了10篇了，虽然中间的间隔有点久，后面我会慢慢的更新这个系列，尽量把自己所学所感悟的写出来，如有写的不好，希望能够指出讨论。

ElasticSearch实战系列:

音乐推荐

原创不易，如果感觉不错，希望给个推荐！您的支持是我写作的最大动力！
版权声明:
作者：虚无境
博客园出处：http://www.cnblogs.com/xuwujing
CSDN出处：http://blog.csdn.net/qazwsxpcm
掘金出处：https://juejin.im/user/5ae45d5bf265da0b8a6761e4　　　　
个人博客出处：http://www.panchengming.com

内容总结

以上是互联网集市为您收集整理的ElasticSearch实战系列十: ElasticSearch冷热分离架构全部内容，希望文章能够帮你解决ElasticSearch实战系列十: ElasticSearch冷热分离架构所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1024615.html

来源：【匿名】

【上一篇】elasticsearch安装【下一篇】Elasticsearchik插件如果能精准查中文？

更多 ►

【ElasticSearch实战系列十: ElasticSearch冷热分离架构】教程文章相关的互联网学习教程文章

Elasticsearch 系列4 --- Windows下安装Kibana【代码】【图】

Kibana是Elastic Stack家族内的一部分，它是一个管理网站，与ES(Elastic Search)集成可以用来管理ES的索引，除ES外它还可以跟Elastic家族的其他组件进行整合如logstash、Elasticsearch-Hadoop等。相比我们之前讲过的elasticsearch-head，Kibana的功能要强大的多，更重要的是，Kibana为初学者准备了13059条的航班线路数据供我们使用。1. 下载标准版： https://artifacts.elastic.co/downloads/kibana/kibana-6.4.1-windows-x86_64.z...

Elasticsearch系列---增量更新原理及优势【代码】【图】

概要本篇主要介绍增量更新(partial update，也叫局部更新)的核心原理，介绍6.3.1版本的Elasticsearch脚本使用实例和增量更新的优势。增量更新过程与原理简单回顾前文我们有简单介绍过增量的语法，简单回顾一下请求示例：POST /music/children/1/_update {"doc": {"length": "76"} }一般从客户端到Elasticsearch，完整的应用请求流程基本是这样的：客户端先发起GET请求，获取到document信息，展现到前端页面上，供用户进行编辑。用...

搜索引擎ElasticSearch系列（四）： ElasticSearch2.4.4 sql插件安装【图】

一：ElasticSearch sql插件简介With this plugin you can query elasticsearch using familiar SQL syntax. You can also use ES functions in SQL. 二：sql插件安装地址：https://github.com/NLPchina/elasticsearch-sql/找到对应的2.4.4版本，如下图：启动es服务，运行cmd命令切换到bin目录，接着输入以下命令：plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/2.4.4.0/elasticsearch-sql-2.4....

【ElasticSearch系列】Centos7中安装配置ElasticSearch6.3.0【图】

一、安装jdk 由于运行elasticsearch要有jdk支持，因此需要先安装jdk。二、官网下载elasticsearch 进入官方网站 https://www.elastic.co/downloads/elasticsearch 下载elasticsearch-6.3.0.tar.gz包。选择该包并上传到centos系统中，上传目录为/home/es（es为新建目录）。三、安装与配置elasticsearch 1、进入 /home/es 目录解压elasticsearch [elastic@localhost ~]$ cd /home/es [elastic@localhost es]$ tar -zxvf elasticsear...

Elasticsearch系列---初识mapping【代码】

概要本篇简单介绍一下field数据类型mapping的相关知识。mapping是什么？前面几篇的实战案例，我们向Elasticsearch索引数据时，只是简单地把JSON文本放在请求体里，至于JSON里的field类型，存储到ES里是什么类型，中间是怎么做的映射，这个映射过程，就是mapping要解决的问题。mapping简单来说，就是解决JSON文本内容到field类型映射关系的定义。将时间域视为时间类型，数字视为数字类型，字符串识别为全文或精确值字符串，这个识别...

ElasticSearch实战系列四: ElasticSearch理论知识介绍【代码】【图】

前言在前几篇关于ElasticSearch的文章中，简单的讲了下有关ElasticSearch的一些使用，这篇文章讲一下有关 ElasticSearch的一些理论知识以及自己的一些见解。虽然本人是一个实战派，不太喜欢讲这些理论知识，因为这块可以查看官方文档，那里会写得非常详细，但是在使用了ElasticSearch之后，发现有的知识点需要掌握一定的理论知识才能理解，对于初学者来说有的不好理解，因此写下该篇文章，希望读者在看完之后能够有所帮助。Elasti...