一、客户背景客户使用ES来进行数据存储、快速查询业务订单记录，但是经常会出现业务高峰期ES集群的cpu负载、内存使用均较高，查询延迟大，导致前端业务访问出现大量超时的情况，极大影响其客户使用体验。部分监控如下图：1、 集群架构如下：集群节点配置：8数据节点（16C64G）；3主节点（8C32G）2、 集群存在问题分析业务层面 与客户业务人员沟通，业务处理中有几个聚合查询会占用较多的内存，且这类查询对准确性要求较高，需精...
一、客户背景客户使用ES来进行数据存储、快速查询业务订单记录，但是经常会出现业务高峰期ES集群的cpu负载、内存使用均较高，查询延迟大，导致前端业务访问出现大量超时的情况，极大影响其客户使用体验。部分监控如下图：1、 集群架构如下：集群节点配置：8数据节点（16C64G）；3主节点（8C32G）2、 集群存在问题分析业务层面 与客户业务人员沟通，业务处理中有几个聚合查询会占用较多的内存，且这类查询对准确性要求较高，需精...
一、客户背景客户使用ES来进行数据存储、快速查询业务订单记录，但是经常会出现业务高峰期ES集群的cpu负载、内存使用均较高，查询延迟大，导致前端业务访问出现大量超时的情况，极大影响其客户使用体验。部分监控如下图：1、 集群架构如下：集群节点配置：8数据节点（16C64G）；3主节点（8C32G）2、 集群存在问题分析业务层面 与客户业务人员沟通，业务处理中有几个聚合查询会占用较多的内存，且这类查询对准确性要求较高，需精...
一、客户背景 客户使用ES来进行数据存储、快速查询业务订单记录，但是经常会出现业务高峰期ES集群的cpu负载、内存使用均较高，查询延迟大，导致前端业务访问出现大量超时的情况，极大影响其客户使用体验。 部分监控如下图：1、 集群架构如下： ? 集群节点配置：8数据节点（16C64G）；3主节点（8C32G） 2、 集群存在问题分析业务层面 与客户业务人员沟通，业务处理中有几个聚合查询会占用较多的内存，且这类查询对准确性要求较...
本文整理自：袋鼠云技术荟 | 某物流客户Elasticsearch集群性能优化案例 数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！ github开源项目：https://github.com/DTStack/flinkx gitee开源项目：https://g...
一、引言随着腾讯云 Elasticsearch 云产品功能越来越丰富，ES 用户越来越多，云上的集群规模也越来越大。我们在日常运维工作中也经常会遇到一些由于前期集群规划不到位，导致后期业务增长集群规模大了之后带来的各种各样的集群可用性及稳定性问题。这里列举下其中比较典型的几种集群规划问题：节点规格规划问题：集群数量很大，但是每个节点的配置很低；索引分片规划问题：索引很小，但是设置了几十个分片，或者索引很大，只设置了...