ELEASTATICSEARCH - 技术教程文章
elasticsearch2.x集群部署
一.linux环境 1、增大用户进程数和文件句柄数 （1）vim /etc/security/limits.d/90-nproc.conf * soft nproc 30499 root soft nproc unlimited （2）vim /etc/security/limits.conf * soft noproc 30499 * hard noproc 30499 * soft nofile 65536 * hard nofile 65536 * soft memlock unlimited * hard memlock unlimited ...
elasticsearch 初学 笔记（1）
使用 curl进行数据的的格式，1、下载curl，配置路径格式C:\Users\Administrator>curl -XPUT http://localhost:9200/dept/employee/32 -d ‘{"empname": "emp32"}‘url不能有单引号，这个网上很多demo加了双引号原文：http://www.cnblogs.com/chenqiong/p/6129105.html
C# 如何使用 Elasticsearch （ES）【图】
Elasticsearch简介 Elasticsearch （ES）是一个基于Apache Lucene(TM)的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 但是，Lucene只是一个库。想要发挥其强大的作用，你需使用C#将其集成到你的应用中。Lucene非常复杂，你需要深入的了解检索相关知识来理解它是如何工作的。 Elasticsearch是使用Java编写并使用Lucene来建立索引并实现搜索功能，但是它的目的是...
ElasticSearch的查询（二）【代码】【图】
一、Query String search 添加测试数据PUT test_search {"mappings": {"test_type": {"properties": {"dname": {"type": "text","analyzer": "standard"},"ename": {"type": "text","analyzer": "standard"},"eage": {"type": "long"},"hiredate": {"type": "date"},"gender": {"type": "keyword"}}}} }POST test_search/test_type/_bulk {"index":{}} {"dname":"Sales Department","ename":"张三","eage":20,"hiredate":"2019-...
Elasticsearch【图】
创建索引 删除索引 配置原文：https://www.cnblogs.com/caoxinfang/p/12789834.html
分布式搜索elasticsearch 基本概念【图】
ElasticSearch官网：http://www.elasticsearch.org/先上一张elasticsearch的总体框架图：ElasticSearch是基于Lucene开发的分布式搜索框架，包含如下特性：分布式索引、搜索索引自动分片、负载均衡自动发现机器、组建集群支持Restful 风格接口配置简单等。下图是ElasticSearch的第三方插件管理工具，通过它可以很清晰的看到它索引分布的情况：哪块分布在那里，占用空间多少都可以看到，并且可以管理索引。当一台机挂了时，整个系统会...
Elasticsearch之linux命令查看集群状态【图】
端口9200和9300关系？9200作为Http协议端口，主要用于外部通讯，使用Restfull接口、浏览器、Postman等和这个端口进行通讯。 9300作为Tcp协议端口，主要用于节点之间通讯，ES集群之间、Java客户端(transportCliant)、其他TCPClient等和这个端口进行通讯。查看集群是否健康curl ‘localhost:9200/_cat/health?v‘绿色——最健康的状态，代表所有的主分片shard和副本分片replica都可用。 黄色——所有的主分片shard可用，但是部分副本...
ElasticSearch - 5 查询汇总【代码】
ElasticSearch - 5 查询汇总3.1-matchAll-脚本# 默认情况下，es一次展示10条数据,通过from和size来控制分页 # 查询结果详解GET goods/_search {"query": {"match_all": {}},"from": 0,"size": 100 }GET goods 3.2-matchAll-JavaAPI/*** 查询所有* 1. matchAll* 2. 将查询结果封装为Goods对象，装载到List中* 3. 分页。默认显示10条*/@Testpublic void matchAll() throws IOException {//2. 构建查询请求对象，指定查询的索引名称...
Ubuntu16.04下安装elasticsearch+kibana实现php客户端的中文分词【代码】
1.下载安装elasticsearch和kibanawget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.2.deb dpkg -i elasticsearch-5.4.2.deb wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.2-amd64.deb dpkg -i kibana-5.4.2-amd64.deb2.安装中文分词插件，包括elasticsearch原生的中文分词icu和smartcn，以及第三方中文分词ik、拼音分词pinyin、繁简转换stconvert。/usr/share/elasticsearch/bin/...
ES（ElasticSearch） 索引创建【图】
环境：ES 6.2.2os：Centos 7kibana:6.2.21、创建新的索引（index） PUT indexTest001 结果： 2、索引设置 ES 默认提供了好多索引配置选项，参考https://www.elastic.co/guide/en/elasticsearch/reference/6.8/index-modules.html，这些配置选项都有经过优化的默认配置值，除非你非常清楚这些配置的作用以及知道为什么去修改它，不然使用其默认值即可。原文：https://www.cnblogs.com/xiaozengzeng/p/12347947.html
Docker中安装elasticsearch6.7.1【图】
先拉取镜像 docker pull docker.elastic.co/elasticsearch/elasticsearch:6.7.1 然后创建容器 （这是一条长的命令！！！） docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:6.7.1 原文：https://www.cnblogs.com/stj123/p/10776452.html
Elasticsearch7.11 "reason" : "INDEX_CREATED" a copy of this shard is already allocated to this node【代码】
在kiban终端中， 运行集群健康状态命令GET /_cluster/health{"cluster_name" : "elasticsearch","status" : "yellow","timed_out" : false,"number_of_nodes" : 1,"number_of_data_nodes" : 1,"active_primary_shards" : 11,"active_shards" : 11,"relocating_shards" : 0,"initializing_shards" : 0,"unassigned_shards" : 2,"delayed_unassigned_shards" : 0,"number_of_pending_tasks" : 0,"number_of_in_flight_fetch" : 0,"ta...
Elasticsearch基础教程
http://blog.csdn.net/cnweike/article/details/33736429 基础概念 Elasticsearch有几个核心概念。从一開始理解这些概念会对整个学习过程有莫大的帮助。 接近实时（NRT） Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档可以被搜索到有一个轻微的延迟（一般是1秒）。 集群（cluster） 一个集群就是由一个或多个节点组织在一起。它们共同持有你整个的数据。并一起提供...
Elasticsearch 使用集群 - 列出索引【代码】
章节Elasticsearch 基本概念Elasticsearch 安装Elasticsearch 使用集群Elasticsearch 健康检查Elasticsearch 列出索引Elasticsearch 创建索引Elasticsearch 创建和查询文档Elasticsearch 删除索引Elasticsearch 修改数据Elasticsearch 更新文档Elasticsearch 删除文档Elasticsearch 批处理Elasticsearch 搜索数据Elasticsearch 搜索APIElasticsearch Query DSL(查询语言)Elasticsearch 搜索Elasticsearch 过滤Elasticsearch 聚合现...
03.Elasticsearch快速入门之简介
2、 Elasticsearch2.1、简介 ElasticSearchLucene是一个基于的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful web接口。Elasticsearch用ava开发的，并作为 Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 我们建立一个网站或应用程序，并要添加搜索功能但是想要完成搜索工作的创建是非常困难的。我们希望搜索...
docker启动elasticsearch异常Failed to create node environment（解决）
异常说是创建节点环境失败，操作/usr/share/elasticsearch/data/nodes的IO错误，尝试给此目录添加读写权限后，依旧没什么**用，灵机一动是不是挂载目录没有权限导致的？chmod 777 挂载目录路径例如我的：chmod 777 /mydata/elasticsearch/data再次docker-compose启动， OK！！！！问题解决?原文：https://www.cnblogs.com/360minitao/p/11645147.html
API网关Graviteeio-ElasticSearch安装（一）【代码】
API网关Graviteeio-ElasticSearch安装最近开始搞API网关组件啦啦啦啦啦 ,第一步安装Elasticsearch. 1.下载Elasticsearch官方网址： https://www.elastic.co/downloads/elasticsearch我这里选择的版本是：elasticsearch-6.5.1.tar.gz 2.上传至linux服务器（/app/gravitee,这个目录自定义哦），然后解压tar -zxvf elasticsearch-6.5.1.tar.gz #默认解压到当前目录，解压后的目录名为 ：elasticsearch-6.5.1#如果需要解压到指定目...
ElasticSearch 的shard&replica【图】
1、shard&replica机制再次梳理2、图解单node环境下创建index是什么样子的------------------------------------------------------------------------------------------------1、shard&replica机制再次梳理（1）index包含多个shard（2）每个shard都是一个最小工作单元，承载部分数据，lucene实例，完整的建立索引和处理请求的能力（3）增减节点时，shard会自动在nodes中负载均衡（4）primary shard和replica shard，每个document肯...
Elasticsearch 5.4.3实战--Java API调用：搜索建议【代码】
通常的搜索引擎，都会根据用户的输入，实时给予匹配的提示。 那么这个功能在elasticsearch中如何实现呢？ Elasticsearch里设计了4种类别的Suggester，分别是:Term SuggesterPhrase SuggesterCompletion SuggesterContext Suggester我是采用Completion Suggester来实现的。原理的文章网上有很多，这里不多说。我们直接上代码： 1package com.cs99lzzs.elasticsearch.service.imp;2 3import java.text.DecimalFormat;4import java.u...
ElasticSearch——冷热分离【代码】【图】
背景最近在做订单数据存储到ElasticSearch，考虑到数据量比较大，采用冷热架构来存储，每月建立一个新索引，数据先写入到热索引，通过工具将3个月后的索引自动迁移到冷节点上。 冷热架构官方叫法：热暖架构——“Hot-Warm” Architecture。通俗解读：热节点存放用户最关心的热数据；温节点或者冷节点存放用户不太关心或者关心优先级低的冷数据或者暖数据。 1.1 官方解读冷热架构为了保证Elasticsearch的读写性能，官方建议磁盘使用...
ElasticSearch之核心配置文件【代码】【图】
配置文件目录elasticsearch.keystore 密钥库elasticsearch.yml es相关的配置jvm.options Jave jvm相关配置log4j2.properties 日志相关的配置 log4j的日志框架role_mapping 角色映射相关roles 角色一般没动elasticsearch.yml Cluster集群相关配置1 cluster.name: my-application # 配置集群名称，由多个es实例组成的集群，有...
elasticsearch中文分词（mmseg）——手动添加词典
elasticsearch本身的中文分词插件效果都不理想，手动添加词典可以在一定程度上进行弥补。经过多次实验发现，mmseg的分词机制采用正向最长匹配算法，例如，针对“小时代”这个单词，其自带的词典中没有包含该词，故当用户搜索小时代时，检索不到任何结果。在咸鱼老婆的虚心指导下，我终于找到了解决办法。手动添加该词到mmseg的词库中，有两种方法：1、将该词加入到自带的某个词典中（非停顿词词典），如words-my.dic。2、新建一个自...
如何在docker下安装elasticsearch（上）【代码】【图】
一 环境VMware? Workstation 15 Pro centos7 (1810) docker19.03.1二 进入centos7启动dcokersystemctl start docker三 打开docker官方仓库，搜索elasticsearch以查看需要下载的版本，拉取镜像的时候，官方推荐要指定版本号，目前最新7.3.0https://hub.docker.com搜索elasticsearch后，点击tags查看版本更新列表，目前我下载7.3.0的，格式 ：镜像名称:tag 二 拉取elasticsearch镜像，目前官方最新版本7.3.0 由于墙的原因，下载...
ElasticSearch安装【代码】
目录下载解压启动访问下载 地址：https://www.elastic.co/cn/downloads/elasticsearch下载MACOS版本解压 tar -vxf elasticsearch-7.12.0-darwin-x86_64.tar.gz启动 cd elasticsearch-7.12.0/bin./elasticsearch 访问访问本地9200端口，http://127.0.0.1:9200/，返回一下数据，则安装成功 {"name" : "MacBook-Pro.local","cluster_name" : "elasticsearch","cluster_uuid" : "KixjVYVsQ9aO2m7YCcFYrA","version" : {"number" : "7....
zabbix 监控ElasticSearch【代码】
使用elasticsearch的健康检查命令来监控其集群状态： curl -s -XGET 192.168.1.22:9200/_cluster/health?pretty { "cluster_name" : "elastic", "status" : "green", "timed_out" : false, "number_of_nodes" : 3, "number_of_data_nodes" : 3, "active_primary_shards" : 5, "active_shards" : 10, "relocating_shards" : 0, "initializing_shards" : 0, "unassigned_shards" : 0, "delayed_unassigned_sha...
Elasticsearch集群UNASSIGNED shareds问题 修复【代码】【图】
线上有3台es组成集群，其他有两台非正常关机了，早上过来发现集群状态为红色，提示"24 UNASSIGNED shareds":650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109021024143.jpg" title="PB1ZQ4H(RVPI($9K1G9$DCD.jpg" />1）查看集群相关信息：curl ‘localhost:9200/_nodes/process?pretty‘650) this.width=650;" src="/upload/getfiles/default/2022/11/9/20221109021024337.jpg" title=")3}H%A@`7J9[[WNM7Q...
Elasticsearch的DSL之query and filter【代码】
在Elasticsearch的DSL中， 有两个概念需要搞清楚， query 和 filter， 对ES的检索效率是很有影响的。下面就来搞清楚这两个关键字的具体函数。query context: 回答的是这个文档在多大程度上匹配查询语句(How well does this document match this query clause?),会计算出一个分数_score。filter context: 回答的是这个文档与查询语句是否匹配，是 或者 不是(Does this document match this query clause?)，不会计算分数。除了需要匹...
Elasticsearch安装配置【代码】
Elasticsearch安装配置一、安装文件序号名称版本下载地址1jdk1.8openjdk2elasticsearch5.5.3https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.3.tar.gz3elasticsearch-head5.5.3https://github.com/mobz/elasticsearch-head/archive/master.zip4node8.15https://nodejs.org/dist/latest-v8.x/node-v8.15.0-linux-x64.tar.gz5CentOS7二、CentOS常用命令关闭系统：shutdown -h now重启系统：shutdown -r now...
Elasticsearch：search template【代码】
我们发现一些用户经常编写了一些非常冗长和复杂的查询 - 在很多情况下，相同的查询会一遍又一遍地执行，但是会有一些不同的值作为参数来查询。在这种情况下，我们觉得使用一个search template（搜索模板）来做这样的工作非常合适。搜索模板允许您使用可在执行时定义的参数定义查询。Search template的好处是：避免在多个地方重复代码更容易测试和执行您的查询在应用程序间共享查询允许用户只执行一些预定义的查询将搜索逻辑与应用程...
Elastic Search常用元数据简介
在ES中，除了定义的index，type，和管理的document外，还有若干的元数据。这些元数据用于记录ES中需要使用的核心数据。在ES中，元数据通常使用下划线’_’开头。1 查看数据GET /index_name/type_name/id如：GET /test_index/my_type/1结果：{ "_index": "test_index", "_type": "my_type", "_id": "1", "_version": 1, "found": true, "_source": { "name": "test_doc_01", "remark": "first test elastic search", ...