ELEASTATICSEARCH - 技术教程文章
kibana无法显示elasticsearch中的index【图】
我是用的logstash将kafka中的数据同步到elasticsearch。logstash和kafka在同一台服务器，elasticsearch在另外的服务器上。经过排查，是因为我的logstash所在的服务器系统时间不对，比当前时间晚了好几天。后来修改了系统时间，重新写入数据，问题解决。参考地址：http://blog.chinaunix.net/uid-7549563-id-5779178.html原文：https://www.cnblogs.com/subendong/p/11875610.html
Elasticsearch, Kibana安装【代码】
Centos7安装Elasticsearch安装因为ES启动不能用root账号，手工安装配置较繁琐，故直接用rpm进行安装。根据官网的6.8安装提示rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch vi /etc/yum.repos.d/elasticsearch.repo # 加入内容开始 [elasticsearch-6.x] name=Elasticsearch repository for 6.x packages baseurl=https://artifacts.elastic.co/packages/6.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.c...
9.ElasticSearch预警服务-Watcher详解-监控时间线数据
来看个小例子：固定周期采集数据，并设置数据预警机制采集数据配置，拉取RSS数据并存储到ElasticSearch中.1.下载并安装最新的logstash1.5版本地址：https://www.elastic.co/products/logstash?2.安装rss插件cd logstash-1.5.0 bin/plugin install logstash-input-rss?3.配置数据采集脚本input {rss {url => "http://stackoverflow.com/feeds/tag/elasticsearch+or+logstash+or+kibana"interval => 3600 } } output {elasticsearch ...
Elasticsearch Java API—多条件查询(must)【代码】
多条件设置//多条件设置 MatchPhraseQueryBuilder mpq1 = QueryBuilders.matchPhraseQuery("pointid","W3.UNIT1.10LBG01CP301"); MatchPhraseQueryBuilder mpq2 = QueryBuilders.matchPhraseQuery("inputtime","2016-07-21 00:00:01"); QueryBuilder qb2 = QueryBuilders.boolQuery().must(mpq1).must(mpq2);Demo:package com.zx.znyd.es;import java.io.IOException; import java.util.Date; import java.util.HashMap; import ja...
elasticsearch安装head插件【图】
Windows安装插件方式一：打开cmd端口到D:\DevTools\elasticsearch-2.4.6\bin目录下，输入命令：plugin install mobz/elasticsearch-head注意：2.0以上版本install参数前不加-，成功后 plugins文件夹里就多了个head文件夹 方式二：从https://github.com/mobz/elasticsearch-head下载ZIP包。在elasticsearch目录下创建目录/plugins/head/_site 并且将刚刚解压的elasticsearch-head-master目录下所有内容COPY到当前创建的/plugins/hea...
Elasticsearch DSL中Query与Filter的不同【代码】
Elasticsearch支持很多查询方式，其中一种就是DSL，它是把请求写在JSON里面，然后进行相关的查询。举个DSL例子GET _search {"query": { "bool": { "must": [{ "match": { "title": "Search" }}, { "match": { "content": "Elasticsearch" }} ],"filter": [ { "term": { "status": "published" }}, { "range": { "publish_date": { "gte": "2015-01-01" }}} ]}} } 查询的种类Elasticsearch中的DSL主要由两部分组成：Leaf...
Elasticsearch之中文分词器插件es-ik【图】
前提什么是倒排索引？Elasticsearch之分词器的作用Elasticsearch之分词器的工作流程Elasticsearch之停用词Elasticsearch之中文分词器Elasticsearch之几个重要的分词器 elasticsearch官方默认的分词插件 1、elasticsearch官方默认的分词插件，对中文分词效果不理想。 比如，我现在，拿个具体实例来展现下，验证为什么，es官网提供的分词插件对中文分词而言，效果差。[hadoop@HadoopMaster elasticsearch-2.4.3]$ jps204...
elasticsearch ingest node and docker-cluster---quey using sql]【代码】
es-docker-clusterhttps://stefanprodan.com/2016/elasticsearch-cluster-with-docker/ https://github.com/taowen/es-monitor--[query metric from elasticsearch using sql][elasticsearch ingest node]https://blog.csdn.net/chuanzhongdu1/article/details/54347260https://www.elastic.co/guide/en/elasticsearch/plugins/current/using-ingest-user-agent.html原文：https://www.cnblogs.com/SZLLQ2000/p/9311864.html
Elasticsearch 系列4 --- Windows下安装Kibana【代码】【图】
Kibana是Elastic Stack家族内的一部分，它是一个管理网站，与ES(Elastic Search)集成可以用来管理ES的索引，除ES外它还可以跟Elastic家族的其他组件进行整合如logstash、Elasticsearch-Hadoop等。相比我们之前讲过的elasticsearch-head，Kibana的功能要强大的多，更重要的是，Kibana为初学者准备了13059条的航班线路数据供我们使用。1. 下载标准版： https://artifacts.elastic.co/downloads/kibana/kibana-6.4.1-windows-x86_64.z...
Centos6.5下ElasticSearch1.4.4的安装【代码】【图】
1.下载ElasticSearch 官网地址 https://www.elastic.co/2.安装elasticsearch-1.4.4.tar.gztar -zxvf elasticsearch-1.4.4.tar.gzcd elasticsearch-1.4.43.启动[root@jerry bin]# ./elasticsearch Exception in thread "main" java.lang.UnsupportedClassVersionError: org/elasticsearch/bootstrap/Elasticsearch : Unsupported major.minor version 51.0at java.lang.ClassLoader.defineClass1(Native Method)at java.lang.Clas...
elasticsearch-head连接不上es【代码】【图】
修改elasticsearch.yml，增加如下字段http.cors.enabled: true http.cors.allow-origin: "*"cros为： Cross-origin resource sharing ，即跨域访问。 默认值为false，在elasticsearch安装集群之外的一台机上用head等监控插件访问elasticsearch是不允许的。这个字段最早1.4.x版本，而非5.x开始存在的。http.cors.用法：# 是否支持跨域，默认为false http.cors.enabled#当设置允许跨域，默认为*,表示支持所有域名，如果我们只是允...
elasticsearch之discovery【代码】【图】
一、elasticsearch之discovery ping机制在es的设计中，一个集群必须有一个主节点（master node）。用来处理请求、索引的创建、修改、节点管理等。 当有了master节点，该节点就要对各子节点进行周期性（心跳机制）的探测，保证整个集群的健康。 主节点和各节点之间都会进行心跳检测，比如mater要确保各节点健康状况、是否宕机等，而子节点也要要确保master的健康状况，一旦master宕机，各子节点要重新选举新的master。这种相互间的心...
Elasticsearch --- 3. ik中文分词器, python操作es【代码】【图】
一.IK中文分词器 1.下载安装官网地址 2.测试 #显示结果{"tokens" : [{"token" : "上海","start_offset" : 0,"end_offset" : 2,"type" : "CN_WORD","position" : 0},{"token" : "自来水","start_offset" : 2,"end_offset" : 5,"type" : "CN_WORD","position" : 1},{"token" : "自来","start_offset" : 2,"end_offset" : 4,"type" : "CN_WORD","position" : 2},{"token" : "水","start_offset" : 4,"end_offset" : 5,"type...
Elasticsearch调优篇 05 - Elasticsearch 搜索层面最全优化【代码】
1、尽量少的字段 elasticsearch 的搜索引擎严重依赖于底层的 filesystem cache，你如果给 filesystem cache 更多的内存，尽量让内存可以容纳所有的 indx segment file 索引数据文件，那么你搜索的时候就基本都是走内存的，性能会非常高。 比如说，你的 es 节点有3台机器，每台机器 64G，总内存 64 * 3。每台机器给 es jvm heap 是32G，那么剩下来留给 filesystem cache 的就是每台机器才32g，总共集群里给 filesystem cache的...
分布式搜索elasticsearch配置文件详解
elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个 是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置 就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。cluster.name: elasticsearch 配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以...
Elasticsearch系列---增量更新原理及优势【代码】【图】
概要 本篇主要介绍增量更新(partial update，也叫局部更新)的核心原理，介绍6.3.1版本的Elasticsearch脚本使用实例和增量更新的优势。增量更新过程与原理简单回顾前文我们有简单介绍过增量的语法，简单回顾一下请求示例：POST /music/children/1/_update {"doc": {"length": "76"} }一般从客户端到Elasticsearch，完整的应用请求流程基本是这样的：客户端先发起GET请求，获取到document信息，展现到前端页面上，供用户进行编辑。用...
logstash6.8.3 导入 CSV 文件到 ElasticSearch【代码】【图】
logstash6.8.3 导入 CSV 文件到 ElasticSearch使用logstash 导入数据到ES时，由三个步骤组成：input、filter、output。整个导入过程可视为：unix 管道操作，而管道中的每一步操作都是由"插件"实现的。使用./bin/logstash-plugin list 查看 logstash 已安装的插件。每个插件的选项都可以在官网查询，先明确是哪一步操作，然后去官方文档看是否有相应的插件是否支持这种操作。比如 output 配置选项：plugins-outputs-elasticsearch-o...
Elasticsearch技术解析与实战 PDF （内含目录）【图】
Elasticsearch技术解析与实战 下载地址：https://pan.baidu.com/s/1q46lwAqzbUMs0qbKyBNBqg关注微信公众号获取提取码： 输入：esjs 获取提取码。 介绍： Elasticsearch是一个强[0大0]的搜索引擎，提供了近实时的索引、搜索、分析功能。本书作者根据自己多年的开发经验，总结了使用和开发Elasticsearch的实战经验。本书全面介绍Elasticsearch系统结构与功能配置，以及实际应...
修改elasticsearch最大返回结果数【代码】
#!/bin/bash curl -H "Content-Type: application/json" -XPUT http://127.0.0.1:9200/_settings -d ‘{ "index" : { "max_result_window" : 50000000}}‘ 原文：https://www.cnblogs.com/yinliang/p/13892539.html
Ubuntu 16.04安装elasticsearch数据库
Ubuntu 16.04安装elasticsearch数据库： 安装：apt-get install elasticsearch启动：/usr/share/elasticsearch/bin/elasticsearch查看端口：netstat -ntpl | grep 9200确认服务：curl ‘http://localhost:9200/?pretty‘原文：http://blog.51cto.com/yangzhiming/2152466
Elasticsearch入门教程(五)：Elasticsearch查询(一)【图】
原文:Elasticsearch入门教程(五)：Elasticsearch查询(一)版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/vbirdbest/article/details/79228852// 准备数据 PUT /shop/goods/1 {"name": "2017新款女装冬季外套ulzzang棉袄中长款棉衣韩版百搭棉服面包服","desc": "","price": 268,"quantity": 9267,"colors": ["绿色","黑色"],"is_discoun...
Filebeat实现MySQL日志轻量化发送至Elasticsearch
来源:滁州网站优化Filebeat实现MySQL日志轻量化发送至Elasticsearch标签：阿里 安装 使用 文章 ring pre sel tar beat 本文系统来源：https://www.cnblogs.com/vwvwvwgwgvervae/p/12994098.html
Asp.Net Core 项目中使用 Serilog 输出日志到 Elasticsearch【代码】【图】
环境说明服务器：CentOS 7，IP：172.17.79.83开发环境：Win10 + VS2019 Docker 启动 Elasticsearchdocker run --name elasticsearch --restart always -d -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.5.0 Docker 启动 Kibanadocker run --name kibana --restart always -d --link elasticsearch:elasticsearch -p 5601:5601 kibana:7.5.0 项目配置创建一个 WebAPI 项目，添加 nuget 包 Seril...
Kibana+Logstash+Elasticsearch日志查询系统，kibanalogstash_PHP教程【图】
Kibana+Logstash+Elasticsearch 日志查询系统，kibanalogstash 搭建该平台的目的就是为了运维、研发很方便的进行日志的查询。Kibana一个免费的web壳；Logstash集成各种收集日志插件，还是一个比较优秀的正则切割日志工具；Elasticsearch一个开源的搜索引擎框架（支持群集架构方式）。1 安装需求 1.1 理论拓扑1.2 安装环境 1.2.1 硬件环境 192.168.50.62（HP DL 385 G7 、RAM：12G、CPU：AMD 6128、DISK：SAS 146*4） 192.168.50...
Elasticsearch+Filebeat+Kibana 使用DaemonSet的方式收集Kubernetes 集群中Node节点中的应用服务日志
一、以SeatefulSet的方式创建单节点elasticsearch的yaml文件# cat elasticsearch.yaml apiVersion: apps/v1 kind: StatefulSet metadata:name: elasticsearchnamespace: kube-systemlabels:k8s-app: elasticsearch spec:serviceName: elasticsearchselector:matchLabels:k8s-app: elasticsearchtemplate:metadata:labels:k8s-app: elasticsearchspec:initContainers:- name: busyboximagePullPolicy: IfNotPresentimage: busybox:l...
Elasticsearch日志服务器【代码】
阅读本文需要 10 分钟 下载JDK# 找到对应的下载包1. yum search java | grep jdk# 下载安装2. yum install java-11-openjdk.x86_64配置JDK 1. vi /etc/profile# 根据下载的JDK修改 JAVA_HOME, 追加以下内容到 /etc/profile #set java environment JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.7.10-4.el7_8.x86_64 JRE_HOME=$JAVA_HOME/jre CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib PATH=$...
分布式日志链路追踪：skywalking + elasticsearch 部署实践（5.x）【代码】【图】
简介 SkyWalking 创建与2015年，提供分布式追踪功能。从5.x开始，项目进化为一个完成功能的Application Performance Management系统。他被用于追踪、监控和诊断分布式系统，特别是使用微服务架构，云原生或容积技术。提供以下主要功能：分布式追踪和上下文传输应用、实例、服务性能指标分析根源分析应用拓扑分析应用和服务依赖分析慢服务检测性能优化特性多语言探针或类库Java自动探针，追踪和监控程序时，不需要修改源码。社区...
转载---Beats：如何使用Filebeat将MySQL日志发送到Elasticsearch【代码】【图】
在今天的文章中，我们来详细地描述如果使用Filebeat把MySQL的日志信息传输到Elasticsearch中。为了说明问题的方便，我们的测试系统的配置是这样的： 我有一台MacOS机器。在上面我安装了Elasticsearch及Kibana。在这个机器里，我同时安装了一个Ubuntu 18.04的虚拟机。在这个Ubunutu机器上，我安装了MySQL及Filebeat。它们的IP地址分别显示如上。针对你们自己的测试环境，你们的IP地址可能和我的不太一样。 准备工作 安装Elasticse...
用Elasticsearch代替数据库存储日志方式
之前的项目中一直使用的是数据库表记录用户操作日志的，但随着时间的推移，数据库log单表是越来越大「不考虑删除」，再加上近期项目中需要用到Elasticsearch，所以干脆把这些用户日志迁移到ES上来了。环境：SpringBoot2.2.6 + Elasticsearch6.8.8如果你还不了解Elasticsearch的话，可以参考之前的几篇文章：ES基本概念：https://www.cnblogs.com/niceyoo/p/10864783.html 重温ES基础：https://www.cnblogs.com/niceyoo/p/11329426....
ELK之十----logstash结合filebeat将日志存储到redis，再由logstash转存到elasticsearch【图】
实战一：filebeat收集日志到redis再由logstash转存到elasticsearch主机 框架图：环境准备： A主机：elasticsearch/kibana IP地址：192.168.7.100 B主机：logstash IP地址：192.168.7.102 C主机：filebeat/nginx IP地址：192.168.7.103 D主机： redis IP地址： 192.168.7.104 1、filebeat收集系统和nginx日志到redis主机 1.1、安装redis服务，并修改配置 1、安装redis...