实时日志统一收集的好处： 1、快速定位集群中问题机器 2、无需下载整个日志文件（往往比较大，下载耗时多） 3、可以对日志进行统计 a、发现出现次数最多的异常，进行调优处理 b、统计爬虫ip c、统计用户行为，做聚类分析等 基于上面的需求，我采用了 ELK（elasticsearch + logstash + kibana）的方案，安装方法请到他们的官网：https://www.elastic.co/ 上面查询，这里我主要讲讲我遇到的问题。...
现在解压elasticsearch之后，启动，通过http://localhost:9200可以访问的到，但是http://ip:9200访问不到，怎么办呢？带你解决，带你飞 修改elasticsearch-2.3.3\config\elasticsearch.yml文件 重启一下，你就可以好好的玩耍了，good luck ！！！ 原文：http://www.cnblogs.com/dragkiss/p/5613602.html
分词介绍什么是分词 分词就是指将一个文本转化成一系列单词的过程，也叫文本分析，在Elasticsearch中称之为Analysis。 举例:我是中国人 --> 我/是/中国人分词api 指定分词器进行分词 示例：1POST /_analyse 23{ 4 "analyzer": "standard", 5 "text": "hello world" 6 } 效果如下： 在结果中不仅可以看出分词的结果，还返回了该词在文本中的位置。 指定索引分词 示例1POST /person/_analyse 23{...
一、 正向索引当用户在主页上搜索关键词“手机”时，假设只存在正向索引（forward index），那么就需要扫描索引库中的所有文档，找出所有包含关键词“手机”的文档，再根据打分模型进行打分，排出名次后呈现给用户。因为互联网上收录在搜索引擎中的文档的数目是个天文数字，这样的索引结构根本无法满足实时返回排名结果的要求。 文档 --> 单词二、 倒排索引把文档ID对应到关键词的映射转换为关键词到文档ID的映射，每个关键词都对应...
一、 安装 Elasticsearch只允许普通用户操作，不允许root用户注意：因为elasticsearch有远程执行脚本的功能所以容易中木马病毒，所以不允许用root用户启动，root用户是起不来的，赋权限，用一般的用户启动要配置network.host才能别的机器或者网卡访问，否则只能是127.0.0.1或者localhost访问，这里配置成自己的局域网ip注意配置yml结尾的配置文件都需要冒号后面加空格才行1、下载elasticsearch7.6版本，上传到/opt路径下。下载地址...
简单搜索GET请求非常简单——你能轻松获取你想要的文档。让我们来进一步尝试一些东西，比如简单的搜索！我们尝试一个最简单的搜索全部员工的请求：GET /megacorp/employee/_search接下来，让我们搜索姓氏中包含“jake”的员工。要做到这一点，我们将在命令行中使用轻量级的搜索方法。这种方法常被称作查询字符串(query string)搜索，因为我们像传递URL参数一样去传递查询语句：GET /megacorp/employee/_search?q=last_name:jake 我...
Elsasticsearch的javaAPI之getget API同意依据其id获得指定index中的基于json document。以下的样例得到一个JSON document（index为twitter,type为tweet,id为价值1） GetResponse response = client.prepareGet("twitter","tweet","1") .execute() .actionGet();在get操作的很多其它信息,能够查看REST get docs 线程操作Get API同意你设置线程来运行操作。这样实际将运行API上运行的是同样的节点(API上运行一个分配在...
1 类型确定机制mappingsnumeric_detectiondynamic :是否支持动态添加字段2 动态映射希望根据不同情形，如JSON格式中的字段名称和字段类型，来确定不同类型。3 索引模板本文出自 “实践高并发架构” 博客，请务必保留此出处http://feifan0416.blog.51cto.com/1319656/1757371原文：http://feifan0416.blog.51cto.com/1319656/1757371
获取当前的所有配置curl -XPUT ‘http://localhost:9200/_all/_settings‘{"debitlist":{"settings":{"index":{"creation_date":"1485160809262","number_of_shards":"1","number_of_replicas":"0","version":{"created":"1060299"},"uuid":"f5_trQOERqWoHTDqdbMTxw"}}}会返回所有的索引，创建日期、主分片数量、从分片数量等信息获取文档数量curl -XPUT ‘http://localhost:9200/_count?pretty‘_count?pretty 可以简写为_count65...
ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便1、 下载jdk-7u71-linux-x64.gz2、 Tar zxvf jdk-7u71-linux-x64.gz3、 mv jdk1.7.0_71/ /home/work/local/java/4、 vim /etc/profileexport JAVA_HOME=/home/work/local/javaexportJRE_HOME=/home/work/local/java/jreexportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexpo...
ES中的几个概念索引 index相当于关系数据库中的数据库 类型 type相当于关系数据库中的表ES 5.x中?个index可以新建多个typeES 6.x中?个index中只能新建?个typeES 7.x中只能使用内置的_doc，不能自己新建type 映射 mapping定义每个字段的类型等信息，相当于关系数据库中的表结构 字段 field相当于关系数据库表的字段 ?档 document相当于关系数据库中的?条记录 分? shard集群之后，每个节点存储index的一部分，这一部分叫做一个分片。...
0、默认分词器。默认分词器，查询的时候会把中文一个汉字当作一个关键字拆分，这样是不符合我们的需求的，所以需要安装分词器。1、下载分词器。当前有多种分词器可下载，据说比较好用的是IK分词器。注意，下载分词器的时候，版本必须要与Elasticsearch安装的版本一致，否则会出现不可描述的错误。下载地址: https://github.com/medcl/elasticsearch-analysis-ik/releases注意: es-ik分词插件版本一定要和es安装的版本对应之前自带的...
PUT student {"mappings" : {"properties" : {"name" : {"type" : "keyword"}}},"settings" : {"index" : {"number_of_shards" : 1}} }插入简单数据测试POST student/_doc/1 {"name": "1111" }成功插入。POST student/_doc/0123456789 {"name": "2222" }成功插入。插入 _id 长度为 230 字节的数据POST student/_doc/0123456789_0123456789_0123456789_0123456789_0123456789_0123456789_0123456789_0123456789_0123456789_01234567...
ES有2种搜索方式term系列match系列 term系列搜索termPOST 192.168.1.9:9200/mall/_search { "query":{"term":{"goods_name":"苹果"}} }匹配机制是equals，指定字段的值要相等才算匹配，返回所有匹配的document。如果是float这种数值型，10.0、10是equals的，也算匹配的。 termsPOST 192.168.1.9:9200/mall/_search { "query":{"terms":{"goods_name":["桃子","梨子"]}} }数组，只要该字段的值是数组中的任意一个元素，就认为该文...
今天我给大家讲讲布尔检索模型基本概念布尔检索模型： 检索模型是判断文档内容与用户相关性的核心技术，以大规模网页搜索为例，在海量网页中与用户查询关键词相关的网页可能会有成千上万个，甚至耕读哦。那么信息检索系统是如何判断网页和查询关键词是相关的？内部的排序模型是怎样的？ 布尔检索模型中主要有AND、OR、NOT三种逻辑运算，布尔逻辑运算符的作用是把检索词连接起来，构成一个逻辑检索式。 AND:逻辑与，...