SOLR - 技术教程文章

solr学习【图】

当 Solr 在 Tomcat 服务器上部署成功后,我们可以登录 Solr 网页版的管理界面进行基本的操作。一、首先来了解一下 Solr 页面各个功能模块的基本功能是什么?这里主要包括 Dashboard(仪表盘)、Logging(日志)、 Core Admin(索引库管理)、 Java Properties(Java 属性)、 Thread Dump(线程管道)、 Core Selector(Core 选择器)几部分组成,接下来将一一介绍。二、Dashboard(仪表盘):包含 solr 搭建路径、版本信息,还有系...

solr缓存学习

sor缓存虽然solr的检索速度很快,但是当搜索服务的请求变得非常复杂的时候,我们还是会发现搜索会出现一些性能上的问题。其实很多用户的请求很有很多相似的地方,比如(一):它们可能是不同用户的同一个请求,或者这个用户仅仅是进行了翻页的操作;(二):用户的过滤条件会有重合的地方,比如它们在同一个类目下进行了不同的查询;针对这两个问题,其实我们可以通过设置solr的缓存来使查询速度变快从而提高性能。 搜索器:在这里就...

什么是Solr【图】

Lucene复习:1、什么是lucene:全文检索工具包2、Lucene的工作原理:索引数据的创建从原始文件中提取一些可以用来搜索的数据(封装成各种Field),把各field再封装成document,然后对document进行分析(对各字段分词),得到一些索引目录写入索引库,document本身也会被写入一个文档信息库;索引数据的查询根据关键词解析(queryParser)出查询条件query(Termquery),利用搜索工具(indexSearcher)去索引库获取文档id,然后再根据...

Apache Solr - XXE & RCE (2)【代码】【图】

Apache Solr - XXE & RCE (2)0x01 前言部署那一块请看上一篇文章https://www.cnblogs.com/0x28/p/12585472.html 0x02 复现在创建了一个collection为test的基础上调用该collection的configPOST /solr/test/config HTTP/1.1 Host: 192.168.52.129:8983 Accept: */* Accept-Language: en User-Agent: Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0) Connection: close Content-Length: 162{"add-lis...

solr与.net系列课程(七)solr主从复制【代码】

solr与.net系列课程(七)solr主从复制 既然solr是解决大量数据全文索引的方案,由于高并发的问题,我们就要考虑solr的负载均衡了,solr提供非常简单的主从复制的配置方法,那么下面我们就来配置一下solr的主从复制 假设我们在192.168.0.8与192.168.0.9两台服务器上部署了solr服务,192.168.0.8作为主服务器,192.168.0.9作为从服务器, 首先配置主服务器找到C:\Program Files\Apache Software Foundation\Tomcat 7.0\solr\collection...

SolrCloud 高可用集群搭建【图】

1.1 什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这些需求。 SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心。它有几个特色功能:1)集中式的配置信息2)自动容错3)...

Solr搜索引擎【代码】【图】

什么是Solr呢?  Solr是Apache下的一个顶级开源项目,采用Java开发,它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对索引、搜索性能进行了优化。  Solr可以独立运行,运行在Jetty、Tomcat等这些Servlet容器中,Solr索引的实现方法很简单,用POST方法向Solr服务器发送一个描述Field及其内容的XML文档,Solr根据XML文档添加、删除、更新索引。Solr搜索只需要发送HTTP GE...

python3.4.4+solr5.5+hadoop2.6.3【代码】

1.通过python编写爬虫,数据存储到hdfs当中2.通过solr在hdfs当中建立索引并实现全文检索功能好了,正文开始了!一,环境搭建1.python3.4.4安装及环境变量配置2.hadoop2.6.3安装及环境变量配置(单机)3.solr5.5安装及配置 1. 下载tomcat9 及solr5.5 2.解压tomcat9级solr5.5 存放路径为tomcat9:/usr/local/solr/tomcat9                  solr5.5:/usr/local/solr/solr-5.5.0 3.在tomcat的webapps中新建文件夹so...

Solr:后台管理界面的使用(管理索引库、导入数据库数据、查询)【代码】【图】

1、管理索引库(1)添加初始查询结果:{"responseHeader": {"status": 0,"QTime": 1,"params": {"q": "*:*","indent": "true","wt": "json","_": "1608643748789"}},"response": {"numFound": 2,"start": 0,"docs": [{"id": "1","title": ["zhai"],"_version_": 1686785156649582600},{"id": "change.me","title": ["change.me"],"_version_": 1686785221848989700}]} }提交数据:{"id":"2","title":"test"}再次查询:{"responseHe...

Solr 6.5.1 安装配置【图】

环境介绍solr 6.5tomcat8jdk1.8win7系统 一、下载solr安装包下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/6.5.1/solr-6.5.1.zip二、安装solr以win7为例1、将下载下来的solr-6.5.1.zip解压2、在D:\work\solr_root\下新建文件夹solr_home3、在solr_home中新建文件夹solr_core4、从solr-6.5.0\solr\server\solr下的三个文件copy到solr_home中,如下图 5、将\solr-6.5.0\solr\server\solr\configsets\basic_co...

solr-服务器安装【图】

一:安装solr服务器1.导入安装包到 /usr/local/solr/singleSolr目录下解压移动到tomcat-solr目录2.拷贝war到tomcat/webappscp solr-4.10.3/example/webapps/solr.war tomcat-solr/webapps3.在tomcat/webapps 目录下执行解压命令,然后删除solr.warunzip -oq solr.war -d solr4.拷贝依赖jar文件cp solr-4.10.3/example/lib/ext/* tomcat-solr/webapps/solr/WEB-INF/lib/5.创建自定义仓库,拷贝solr解压目录下solr仓库到当前目录cp -r...

Win10 下solr安装及搭建

--Solr安装下载 solr win下下载zip 文件即可, 然后解压至 D盘的 \Program Files?文件夹下即可1、启动与停止直接到解压缩的solr/bin目录运行solr start即可。 会看到: Provider chain: env;sysprop Waiting up to 30 to see Solr running on port 8983 Started Solr server on port 8983. Happy searching! 然后浏览器访问: http://localhost:89831.2启动多个solr start -p 8084 solr start -p 80851.3停止指定solr stop -p 8083...

Solr1.3的核心机制【图】

内核调用机制从图3-3可以看出Solr1.3服务器包含一个实现基本功能的核心API,也可称之为内核。所有功能的实现都通过对内核API的调用来实现。Solr1.3的内核API提供的接口具有高内聚低耦合的特点。低耦合主要体现在仅仅通过一个API函数(execute)就可以实现包括信息查询和索引管理的功能。execute函数调用格式如图3-3所示。 图3-3 Solr内核API调用格式 虽然对于信息查询和索引管理(包括索引添加,更新和删除)都使用相同的API调用,...

windows环境tomcat8配置Solr5.5.1【代码】【图】

前言 前前后后接触Solr有一个多月了,想趁着学习Solr顺便把java拾起来。我分别用4.X和5.X版本在windows环境下用jetty的方式、tomcat部署的方式自己搭建了一把。其中从4.x到5.x和6.x的变化还是有的。搭建起来Solr后我分别用调用http接口的方式、SolrNet实现了索引的增删改查,在使用SolrNet开发时发现查询时不时的还报错,不知道是不是因为Solr的版本太高。 在学习Solr的过程中参考几位师傅的博客,从搭建平台、创建索引、搜...

solr相关

http://www.cnblogs.com/arli/ 博主介绍:武汉理工大学计算机系华为java工程师华为企业版Hadoop工程师华为大数据解决方案架构师国盛天丰软件工程师原文:http://www.cnblogs.com/cxhfuujust/p/7763039.html

Solr5.3.1整合IKAnalyzer【代码】

由于solr5.3.1本身不支持中文分词,而msseg4j的分词效果不明显。因而采用IK进行分词,然而参考http://www.superwu.cn/2015/05/08/2134/在google上下载的jar包放到solr目录下直接报如下异常。严重: Servlet.service() for servlet [default] in context with path [/solr] threw exception [Filter execution threw an exception] with root cause java.lang.AbstractMethodErrorat org.apache.lucene.analysis.Analyzer.tokenStrea...

智能提示(一) Solr (suggest)【图】

电商搜索中要实现这么一块功能,当输入文字时候。下拉框提示。类似于百度搜索 在师出名门的基于lucene的solr搜索引擎中。提供了 拼写检查和智能提示这块功能。 拼写检查就是用来检查用户输入的检索内容是否存在,假设不存在则,给它提示出相近,或相似的内容。 而检索建议则是用户输入某个检索条件后。会立马友好的给出一系列提示内容,并推荐首个出现的相似的词,作为推荐词。 也就是说 拼写检查是能够作为一个单独功能使用,...

Solr In Action 中文版 第一章(一)

1.1我到底需要一个搜索引擎吗? 第一章 Solr 简介本章速览:·搜索引擎处理的数据特性·常见搜索引擎用例·Solr核心模块介绍·选择Solr的理由·功能概述 伴随着社交媒体、云计算、移动互联网和大数据等技术的高速发展,我们正迎来一个令人激动的计算时代。软件架构师们开始面对的主要挑战之一,便是如何处理全球巨大的用户基数所产生及使用的海量数据。此外,用户们开始期待在线软件应用永远都是稳定可用的,并且能够一直保...

Solr4.8.0源码分析(8)之Lucene的索引文件(1)【代码】【图】

Solr4.8.0源码分析(8)之Lucene的索引文件(1)题记:最近有幸看到觉先大神的Lucene的博客,感觉自己之前学习的以及工作的太为肤浅,所以决定先跟随觉先大神的博客学习下Lucene的原理。由于觉先大神主要介绍的是Lucene3.X系的,那我就根据源码以及结合觉先大神的来学习下4.X系的。内容可能会有些变化,且加入下我个人的理解。 http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623597.html一. 基本类型Lucene索引文件中,用一...

solr学习文档之增量更新索引

之前已经介绍过如何使用solr和mysql建立索引,但索引一旦建立,之后新增的数据便不能插入了,除非每次新增数据都重新建立一遍索引,但这样太过耗时费力,故而,本章将介绍如何增量更新索引1、 找到之前data-config.xml文件,打开并在query后面加入deltaQuery="select TOPIC_ID,TOPIC_CONTENT from t_topicwhere TOPIC_ADD_DATE > ‘${dataimporter.last_index_time}‘"此段话的意思是如果有某条数据插入时间大于上次索引生成时间则...

Solr6.5.0配置中文分词器配置

准备工作:    solr6.5.0安装成功     1.去官网https://github.com/wks/ik-analyzer下载IK分词器     2.Solr集成IK       a)将ik-analyzer-solr6.x.jar复制到tomcat8\webapps\solr\WEB-INF\lib目录下。      b)将ik-analyzer-master\src\main\resources下的stopword.dic、IKAnalyzer.cfg.xml复制到tomcat8\webapps\solr\WEB-INF\classes      c)将mydict.dic文件拷贝IKAnalyzer.cfg.xml同级目录,存...

tomcat7设置访问solr地址限制的问题【代码】

环境: apache-tomcat-7.0.42solr5.0.0 参照文档与网上的介绍:在:$TOMCAT_HOME/conf/server.xml内的host标签内增加:<Valve className="org.apache.catalina.valves.RemoteAddrValve" allow="192.168.0.*,127.0.0.1" deny=""/>测试时,都不能访问,经过测试,需要写成如下格式: <Valve className="org.apache.catalina.valves.RemoteAddrValve" allow="192.168.0.*||127.0.0.1" deny=""/> 修改之后,只有内网能够看到solr界面,...

solr(四): centos中, 整合 tomcat【代码】【图】

前言  虽然windows下, tomcat和solr整合起来灰常的方便, 但是, 一般像这种东西, 都很少部署在windows中, 更多的是部署到linux中去. 其实, 步骤是一样的, 这里, 我在centos 中再部署一次. 下包  下载地址还是之前的那个: http://mirror.bit.edu.cn/apache/lucene/solr/  下载下来之后, 放到centos中的 /home/elvin/Downloads 文件下. elvin 是我的用户名.   为了与第一篇对应, 我按照第一篇的操作过程来吧.整合一. solrhome...

HBase协处理器同步二级索引到Solr(续)【代码】

一、 已知的问题和不足二、解决思路三、代码3.1 读取config文件内容3.2 封装SolrServer的获取方式3.3 编写提交数据到Solr的代码3.4 拦截HBase的Put和Delete操作信息四、 使用一、 已知的问题和不足 在上一个版本中,实现了使用HBase的协处理器将HBase的二级索引同步到Solr中,但是仍旧有几个缺陷:写入Solr的Collection是写死在代码里面,且是唯一的。如果我们有一张表的数据希望将不同的字段同步到Solr中该如何做呢?目前所有配...

Solr简单总结【代码】【图】

Solr运行Solr服务方式一:Jetty服务器启动Solr进入solr-4.10.2/example目录打开命令行,执行java –jar start.jar命令,即可启动Solr服务打开浏览器,通过http://localhost:8983/solr来访问Solr管理页面。方式二:Tomcat服务器启动Solr部署Web服务,将solr-4.10.2/example/webapps/solr.war复制到自己的tomcat/webapps目录中,并解压,然后删除solr.war文件在Tomcat中加入相关jar包:将“resource\solr在tomcat运行需要导入的jar包\l...

Solr学习总结(四)Solr查询参数【图】

今天还是不会涉及到.Net和数据库操作,主要还是总结Solr 的查询参数,还是那句话,只有先明白了solr的基础内容和查询语法,后续学习solr 的C#和数据库操作,都是水到渠成的事。这里先列出solr查询所需要的参数     一.基本查询  q 查询的关键字,此参数最为重要,例如,q=id:1,默认为q=*:*,  fl 指定返回哪些字段,用逗号或空格分隔,注意:字段区分大小写,例如,fl= id,title,sort  start 返回结果的第几条记录开...

Solr查询详解

一、 查询参数说明 在做solr查询的时候,solr提供了很多参数来扩展它自身的强大功能!以下是使用频率最高的一些参数! 1、常用 q - 查询字符串,这个是必须的。如果查询所有*:* ,根据指定字段查询(Name:张三 AND Address:北京)fq - (filter query)过虑查询,作用:在q查询符合结果中同时是fq查询符合的,例如:q=Name:张三&fq=CreateDate:[20081001 TO 20091031],找关键字mm,并且CreateDate是20081001fl - 指定返回那些字段...

solr6.5.0版本(Windows安装图解)【图】

此教程为solr6.5.0安装,自己制作,希望可以帮到你们。 原文:http://www.cnblogs.com/gslblog/p/6701338.html

Solr 如何处理日期类型【代码】

Solr日期类型处理Solr 如何处理日期类型日期格式与实际时间晚8小时solr控制台查询出的日期格式与实际时间少8个小时,因为我们是东八区,推测是时区的原因。造成这个问题的根源是东八区的人不习惯零时区的时间。其实,solr索引存储的时间并没有少8小时,只是在时间格式化的时候,用的是UTC时间,因为我们是东八区,UTC是零时区时间,所以日期展示的时候,看起来是慢了8小时。误区一:修改写入时间为了解决这个问题,在solrJ写入时间时...

什么是Solr【图】

Lucene复习:1、什么是lucene:全文检索工具包2、Lucene的工作原理:索引数据的创建从原始文件中提取一些可以用来搜索的数据(封装成各种Field),把各field再封装成document,然后对document进行分析(对各字段分词),得到一些索引目录写入索引库,document本身也会被写入一个文档信息库;索引数据的查询根据关键词解析(queryParser)出查询条件query(Termquery),利用搜索工具(indexSearcher)去索引库获取文档id,然后再根据...