首页 / SPHINX / 【原创】用coreseek快速搭建sphinx中文分词搜索引擎

【原创】用coreseek快速搭建sphinx中文分词搜索引擎

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了【原创】用coreseek快速搭建sphinx中文分词搜索引擎，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6635字，纯文字阅读大概需要10分钟。

内容图文

以下内容基于linux 系统。

yum -y install glibc-common libtool autoconf automake mysql-devel expat-devel
#如果不安装这个 可能下面 sh buildconf.sh会报错！！！
cd /data/src
tar -xjf ../software/autoconf-2.64.tar.bz2
cd autoconf-2.64/
./configure
make && make install
cd ../
cd /data/software
wget http://www.coreseek.cn/uploads/csft/4.0/coreseek-4.1-beta.tar.gz
cd /data/src
tar zxf ../software/coreseek-4.1-beta.tar.gz
cd coreseek-4.1-beta/mmseg-3.2.14
./bootstrap
./configure --prefix=/usr/local/mmseg3
make && make install
cd ../
cd /data/src/coreseek-4.1-beta/csft-4.1/
sh buildconf.sh
./configure --prefix=/usr/local/coreseek  --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --without-mysql
make && make install
cd ../
##测试mmseg分词，coreseek搜索（需要预先设置好字符集为zh_CN.UTF-8，确保正确显示中文）
cd testpack
cat var/test/test.xml    #此时应该正确显示中文
/usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc var/test/test.xml
/usr/local/coreseek/bin/indexer -c etc/csft.conf --all
/usr/local/coreseek/bin/search -c etc/csft.conf 网络搜索
#创建sphinx创建索引的脚本：
mkdir -p /data/sh/other

vi /data/sh/other/sphinx_update_index.sh

#!/bin/bash
CONFFILE=/usr/local/coreseek/etc/sphinx_index.conf
/bin/sed s#var\/data\/#var\/data2\/#g ${CONFFILE} > ${CONFFILE}.2
mkdir -p /usr/local/coreseek/var/data2
#/usr/local/coreseek/bin/indexer --config ${CONFFILE}.2 --all --rotate
/usr/local/coreseek/bin/indexer --config ${CONFFILE}.2 --all
pkill -9 searchd
sleep 4
/bin/rm -rf /usr/local/coreseek/var/data/
/bin/mv /usr/local/coreseek/var/data2/ /usr/local/coreseek/var/data/
sleep 2
/usr/local/coreseek/bin/searchd --config ${CONFFILE}

chmod 755 /data/sh/other/sphinx_update_index.sh

#配置sphinx索引参数配置

vi /usr/local/coreseek/etc/sphinx_index.conf

################################### PHPCMS ############################################
source cc_phpcms
{
	type = mysql
	sql_host = 172.26.11.75  #此处请改成您的真实配置
	sql_user = phpcms  #此处请改成您的真实配置
	sql_pass = 123456   #此处请改成您的真实配置
	sql_db = phpcms   #此处请改成您的真实配置
	sql_port= 3306  #此处请改成您的真实配置
	sql_query_pre = SET SESSION query_cache_type=OFF
	sql_query_pre = SET character_set_client = 'gbk'
	sql_query_pre = SET character_set_connection ='gbk'
	sql_query_pre = SET character_set_results ='utf8'
	sql_query = SELECT `id`,`catid`,`typeid`,`title`,`status`,`updatetime` from `i_news` #此处请改成您的真实配置
	sql_range_step          = 1000
	sql_attr_timestamp      = updatetime
	sql_attr_uint           = catid
	sql_attr_uint           = typeid
	sql_attr_uint           = status
	sql_query_post  =
	sql_ranged_throttle= 0
}
index cc_phpcms
{
	source   = cc_phpcms
	path   = /dev/shm/cc_phpcms   #放这里比较好，因为这里是linux的内存区！
	docinfo   = extern
	mlock   = 0
	enable_star            = 1
	morphology   = none
	stopwords   =
	min_word_len  = 1
	charset_dictpath = /usr/local/mmseg3/etc/   #注意此处
	charset_type        = zh_cn.utf-8           #注意此处
	html_strip = 1
	html_remove_elements = style, script
	html_index_attrs = img=alt,title; a=title;
}
#################################### SETTING ############################################
indexer
{
	mem_limit   = 300M
}
searchd
{
	# address    = 0.0.0.0
	#listen                  = 3312
	#listen                  = 9312
	#listen                  = 9306:mysql41
	port    = 3312
	log     = /usr/local/coreseek/var/log/searchd.log
	query_log   = /usr/local/coreseek/var/log/query.log
	read_timeout  = 5
	max_children  = 30
	pid_file   = /usr/local/coreseek/var/log/searchd.pid
	max_matches   = 1000
	seamless_rotate  = 1
}

#接下来实现数据源支持：让sphinx支持MySQL数据源

yum -y install mysql-devel libxml2-devel expat-devel
cd /data/src/coreseek-4.1-beta/csft-4.1/
make clean
sh buildconf.sh
 ./configure --prefix=/usr/local/coreseek  --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql
make && make install
cd ../

##如果出现错误提示：“ERROR: cannot find MySQL include files…….To disable MySQL support, use –without-mysql option.“，可按照如下方法处理：
##请找到头文件mysql.h所在的目录，一般是/usr/local/mysql/include，请替换为实际的
##请找到库文件libmysqlclient.a所在的目录，一般是/usr/local/mysql/lib，请替换为实际的
##configure参数加上：–with-mysql-includes=/usr/local/mysql/include –with-mysql-libs=/usr/local/mysql/lib，执行后，重新编译安装
#跑sphinx服务脚本
/data/sh/other/sphinx_update_index.sh

好了，如果一切正常，将会顺利看到创建索引的信息如下：
【原创】用coreseek快速搭建sphinx中文分词搜索引擎 - 文章图片

下面写一段php代码进行测试（基于sphinx php 的api方式）：

		$page = (int)$_GET['page'];
		$page = ($page==0)?1:$page;
		$perpage = 200;
		$start = ($page -1) * $perpage;
		$keyword = urldecode($_GET['key']);
		require_once (S_ROOT . './api/sphinxapi.php');//请改成您的真实路径
 		$groupby = "";
		$groupsort = "@group desc";
		$filter = "fieldid";
		$filtervals = array ();
		$distinct = "";
		$sortby = "";
		$cl = new SphinxClient();
		$cl->SetServer("localhost", 3312);
		$cl->SetWeights(array (
				100,
				1
		));
		$cl->SetMatchMode(SPH_MATCH_ANY);
		if (count($filtervals)) {
				$cl->SetFilter($filter, $filtervals);
		}
		if ($groupby) {
				$cl->SetGroupBy($groupby, SPH_GROUPBY_ATTR, $groupsort);
		}
		$order = 1;
		if ($order == 0) { //按时间倒序
				$cl->SetSortMode(SPH_SORT_ATTR_DESC, "inputtime");
		}
		elseif ($order == 1) { //按相关度排序
				$cl->SetSortMode(SPH_SORT_RELEVANCE);
		}
		if ($distinct) {
				$cl->SetGroupDistinct($distinct);
		}
		$cl->SetLimits($start, $perpage, ($limit > 1000) ? $limit : 1000);
		$cl->SetRankingMode(SPH_RANK_PROXIMITY_BM25);
		$cl->SetArrayResult(true);
		$res = $cl->Query($keyword, 'cc_phpcms');
		print_r($res);die;

上面的php代码没有做输入的字符过滤，这个请按自己的需要加上。
另外，
/data/sh/other/sphinx_update_index.sh 跑了一次后，
请
vi /data/sh/other/sphinx_update_index.sh
将

#/usr/local/coreseek/bin/indexer --config ${CONFFILE}.2 --all --rotate
/usr/local/coreseek/bin/indexer --config ${CONFFILE}.2 --all

变成

/usr/local/coreseek/bin/indexer --config ${CONFFILE}.2 --all --rotate
#/usr/local/coreseek/bin/indexer --config ${CONFFILE}.2 --all

也就是将注释调换，这样以后就可以设定个定时计划跑/data/sh/other/sphinx_update_index.sh 脚本了，
跑了/sphinx_update_index.sh 脚本后，自动会用–rotate的方式重建索引，也就是说新增加的内容也将会被索引到了。

当然，最好的方法还是做个实时索引的配置，下一篇将会重点介绍sphinx的实时索引功能！

原文地址：【原创】用coreseek快速搭建sphinx中文分词搜索引擎, 感谢原作者分享。

内容总结

以上是互联网集市为您收集整理的【原创】用coreseek快速搭建sphinx中文分词搜索引擎全部内容，希望文章能够帮你解决【原创】用coreseek快速搭建sphinx中文分词搜索引擎所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/556759.html

来源：【匿名】

【上一篇】【原创】sphinx实时索引的配置及实际应用、实例【下一篇】关于Yii框架中sphinx索引配置的分析

更多 ►

【【原创】用coreseek快速搭建sphinx中文分词搜索引擎】教程文章相关的互联网学习教程文章

linux下编译安装Sphinx、中文分词coreseek及PHP的sphinx扩展

Linux环境为：CentOS5.5、Ubuntu12.041、软件下载sphinx-2.1.3coreseek-4.12、安装 sphinxtar zxvf sphinx-2.1.3.tar.gz //解压sphinx包 cd sphinx-2.1.3 ./configure --prefix=/usr/local/sphinx --with-mysql=/usr/local/mysql/--prefix：指定 sphinx 的安装路径--with-mysql：指定 mysql 安装路径sudo make && make install编译并安装安装成功之后，sphinx 会形成三个命令：indexer 创建索引命令 searchd 启动进程命令 search 命...

sphinx到底支持中文分词吗

这里的shinx指的是官方默认的安装包,而不是coreseek 上面是前提! 那么问题来了:shinx到底支持不支持中文分词呢.可能有人说要装coreseek才支持,那么就请你看看我说的前提. 回复讨论(解决方案) Coreseek是一款基于Sphinx的开源检索引擎,支持Tb级的全文数据索引,专门为中文用户提供免费开源的中文全文检索系统如果看不懂这句话，就当我没说 coreseek将分词和搜索都整合。 ?然支持啊。

sphinx毕竟支持中文分词吗

sphinx到底支持中文分词吗这里的shinx指的是官方默认的安装包,而不是coreseek上面是前提!那么问题来了:shinx到底支持不支持中文分词呢.可能有人说要装coreseek才支持,那么就请你看看我说的前提.------解决思路----------------------Coreseek是一款基于Sphinx的开源检索引擎,支持Tb级的全文数据索引,专门为中文用户提供免费开源的中文全文检索系统如果看不懂这句话，就当我没说------解决思路----------------------coreseek将分词...

Sphinx+MySQL5.1x+SphinxSE+mmseg中文分词

include(‘sphinxapi.php‘); $cl = new SphinxClient(); //设置sphinxserver地址与port,假设是本机则能够为localhost $cl->SetServer( "192.168.16.6", 9312 ); //下面设置用于返回数组形式的结果 $cl->SetArrayResult ( true ); //$cl->SetMatchMode( SPH_MATCH_ANY );//匹配模式 //$cl->SetFilter( ‘group_id‘, array( 2 ) ); $result = $cl->Query( ‘研究生创业‘, ‘test1‘ ); //參数 keyword 索...

二、ubuntu10.0.4下mysql配合sphinx和中文分词的全文搜索

配置环境是在ubuntu下面一、下载： 1、下载mysql源代码，我下载的是5.1.47，http://dev.mysql.com，点击 source download。解压缩到用户目录新建下，我的是/home/net/soft 2、下载sphinx 0.9.9，我下载的是 Sphinx 0.9.9 ，地址http://www.sphinxsearch.com 配置环境是在ubuntu下面一、下载：1、下载mysql源代码，我下载的是5.1.47，http://dev.mysql.com，点击 source download。解压缩到用户目录新建下，我的是/home/net/soft...

MySQL+Sphinx+中文分词简介(Ubuntu)【图】

一、编译先前条件确认是否已经安装以下软件,有些也许不是必须的,但建议还是都装上。apt-get install autoconf automake autotool 一、编译先前条件确认是否已经安装以下软件,有些也许不是必须的,但建议还是都装上。apt-get install autoconf automake autotools-dev cpp curl gawk gcclftp libc6-dev linux-libc-dev make libpcre3-dev libpcrecpp0 g++ libtoollibncurses5-devaptitude install libmysql++-dev libmysqlclient15-d...

使用Coreseek-4.1快速搭建Sphinx中文分词Php-Mysql全文检索搜【图】

CentOS-6.4 安装 Coreseek-4.1 使用 Sphinx 提升项目搜索功能的性能本文只讲解如何在linux下使用：安装Croeseek-4.1 yum -y install glibc-common libtool autoconf automake mysql-devel expat-devel#如果不安装这个可能下面 sh buildconf.sh会报错！！！CentOS-6.4 安装 Coreseek-4.1 使用 Sphinx 提升项目搜索功能的性能本文只讲解如何在linux下使用：安装Croeseek-4.1 yum -y install glibc-common libtool autoconf autom...