本程序为基于RMM中文分词思想，编写的简易中文分词，程序中还存在不少漏洞，望大神指点....优化了下乱码问题/** * 基于RMM中文分词（逆向匹配法） * @author tangpan * @date 2013-10-12 * @version 1.0.0 **/class SplitWord { //public $Tag_dic = array(); //存储词典分词 public $Rec_dic = array(); //存储重组的分词 public $Split_char = ' '; //分隔符 public $Source_str = ''; //存储源字符串 pu...
当然， 本文不是要对中文搜索引擎做研究， 而是分享如果用 PHP 做一个站内搜索引擎。 本文是这个系统中的一篇。 我使用的分词工具是中科院计算所的开源版本的 ICTCLAS。 另外还有开源的 Bamboo， 我随后也会对该工具进行调研。 从 ICTCLAS 出发是个不错的选择， 因为其算法传播比较广泛， 有公开的学术文档， 并且编译简单， 库依赖少。 但目前只提供了 C/C++， Java 和 C# 版本的代码， 并没有 PHP 版本的代码。 怎么办呢? 也许可...
代码如下:<?php header("Content-Type:text/html; charset=utf-8"); define(APP_ROOT, str_replace(\\, /, dirname(__FILE__))); $test = 这里是一段中文测试代码!; function get_tags_arr($title) { require(APP_ROOT./pscws4.class.php); $pscws = new PSCWS4(); $pscws->set_dict(APP_ROOT./scws/dict.utf8.xdb); $pscws->set_rule(APP_ROOT./scws/rules.utf8.ini); $pscws->set_ignore(true); $pscws->send_text($title); $wor...
以前有用过dedecms分词功能，经过测试还是不理想，后来经过一些处理得到的结果还是可以接受的，今天我再看到这款分词法，拿出来给大家看看。class NLP{ private static $cmd_path; // 不以'/'结尾 static function set_cmd_path($path){ self::$cmd_path = $path; } private function cmd($str){ $descriptorspec = array( 0 => array("pipe", "r"), 1 => array("pipe", "w"), ); $cmd = self::$cmd_path . "/ictclas"; $process =...
中文搜索引擎来说, 中文分词是整个系统最基础的部分之一, 因为目前基于单字的中文搜索算法并不是太好. 当然, 本文不是要对中文搜索引擎做研究, 而是分享如果用 PHP 做一个站内搜索引擎. 本文是这个系统中的一篇进行中文分词的 PHP 类就在下面了, 用 proc_open() 函数来执行分词程序, 并通过管道和其交互, 输入要进行分词的文本, 读取分词结果.class NLP{ private static $cmd_path; // 不以'/'结尾 static function set_c...
php简单中文分词系统结构：首字散列表、Trie索引树结点优点：分词中，不需预知待查询词的长度，沿树链逐字匹配。缺点：构造和维护比较复杂，单词树枝多，浪费了一定的空间php教程简单中文分词系统结构：首字散列表、trie索引树结点优点：分词中，不需预知待查询词的长度，沿树链逐字匹配。缺点：构造和维护比较复杂，单词树枝多，浪费了一定的空间* @version 0.1* @todo 构造通用的字典算法，并写了一个简易的分词* @author shjuto...
class Segmentation { var $options = array(lowercase => TRUE, segment_english => FALSE); var $dict_name = Unknown; var $dict_words = array(); function setLowercase($value) { if ($value) { $this->options[lowercase] = TRUE; } else { $this->options[lowercase] = FALSE; } return TRUE; } function setSegmentEnglish($value) { if ($value) { $this->options[segment_english] = TRUE; } else { $this->options[seg...
[php]/*** 中文分词处理方法*+---------------------------------* @param stirng $string 要处理的字符串* @param boolers $sort=false 根据value进行倒序* @param Numbers $top=0 返回指定数量，默认返回全部*+---------------------------------* @return void*/ function scws($text, $top = 5, $return_array = false, $sep = ,) { include(./pscws4/pscws4.php);//去下面给的网址把pscws4下载下来 $cws = new pscws4(utf-...
<?php /** * 中文分词处理方法 *+--------------------------------- * @param stirng $string 要处理的字符串 * @param boolers $sort=false 根据value进行倒序 * @param Numbers $top=0 返回指定数量，默认返回全部 *+--------------------------------- * @return void */ function scws($text, $top = 5, $return_array = false, $sep = ,) { include(./pscws4/pscws4.php);//去下面给的网址把pscws4下载下来 $cws = new ...
对于中文搜索引擎来说， 中文分词是整个系统最基础的部分之一， 因为目前基于单字的中文搜索算法并不是太好。 当然， 本文不是要对中文搜索引擎做研究， 而是分享如果用 PHP 做一个站内搜索引擎。 本文是这个系统中的一篇。我使用的分词工具是中科院计算所的开源版本的 ICTCLAS。 另外还有开源的 Bamboo， 我随后也会对该工具进行调研。从 ICTCLAS 出发是个不错的选择， 因为其算法传播比较广泛， 有公开的学术文档， 并且编译简单...
PHPAnalysis是目前广泛使用的中文分词类，使用反向匹配模式分词，因此兼容编码更广泛，现将其变量与常用函数详解如下： 一、比较重要的成员变量$resultType = 1 生成的分词结果数据类型(1 为全部， 2为 词典词汇及单个中日韩简繁字符及英文， 3 为词典词汇及英文) 这个变量一般用 SetResultType( $rstype ) 这方法进行设置。$notSplitLen = 5 切分句子最短长度$toLower ...
PHPAnalysis是目前广泛使用的中文分词类，使用反向匹配模式分词，因此兼容编码更广泛，现将其变量与常用函数详解如下： 一、比较重要的成员变量 $resultType = 1 生成的分词结果数据类型(1 为全部， 2为 词典词汇及单个中日韩简繁字符及英文， 3 为词典词汇及英文) 这个变量一般用 SetResultType( $rstype ) 这方法进行设置。$notSplitLen = 5 切分句子最短长度$toLower ...
Thinkphp3.2使用scws中文分词 提取关键词，SCWS 是 Simple Chinese Word Segmentation 的首字母缩写（即：简易中文分词系统）。1.下载scws官方提供的类（这里使用的是pscws第四版的）http://www.xunsearch.com/scws/down/pscws4-20081221.tar.bz2下载XDB 词典文件 （这里使用的是utf8简体中文词典包）http://www.xunsearch.com/scws/down/scws-dict-chs-utf8.tar.bz22.解压scws类Pscws.class.php（这里我把pscws4.class.php文件名换...
php中文分词，织梦中文分词 织梦的中文分词 ，词库中明明有烦恼 ，忧愁这样的词语 ，但是测试输入 ，返回乱码 ，不知道是怎么回事 ，还有这样的代码 else if($n>0xA13F && $n 回复讨论(解决方案) if($n>0xA13F && $n < 0xAA40) 是全角符号 他用的是 gbk 字符集，如果你不是的，那一定会乱码的 真的非常谢谢 ，但是应用的类 我都用编辑器存为utf-8 的格式了 ，输入的有些词语，就不会显示乱码啊 ，上面乱码的是经过...
去哪儿网 笔试 中文分词 程序 参加了去哪儿网的笔试 题大意： asp.php.jsp.javascript 语言不限 将其转化为 javascript.jsp.php.asp 意思就是用户输入的字符串（其中包含若干以“.”分隔开来的字符），你写个程序实现以这些“.”为分隔，把原来的一句话倒转过来。 回复讨论(解决方案) 貌似转换成数组，再倒序下就可以了。 问题是如何实现以“.”为分隔呢？两个点之间字符的转化为一个数组单元。大神求解 貌似转换...