Lucene的中文分词器IKAnalyzer

可以配置多个词典文件，文件使用";"号分隔。文件路径为相对java包的起始根路径。

　　扩展词典ext.dic需要为UTF-8编码。

　　ext.dic内容：

　　我把"2012"作为一个词，"欧洲杯四强赛"作为一个词。

　　测试分词代码：

package com.cndatacom.lucene.test;

 

 import java.io.StringReader;

 

 import org.apache.lucene.analysis.Analyzer;

 import org.apache.lucene.analysis.TokenStream;

 import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;

 import org.junit.Test;

 import org.wltea.analyzer.lucene.IKAnalyzer;

 

 

 

 public class IKAnalyzerTest {

     

     @Test

     public void testIKAnalyzer() throws Exception {

         

         String keyWord = "2012年欧洲杯四强赛";

         

         IKAnalyzer analyzer = new IKAnalyzer();

         

         //使用智能分词

         analyzer.setUseSmart(true);

         

         //打印分词结果

         printAnalysisResult(analyzer,keyWord);

         

     }

     

     

     private void printAnalysisResult(Analyzer analyzer, String keyWord) throws Exception {

         System.out.println("当前使用的分词器：" + analyzer.getClass().getSimpleName());

         TokenStream tokenStream = analyzer.tokenStream("content", new StringReader(keyWord));

         tokenStream.addAttribute(CharTermAttribute.class);

         while (tokenStream.incrementToken()) {

             CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);

             System.out.println(new String(charTermAttribute.buffer()));

         }

     }

 }

打印出来的分词结果：

　　可以看到”2012“作为一个词，“欧洲杯四强赛”也是作为一个词，停用词”年“已被过滤掉。