Fri, 06 Jun 2008 06:10:00 GMT

下蝲地址�Q?br /> http://groups-beta.google.com/group/SegWord/web/IKAnalyzer.jar

IKAnalyzer��Z��lucene2.0版本API开发，实现了以词典分词为基��的正反向全切分算法，是Lucene Analyzer接口的实玎ͼ�代码使用例子如下�Q?/p>

import org.mira.lucene.analysis.IK_CAnalyzer <------- 引用�c?br /> import .....

public class IKAnalyzerTest extends TestCase {

RAMDirectory directory;
private IndexSearcher searcher;

public void setUp() throws Exception {

directory = new RAMDirectory();

IndexWriter writer = new IndexWriter(directory,
new IK_CAnalyzer(), <------- 实例化类
true);

Document doc = new Document();
doc.add(Field.Keyword("partnum", "Q36"));
doc.add(Field.Text("description", "Illidium Space Modulator"));
writer.addDocument(doc);
writer.close();
searcher = new IndexSearcher(directory);

}

public void testTermQuery() throws Exception {
Query query = new TermQuery(new Term("partnum", "Q36"));
Hits hits = searcher.search(query);
assertEquals(1, hits.length());
}
}

分词效果��试�Q�命令行如下�Q?br /> java -classpath IKAnalyzer.jar;lucene-core-2.0.0.jar org.mira.lucene.analysis.IK_CAnalyzer 中华人民共和国香港特别行政区

该算法适合与互联网用户的搜索习惯和企业知识库检索，用户可以用句子中�늛�的中文词汇搜索，如用“人民”搜烦�?#8220;人民�?#8221;的文章，�q�是大部分用��L(f��ng)��搜烦思维�Q?br /> 不适合用于知识挖掘和网�l�爬虫技术，全切分法�Ҏ(gu��)��造成知识歧义�Q�因为在语义学上“人民”�?#8220;人民�?#8221;是完全搭不上关系的�?/p>

分词效果�Q?/p>

1.实现中文单词�l�粒度全切分

如：中华人民共和�?br /> 0 - 2 = 中华
0 - 4 = 中华人民
0 - 7 = 中华人民共和�?br /> 1 - 3 = 华�h
2 - 4 = 人民
2 - 7 = 人民共和�?br /> 4 - 6 = 共和
4 - 7 = 共和�?/p>

2.实现对专有名词的识别和切分（人名�Q�公司名�Q?/p>

如：陈文�q�x��开睿动力通讯�U�技有限公司董事�?br /> 0 - 3 = 陈文�q?<------ 人名�Q�非汉语词汇
4 - 6 = 开�?<------ 公司名，非汉语词�?br /> 6 - 8 = 动力
8 - 10 = 通讯
10 - 12 = �U�技
12 - 14 = 有限
12 - 16 = 有限公司
14 - 16 = 公司
16 - 18 = 董事
16 - 19 = 董事�?br /> 18 - 19 = �?/p>

3.�Ҏ(gu��)��词和量词的合理切�?/p>

如：据�\透社报道�Q�印度尼西亚�C�会事务部一官员星期�?29�?表示�Q�日惹市附近当地旉��27日晨5�?3分发生的里氏6.2�U�地震已�l�造成臛_��5427人死亡，20000余�h受伤�Q�近20万�h无家可归�?br /> 0 - 1 = �?br /> 1 - 4 = 路透社
4 - 6 = 报道
。。。。。�?
18 - 20 = 官员
20 - 22 = 星期
20 - 23 = 星期�?br /> 22 - 23 = �?br /> 24 - 26 = 29
24 - 27 = 29�?br /> 26 - 27 = �?br /> 28 - 30 = 表示
31 - 33 = 日惹
33 - 34 = �?br /> 。。。。。�?br /> 40 - 42 = 27
40 - 43 = 27�?br /> 43 - 44 = �?br /> 44 - 45 = 5
44 - 46 = 5�?br /> 45 - 46 = �?br /> 46 - 48 = 53
46 - 49 = 53�?br /> 48 - 50 = 分发
。。。。。�?br /> 52 - 54 = 里氏
54 - 57 = 6.2
54 - 58 = 6.2�U?br /> 57 - 58 = �U?br /> 58 - 60 = 地震
。。。。。�?br /> 66 - 70 = 5427
66 - 71 = 5427�?br /> 71 - 73 = ��M��
72 - 73 = �?br /> 74 - 79 = 20000
79 - 81 = 余�h
81 - 83 = 受伤
84 - 85 = �q?br /> 85 - 87 = 20
85 - 89 = 20万�h
87 - 89 = 万�h
89 - 93 = 无家可归

转蝲�?http://www.jdon.com/jivejdon/thread/30255.html

鲁胜�q?/a> 2008-06-06 14:10 发表评论

国产A在亚洲线播放,国产亚洲老熟女视频,亚洲综合图色40p