复制代码 代码如下:/** * 一元分词算法 * UTF8编码下一个字符如果首字符ASCII码不大于192则只占1个字节 * 如果首字符ASCII码大于192小于224则占用2个字节，否则占用3个字节 * 一元分词需要在mysql的my.ini文件中增加 ft_min_word_len=1 * 可以使用mysql查询语句 show variables like '%ft%' 查看mysql全文搜索... [阅读全文]

这篇文章主要参考中科院软件所张俊林先生在2005年11月写作的《搜索引擎设计实用教程》的分词部分，提供的查询关键词范例也源于该文。搜索引擎本身并不提供信息，因此用户需要在搜索引擎的搜索框键入关键词进行查询以获取信息，然而由于中文信息检索存在的自身特点，比如中文语词之间没有空格，中文的语法分析和语义理解与英语相比更为困难。因此搜索引擎在信息索引前都要对用户所查询的语词进行切分。并非任何一... [阅读全文]

盘古分词-中文人名识别 作者: eaglet eaglet 曾经在KTDictSeg 中分别尝试使用规则和统计方式来识别中文（汉族）人名，但效果都不理想。在盘古分词中eaglet另辟它径，采用一种新的算法来识别中文人名，效果相比规则和统计方式要好很多。下面eaglet就来介绍这种中文人名的识别方法。 要很好的识别中文人名，我们需要对要分解的句子按预处理和消除歧义两个步骤进行处理... [阅读全文]

查询处理以及分词技术 随着搜索经济的崛起，人们开始越加关注全球各大搜索引擎的性能、技术和日流量。作为企业，会根据搜索引擎的知名度以及日流量来选择是否要投放广告等；作为普通网民，会根据搜索引擎的性能和技术来选择自己喜欢的引擎查找资料；作为技术人员，会把有代表性的搜索引擎作为研究对象. 搜索引擎经济的崛起，又一次向人们证明了网络所蕴藏的巨大商机。网络离开了搜索将只剩下空洞杂乱的数据，以及大量等待... [阅读全文]