mysql全文索引:MySQL全文搜索来源: 发布时间:星期日, 2009年1月4日 浏览:71次 评论:0
="t18">全文索引在 MySQL 中是
 个FULLTEXT类型索引 FULLTEXT索引用于MyISAM表 可以在CREATE TABLE时或的后使用ALTER TABLE或CREATE INDEX在CHAR、VARCHAR或TEXT列上创建对于大 数据库将数据装载到个没有FULLTEXT索引表中然后再使用ALTER TABLE(或CREATE INDEX) 创建索引这将是非常快将数据装载到个已经有FULLTEXT索引表中将是非常慢全文搜索通过MATCH   完成mysql> CREATE TABLE articles ( -> id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY, -> title VARCHAR(200), -> body TEXT, -> FULLTEXT (title,body) -> ); Query OK, 0 rows affected (0.00 sec) mysql> INSERT INTO articles VALUES -> (NULL,'MySQL Tutorial', 'DBMS stands for DataBase ...'), -> (NULL,'How To Use MySQL Efficiently', 'After you went through a ...'), -> (NULL,'Optimising MySQL','In this tutorial we will show ...'), -> (NULL,'1001 MySQL Tricks','1. Never run mysqld as root. 2. ...'), -> (NULL,'MySQL vs. YourSQL', 'In the following database comparison ...'), -> (NULL,'MySQL Security', 'When configured properly, MySQL ...'); Query OK, 6 rows affected (0.00 sec) Records: 6 Duplicates: 0 Warnings: 0 mysql> SELECT * FROM articles -> WHERE MATCH (title,body) AGAINST ('database'); +----+-------------------+------------------------------------------+ | id | title | body | +----+-------------------+------------------------------------------+ | 5 | MySQL vs. YourSQL | In the following database comparison ... | | 1 | MySQL Tutorial | DBMS stands for DataBase ... | +----+-------------------+------------------------------------------+ 2 rows in  (0.00 sec)MATCH对照个文本集(包含在个FULLTEXT索引中个或多个列列集)执行个自然语言搜索个 串搜索串做为AGAINST参数被给定搜索以忽略字母大小写方式执行对于表中每个记录行MATCH返回个相关性值即在搜索串和记录行在MATCH列表中指定列文本的间相似性尺度当MATCH 被使用在个WHERE子句中时 (参看上面例子)返回记录行被自动地以相关性从高到底次序排序相关性值是非负浮点数字零相关性意味着不相似相关性计算是基于:词在记录行中数目、在行中唯词数目、在集中词全部数目和包含个特殊词文档(记录行)数目它也可以执行 个逻辑模式搜索这在下面章节中被描述前面 例子是MATCH使用上些基本介绍说明记录行以相似性递减顺序返回下 个举例显示如何检索个明确相似性值如果即没有WHERE也没有ORDER BY子句返回行是不排序mysql> SELECT id,MATCH (title,body) AGAINST ('Tutorial') FROM articles; +----+-----------------------------------------+ | id | MATCH (title,body) AGAINST ('Tutorial') | +----+-----------------------------------------+ | 1 | 0.64840710366884 | | 2 | 0 | | 3 | 0.66266459031789 | | 4 | 0 | | 5 | 0 | | 6 | 0 | +----+-----------------------------------------+ 6 rows in (0.00 sec)下面举例更复杂点查询返回相似性并依然以相似度递减次序返回记录行为了完成这个结果你应该指定MATCH两次这不会引起附加开销 MySQL 优化器会注意到两次同样MATCH 并只次全文搜索代码mysql> SELECT id, body, MATCH (title,body) AGAINST -> ('Security implications of running MySQL as root') AS score -> FROM articles WHERE MATCH (title,body) AGAINST -> ('Security implications of running MySQL as root'); +----+-------------------------------------+-----------------+ | id | body | score | +----+-------------------------------------+-----------------+ | 4 | 1. Never run mysqld as root. 2. ... | 1.5055546709332 | | 6 | When configured properly, MySQL ... | 1.31140957288 | +----+-------------------------------------+-----------------+ 2 rows in (0.00 sec)MySQL 使用个非常简单剖析器来将文本分隔成词个“词”是由文字、数据、“'”和“_”组成任何序列任何在 stopword 列表上出现或太短(3 个或更少) “word” 将被忽略在集和查询中 每个合适词根据其在集和查询中重要性衡量这样个出现在多个文档中词将有较低权重(可能甚至有个零权重)在这个特定集中它有较低语义值否则如果词是较少它将得到个较高权重然后词权重将被结合用于计算记录行相似性这样 个技术工作可很好地工作和大集(实际上它会小心地和的谐调) 对于非常小表词分类不足以充份地反应它们语义值有时这个模式可能产生奇怪结果mysql> SELECT * FROM articles WHERE MATCH (title,body) AGAINST ('MySQL'); Empty (0.00 sec)在上面例子中搜索词MySQL却没有得到任何结果这个词在超过半记录行中出现同样它被有效地处理为个 stopword (即个零语义值词)这是最理想行为 -- 个自然语言查询不应该从个 1GB 表中返回每个次行(second row)匹配表中 半记录行词很少可能找到相关文档实际上它可能会发现许多不相关文档我们都知道当我们在互联网上通过搜索引擎试图搜索某些东西时这会经常发生这个原因在这个特殊数据集中这样行被设置个低语义值到 4.0.1 时 MySQL 也可以使用IN BOOLEAN MODE修饰语来执行个逻辑全文搜索mysql> SELECT * FROM articles WHERE MATCH (title,body) -> AGAINST ('+MySQL -YourSQL' IN BOOLEAN MODE); +----+------------------------------+-------------------------------------+ | id | title | body | +----+------------------------------+-------------------------------------+ | 1 | MySQL Tutorial | DBMS stands for DataBase ... | | 2 | How To Use MySQL Efficiently | After you went through a ... | | 3 | Optimising MySQL | In this tutorial we will show ... | | 4 | 1001 MySQL Tricks | 1. Never run mysqld as root. 2. ... | | 6 | MySQL Security | When configured properly, MySQL ... | +----+------------------------------+-------------------------------------+这个查询返回所有包含词MySQL 记录行(注意: 50% 阈值没有使用)但是它没有包含词YourSQL注意个逻辑模式搜索不会自动地以相似值降序排序记录行你可以从上面结果出看得出来最高相似值(包含MySQL两次那个) 最列在最后而不是第位个逻辑全文搜索即使在没有个FULLTEXT索引情况下也可以工作然而它慢些逻辑全文搜索支持下面 操作符:+ 个领头加号表示该词必须出现在每个返回记录行中- 个领头减号表示该词必须不出现在每个返回记录行中缺省 (当既没有加号也没有负号被指定时)词是随意但是包含它记录行将被排列地更高点这个模仿没有IN BOOLEAN MODE修饰词MATCH ... AGAINST行为< > 这两个操作符用于改变 个词相似性值基值<操作符减少基值>操作符则增加它参看下面举例( ) 圆括号用于对子表达式中 词分组~ 个领头否定号作用象个否定操作符引起行相似性词基值为负它对标记个噪声词很有用个包含这样词记录将被排列得低点但是不会被完全排除这样可以使用-操作符* 个星号是截断操作符不想其它操作符它应该被追加到个词后不加在前面" 短语 被包围在双引号"中只匹配包含这个短语(字面上就好像被键入)记录行这里是 些举例:apple banana 找至少包含上面词中 个记录行+apple +juice ... 两个词均在被包含 +apple mac  osh... 包含词 “apple” 但是如果同时包含 “macosh”它排列将更高些+apple -mac osh... 包含 “apple” 但不包含 “mac osh”+apple +(>pie <strudel) ... 包含 “apple” 和 “pie” 或者包含是 “apple” 和 “strudel” (以任何次序)但是 “apple pie” 排列得比 “apple strudel” 要高点apple* ... 包含 “apple” “apples”“applesauce” 和 “applet”"some words" ... 可以包含 “some words of wisdom” 但不是 “some noise words”全文 限制MATCH 所有参数必须是从来自于同张表列同时必须是同个FULLTEXT索引中部分除非MATCH是IN BOOLEAN MODEMATCH 列列表必须确切地匹配表某FULLTEXT索引中定义列列表除非MATCH是IN BOOLEAN MODEAGAINST 参数必须是个常量串微调 MySQL 全文搜索 不幸地 全文搜索仍然只有很少用户可调参数虽然增加些在 TODO 上排列很高如果你有个 MySQL 源码发行你可以发挥对全文搜索更多控制注意 全文搜索为最佳搜索效果被仔细地调整了修改默认值行为在大多数情况下只会使搜索结果更糟不要修改 MySQL 源代码除非你知道你在做什么！被索引 词最小长度由 MySQL 变量ft_min_word_len指定stopword 列表可以从ft_stopword_file变量指定 文件中读取50% 阈值选择由所选择 特殊衡量模式确定为了禁止它修改`myisam/ftdefs.h'文件中下面行:#  GWS_IN_USE GWS_PROB改为:# GWS_IN_USE GWS_FREQ然后重新编译 MySQL在这种情况下不需要重建索引注意:使用了这个将严重地减少 MySQL 为MATCH提供足够相似性值能力如果你确实需要搜索这样公共词最好使用IN BOOLEAN MODE搜索代替它不遵守 50% 阈值有时 搜索引擎维护员希望更改使用于逻辑全文搜索操作符这些由变量ft_boolean_syntax定义对于这些更改要求你重建你FULLTEXT索引对于个 MyISAM 表最容易重建索引文件方式如下面语句:mysql> REPAIR TABLE tbl_name QUICK;全文搜索 TODO 使所有对FULLTEXT索引 操作更快邻近(Proximity)操作符 对 "always-index words" 支持他们可以是用户希望视为个词处理任意串例如 "C "、"AS/400"、"TCP/IP"等等支持在MERGE表中 全文搜索对多字节 支持依照数据 语言建立 stopword 列表Stemming (当然 依赖于数据语言)Generic user-suppliable UDF preparser. 使模式更加灵活 (通过为CREATE/ALTER TABLE中 FULLTEXT增加某些可调整参数)0
相关文章读者评论发表评论 |
|
 |
专注于互联网--专注于架构 |
最新标签 网站地图 文章索引 Rss订阅 |
