【mysql】利用全文索引实现中文的快速查找
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了【mysql】利用全文索引实现中文的快速查找，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7708字，纯文字阅读大概需要12分钟。
内容图文
table T
(
id int,
name varchar(64)
);
总数据量如下:
mysql> select count(*) from T; +----------+ | count(*) | +----------+ | 175152 | +----------+ 1 row in set (0.00 sec)
按照名称进行模糊匹配执行结果如下，用时0.29秒：
mysql> select count(*) from T where (name like ‘%玻璃奶瓶%‘); +----------+ | count(*) | +----------+ | 712 | +----------+ 1 row in set (0.29 sec)
mysql> select id, name from T where (name like ‘%玻璃奶瓶%‘) limit 0,10; +---------+---------------------------------------------------------------+ | id | name | +---------+---------------------------------------------------------------+ | 1206852 | 伊诗比蒂-120ML标准口径玻璃奶瓶防摔护套BT-1250 | | 1206853 | 伊诗比蒂-120ML宽口径玻璃奶瓶防摔护套BT-1251 | | 1206854 | 伊诗比蒂-200ML标准口径玻璃奶瓶防摔护套BT-1252 | | 1206855 | 伊诗比蒂-160ML宽口径玻璃奶瓶防摔护套BT-1253 | | 1206856 | 伊诗比蒂-240ML标准口径玻璃奶瓶防摔护套 | | 1206857 | 240ML宽口径玻璃奶瓶防摔护套BT-1255 | | 1309742 | 贝亲标准口径玻璃奶瓶240ml | | 1309743 | 贝亲标准口径玻璃奶瓶200ml | | 1309744 | 贝亲标准母乳实感奶嘴玻璃奶瓶120ml | | 1309745 | 贝亲硅胶宽口径玻璃奶瓶240ml | +---------+---------------------------------------------------------------+ 10 rows in set (0.19 sec)
like操作无法走到索引，正好趁着机会尝试下MySql的全文索引功能。
因为中文语句不像英文，单词与单词之间用空格隔开，存在天然的分隔符，因此当前MySql的全文索引无法支持中文。
当然，也有办法可以绕过去，比如把汉字进行转码或者转成拼音，经过比较，最终还是确定使用转base64的方法，只针对中文做转换，英文和和符号不转。
首先，需要修改表结构，增加一个字段用来保存转码后的值，并创建这个字段的全文索引
alter table T add column nameindex varchar(256) not null default ‘‘; alter table T add fulltext sku_name_index_fc(`nameindex `);
然后，通过脚本批量刷新数据，把每条记录中的name转码后存入nameindex。空格是mysql全文索引的分词符之一，为了能实现和like匹配一样的功能，需要以字为最小单位，字与字之间的base64编码用空格分开。
下面是python的转码实现：
d=‘伊诗比蒂-160ML宽口径玻璃奶瓶防摔护套BT-1253‘ baseStr = ‘‘ for i in range(len(d)): #print base64.encodestring(d[i].encode(‘utf8‘)).strip(‘\n\r‘) #if re.match(‘[ \u4e00 -\u9fa5]+‘,d[i]) == None: if d[i] >= u‘\u4e00‘ and d[i]<=u‘\u9fa5‘: b = ‘‘ if len(baseStr) != 0: b = ‘ ‘ b += base64.encodestring(d[i].encode(‘utf8‘)).strip(‘\n\r‘) baseStr += b baseStr += ‘ ‘ else: dt = d[i] if d[i] == ‘"‘ or d[i] == "‘": dt = ‘\\‘ dt += d[i] baseStr += dt baseStr += ‘ ‘
转换完成后，结果如下：
mysql> select id,name,nameindex from T where (name like ‘%玻璃奶瓶%‘) limit 0,10; +---------+---------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------+ | id | name | nameindex | +---------+---------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------+ | 1206852 | 伊诗比蒂-120ML标准口径玻璃奶瓶防摔护套BT-1250 | 5LyK 6K+X 5q+U 6JKC -120ML 5qCH 5YeG 5Y+j 5b6E 5467 55KD 5aW2 55O2 6Ziy 5pGU 5oqk 5aWX BT-1250 | | 1206853 | 伊诗比蒂-120ML宽口径玻璃奶瓶防摔护套BT-1251 | 5LyK 6K+X 5q+U 6JKC -120ML 5a69 5Y+j 5b6E 5467 55KD 5aW2 55O2 6Ziy 5pGU 5oqk 5aWX BT-1251 | | 1206854 | 伊诗比蒂-200ML标准口径玻璃奶瓶防摔护套BT-1252 | 5LyK 6K+X 5q+U 6JKC -200ML 5qCH 5YeG 5Y+j 5b6E 5467 55KD 5aW2 55O2 6Ziy 5pGU 5oqk 5aWX BT-1252 | | 1206855 | 伊诗比蒂-160ML宽口径玻璃奶瓶防摔护套BT-1253 | 5LyK 6K+X 5q+U 6JKC -160ML 5a69 5Y+j 5b6E 5467 55KD 5aW2 55O2 6Ziy 5pGU 5oqk 5aWX BT-1253 | | 1206856 | 伊诗比蒂-240ML标准口径玻璃奶瓶防摔护套 | 5LyK 6K+X 5q+U 6JKC -240ML 5qCH 5YeG 5Y+j 5b6E 5467 55KD 5aW2 55O2 6Ziy 5pGU 5oqk 5aWX | | 1206857 | 240ML宽口径玻璃奶瓶防摔护套BT-1255 | 240ML 5a69 5Y+j 5b6E 5467 55KD 5aW2 55O2 6Ziy 5pGU 5oqk 5aWX BT-1255 | | 1309742 | 贝亲标准口径玻璃奶瓶240ml | 6LSd 5Lqy 5qCH 5YeG 5Y+j 5b6E 5467 55KD 5aW2 55O2 240ml | | 1309743 | 贝亲标准口径玻璃奶瓶200ml | 6LSd 5Lqy 5qCH 5YeG 5Y+j 5b6E 5467 55KD 5aW2 55O2 200ml | | 1309744 | 贝亲标准母乳实感奶嘴玻璃奶瓶120ml | 6LSd 5Lqy 5qCH 5YeG 5q+N 5Lmz 5a6e 5oSf 5aW2 5Zi0 5467 55KD 5aW2 55O2 120ml | | 1309745 | 贝亲硅胶宽口径玻璃奶瓶240ml | 6LSd 5Lqy 56GF 6IO2 5a69 5Y+j 5b6E 5467 55KD 5aW2 55O2 240ml | +---------+---------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------+ 10 rows in set (0.21 sec)
测试一下性能，耗时0.05秒，提升了四倍的速度
mysql> SELECT count(*) FROM T WHERE MATCH (nameindex AGAINST (‘"5467 55KD 5aW2 55O2"‘ IN BOOLEAN MODE) ; +----------+ | count(*) | +----------+ | 713 | +----------+ 1 row in set (0.05 sec)
再多试几次，性能都有很大的提升
mysql> select count(*) from T where (nameindex like ‘%凌动%‘); +----------+ | count(*) | +----------+ | 70 | +----------+ 1 row in set (0.30 sec) mysql> SELECT count(*) FROM T WHERE MATCH (fskutitleindex) AGAINST (‘"5YeM 5Yqo"‘ IN BOOLEAN MODE) ; +----------+ | count(*) | +----------+ | 70 | +----------+ 1 row in set (0.01 sec) mysql> select count(*) from T where (nameindex like ‘%凌动惯性%‘); +----------+ | count(*) | +----------+ | 9 | +----------+ 1 row in set (0.29 sec) mysql> SELECT count(*) FROM T WHERE MATCH (fskutitleindex) AGAINST (‘"5YeM 5Yqo 5oOv 5oCn"‘ IN BOOLEAN MODE) ; +----------+ | count(*) | +----------+ | 9 | +----------+ 1 row in set (0.00 sec)
细心的你，可能发现了查找‘玻璃奶瓶’的时候，用like和全文索引查找出来的记录总数相差1。
相差的这条记录如下：
mysql> select fskuid as id ,fskutitle as name,fskutitleindex as nameindex from T where id = 1314118; +---------+-----------------------------------------------+------------------------------------------------------------------------------+ | id | name | nameindex | +---------+-----------------------------------------------+------------------------------------------------------------------------------+ | 1314118 | NUK宽口-玻璃-奶瓶妈咪礼包40.260.718 | NUK 5a69 5Y+j - 5467 55KD - 5aW2 55O2 5aaI 5ZKq 56S8 5YyF 40.260.718 | +---------+-----------------------------------------------+------------------------------------------------------------------------------+
在玻璃和奶瓶之间有一个“-”，因为“-”前后都是汉字，因此转码操作了，“-”成为了一个独立的字符。根据MySql全文索引的默认配置ft_min_word_len = 4，低于4个字符的词不会被保存在索引中。因此“-”被忽略。
【mysql】利用全文索引实现中文的快速查找
标签：
本文系统来源：http://www.cnblogs.com/seyjs/p/5416339.html
内容总结
以上是互联网集市为您收集整理的【mysql】利用全文索引实现中文的快速查找全部内容，希望文章能够帮你解决【mysql】利用全文索引实现中文的快速查找所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。