由正则表示式匹配($regex)引起的一次mongo数据库cpu占用率高的问题
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了由正则表示式匹配($regex)引起的一次mongo数据库cpu占用率高的问题，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7017字，纯文字阅读大概需要11分钟。
内容图文
某一天，监控到mongo数据库cpu使用率高了很多，查了一下，发现是下面这种语句引起的：
| db.example_collection.find({ "idField" : { "$regex" : "123456789012345678"} , "dateField" : { "$regex" : "2019/10/10"}}) |
通常，遇到这种情况，我第一反应是缺少相关字段的索引，导致每执行一次这种语句都会全表扫描一次。
但是我用explain( )语句分析了下，发现上面所涉及的两个字段idField、dateField是有索引的，并且该语句也是有使用到索引的。如下为explain( )的结果：
| mgset-11111111:PRIMARY> db.example_collection.find({ "idField" : { "$regex" : "123456789012345678"} , "dateField" : { "$regex" : "2019/10/10"}}).explain("queryPlanner") { "queryPlanner" : { "plannerVersion" : 1, "namespace" : "example_db.example_collection", "indexFilterSet" : false, "parsedQuery" : { "$and" : [ { "idField" : { "$regex" : "123456789012345678" } }, { "dateField" : { "$regex" : "2019/10/10" } } ] }, "winningPlan" : { "stage" : "FETCH", "inputStage" : { "stage" : "IXSCAN", "filter" : { "$and" : [ { "idField" : { "$regex" : "123456789012345678" } }, { "dateField" : { "$regex" : "2019/10/10" } } ] }, "keyPattern" : { "idField" : 1, "dateField" : 1 }, "indexName" : "idField_1_dateField_1", "isMultiKey" : false, "multiKeyPaths" : { "idField" : [ ], "dateField" : [ ] }, "isUnique" : false, "isSparse" : false, "isPartial" : false, "indexVersion" : 2, "direction" : "forward", "indexBounds" : { "idField" : [ "[\"\", {})", "[/123456789012345678/, /123456789012345678/]" ], "dateField" : [ "[\"\", {})", "[/2019/10/10/, /2019/10/10/]" ] } } }, "rejectedPlans" : [ ] }, "ok" : 1 } |
查看mongo的日志发现，这种语句执行一次就要800~900ms，的确是比较慢。除非数据库cpu核数很多，要不然只要这种语句每秒并发稍微高一点，cpu很快就被占满了。
之后搜索了下，发现有可能是正则表达式的问题。原来，虽然该语句的确是使用了索引，但是explain( )语句的输出中还有一个字段"indexBounds"，表示执行该语句时所需扫描的索引范围。说实话，上面那个输出中，我始终没看明白它那个索引范围。上面的语句对idField、dateField这两个字段都进行了普通的正则表达式匹配，我猜测它应该是扫描了整个索引树，所以导致索引并未实际提升该语句的查询效率。
我看了下数据库里面的数据，发现idField、dateField这两个字段完全没有必要进行正则匹配，进行普通的文本匹配就行。将正则匹配操作$regex去掉之后，再分析一下，结果是这样的：
| mgset-11111111:PRIMARY> db.example_collection.find({ "idField" : "123456789012345678", "dateField" : "2019/10/10"}).explain("queryPlanner") { "queryPlanner" : { "plannerVersion" : 1, "namespace" : "example_db.example_collection", "indexFilterSet" : false, "parsedQuery" : { "$and" : [ { "idField" : { "$eq" : "123456789012345678" } }, { "dateField" : { "$eq" : "2019/10/10" } } ] }, "winningPlan" : { "stage" : "FETCH", "inputStage" : { "stage" : "IXSCAN", "keyPattern" : { "idField" : 1, "dateField" : 1 }, "indexName" : "idField_1_dateField_1", "isMultiKey" : false, "multiKeyPaths" : { "idField" : [ ], "dateField" : [ ] }, "isUnique" : false, "isSparse" : false, "isPartial" : false, "indexVersion" : 2, "direction" : "forward", "indexBounds" : { "idField" : [ "[\"123456789012345678\", \"123456789012345678\"]" ], "dateField" : [ "[\"2019/10/10\", \"2019/10/10\"]" ] } } }, "rejectedPlans" : [ ] }, "ok" : 1 } |
可以看到，仍然使用到了索引，并且索引扫描范围是仅限于一个值的。
后来跟开发人员确认了下，该语句确实没必要使用正则匹配，就让他把正则匹配去掉了。之后就没有再出现问题了，mongo慢日志中也未再出现该语句。
内容总结
以上是互联网集市为您收集整理的由正则表示式匹配($regex)引起的一次mongo数据库cpu占用率高的问题全部内容，希望文章能够帮你解决由正则表示式匹配($regex)引起的一次mongo数据库cpu占用率高的问题所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。