python – 在GAE中组合文本搜索和查询过滤器
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了python – 在GAE中组合文本搜索和查询过滤器，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3455字，纯文字阅读大概需要5分钟。
内容图文
我正在编写一个基于GAE的应用程序,它应该允许用户通过它们的几个属性来过滤项目.项目存储为NDB实体.一些道具可以通过标准查询过滤器进行匹配,但有些道具需要对整个事物进行“完整”(子串)文本搜索才有意义.另外,需要一些合理的排序.最好用以下设计的例子说明：
class Product(ndb.Model) :
manufacturer = ndb.StringProperty()
model = ndb.StringProperty()
rating = ndb.IntegerProperty(choices = [1, 2, 3, 4])
features = ndb.StringProperty(repeated = True, choices = ['feature_1', 'feature_2'])
is_very_expensive = ndb.BooleanProperty()
categories = ndb.KeyProperty(kind = Category, repeated = True)
产品实体都具有与其“容器”相同的祖先.产品可以属于一个或多个类别,后者形成树.
现在,用户应该能够：
>通过选择一个类别缩小产品(单个就足够了)
>通过指定最小评级和所需功能来过滤它们
>仅查看非常昂贵的产品或非(或查看全部)产品
>通过模型和/或制造商字段中的一段文本搜索产品
>订购最终清单,例如.按型号名称(选择订购的能力是理想的).
所有这些同时,即.在提供搜索词时,应无缝应用过滤器和排序.
问题是：如何使用GAE以performat方式实现此类功能？
数据库中将有数十万甚至数百万的产品. Search API与NDB查询一起使用时,问题是过滤搜索结果并可能对它们进行排序.
我一直在想的两个解决方案：
>将重复的StringProperty添加到Product模型,该模型将包含来自制造商和模型字段的所有可搜索的字符串(或至少前缀).它很容易,但它很有效,但我非常关心性能.在我的实验中,我为每个“产品”平均获得了40-50个可搜索的单词前缀.
>使用高级搜索查询专门为任务使用Search API.例如.我可以将产品的类别(作为ID或路径)存储在单独的文档字段中,并使用此字段来获取属于给定类别的产品.它可能已经完成,但我在这里关注的是10,000个搜索结果和各种使用限制/配额的限制.我也不确定结果的排序.
还有其他方法吗？
解决方法:
我强烈建议不要使用GAE.我知道这可能不是你想听到的,但它与你的用例不相符,并提供了我认为你想从产品搜索中获得的灵活性.听起来你真正想要的是接近faceted search的东西.
以下是GAE不匹配的原因：
>如果您使用NDB,您将很快遇到索引爆炸的情况,否则可能会因Zig-zag查询而导致性能严重下降. This article尝试为你正在做的事情做一个案例,但在实践中我们发现它不能在我的日常工作中扩展到小数据集/少数字段之外.你引入其他过滤器的顺序越多,这将给你带来的问题就越多,更不用说你是否开始需要多种不等式.
>与其他产品相比,GAE全文搜索速度缓慢且有限.查询语言本身并不是那么成熟和灵活的IMO.它的成本/配额也不是很友好.你提到你关心配额,搜索很容易通过它们吃.
>子字符串方法会使您保存的每条记录的大小膨胀. Django non-rel有一个完全正确的indexer package,并不是很漂亮.不确定你是否使用Django,但无论如何你可以调整代码,因为它是开源的.膨胀记录大小是不好的,因为除非您只使用投影查询或密钥,否则您将通过网络发回大量不必要的数据.
相反,我建议您将数据推送到针对这些类型的查询进行了更优化的数据存储.以下是架构的示例大纲：
>使用App Engine在Google Compute Engine上搜索服务器以减少延迟.不确定是否有办法让事情在同一个地理位置,但我怀疑你在这里托管它比在亚马逊的延迟方面更好.显然你可能会失去一些速度,但它可能仍然比内置的GAE全文搜索更快.
>如果需要扩展群集,可以使用ElasticSearch.请注意,如果您执行此操作,则需要在Google计算引擎上正确设置多播. ElasticSearch为此提供了一个插件.
>根据数据量创建使用推送或拉取队列的后台进程,以更新搜索索引.频率取决于您需要数据的“新鲜度”.推送与拉动的决定将在很大程度上取决于您的音量,但我建议使用拉动队列,将专用服务器推送给您的搜索提供商.无论如何,您必须使用内置的全文搜索来执行此操作.
>创建一个地图缩减作业,将所有数据推送到搜索索引.这对于播种初始队列和定期“刷新”都很有用.
上面的缺点是,您将大大增加您执行的URL提取调用的次数,并且数据可能并不总是新鲜的.后者在大多数搜索情况下都是正常的,前者可能比内置全文搜索更便宜,具体取决于您的音量.如果数据很少发生变化,您可以执行诸如转储到Google云端存储之类的操作,然后以更便宜的方式导入.
内容总结
以上是互联网集市为您收集整理的python – 在GAE中组合文本搜索和查询过滤器全部内容，希望文章能够帮你解决python – 在GAE中组合文本搜索和查询过滤器所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。