python – 任务扇出 – 如何批量添加任务到队列 – 超过5

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – 任务扇出 – 如何批量添加任务到队列 – 超过5，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1345字，纯文字阅读大概需要2分钟。

内容图文

我正在使用一个任务(排队任务)来排队多个其他任务 – 扇出.当我尝试使用Queue.add,任务参数是一个包含超过5个元素的Task个实例的列表并且在事务中……我得到了这个错误.

JointException: taskqueue.DatastoreError caused by: 
    <class 'google.appengine.api.datastore_errors.BadRequestError'> 
    Too many messages, maximum allowed 5

还有另一种方法可以在事务中排队超过5个任务吗？

要么…

也许我不需要交易,原因是：

>我不在乎这些任务是否排队等候两次,并且
>如果任何队列排队失败,那么整个排队任务将重新运行.

那么告诉我如何在一个事务中排队超过5个任务或告诉我不使用事务因为我真的不需要.

解决方法:

解决问题的一个解决方案是添加一个事务任务,将剩余的任务分散出来.只需在现有交易中添加一个扇出任务即可.

除非存在业务逻辑原因,否则不要重新运行已经运行的任务.防止重新插入(即复制)任务非常简单并节省资源.您的扇出任务基本上如下：

class FanOutTask(webapp.RequestHandler):
  def get(self):
    name = self.request.get('name')
    params = deserialize(self.request.get('params'))

    try:
      task_params = params.get('stuff')
      taskqueue.add(url='/worker/1', name=name + '-1', params=task_params)
    except TaskAlreadyExistsError:
      pass

    try:
      task_params = params.get('more')
      taskqueue.add(url='/worker/2', name=name + '-2', params=task_params)
    except TaskAlreadyExistsError:
      pass

以事务方式添加扇出任务可确保将其排入队列.由于已经运行的任务导致的错误被捕获并被忽略,其他错误导致扇出任务重新运行.使用此模式,您可以非常轻松地插入许多子任务.

内容总结

以上是互联网集市为您收集整理的python – 任务扇出 – 如何批量添加任务到队列 – 超过5全部内容，希望文章能够帮你解决python – 任务扇出 – 如何批量添加任务到队列 – 超过5所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端