java-如何将多个Hadoop MapReduce作业合并为一个？

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了java-如何将多个Hadoop MapReduce作业合并为一个？，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2210字，纯文字阅读大概需要4分钟。

内容图文

我有大量的输入数据(这就是为什么我使用Hadoop的原因),并且可以通过各种MapReduce步骤解决多个任务,其中第一个映射器需要将所有数据作为输入.

我的目标：尽快计算这些不同的任务.

我目前让它们按顺序运行,每次读取所有数据.我认为将任务合并并执行它们的相似部分(例如将所有数据馈送到映射器)一次只会更快.

我想知道是否以及如何合并这些任务.对于每个输入键/值对,映射器都可以发出“超级键”,其中包括任务ID和特定于任务的键数据以及一个值.这样,化简将获得任务和特定于任务的键的键/值对,并可以在看到“超级键”时决定在包含的键和值上执行哪个任务.

用伪代码：

map(key, value):
    emit(SuperKey("Task 1", IncludedKey), value)
    emit(SuperKey("Task 2", AnotherIncludedKey), value)

reduce(key, values):
   if key.taskid == "Task 1":
      for value in values:
          // do stuff with key.includedkey and value
   else:
      // do something else

密钥可以是WritableComparable,可以包含所有必要的信息.

注意：伪代码表明了一种糟糕的体系结构,并且绝对可以用更智能的方式来完成.

我的问题是：

>这是明智的做法吗？
>还有更好的选择吗？
>它有一些可怕的缺点吗？
>这种方法是否需要自定义的Partitioner类？

背景：数据由数百万个RDF四倍数组成,任务是计算聚类,统计量和相似度.仅需使用reducer中的Hadoop计数器即可轻松解决某些任务,但某些任务则需要多个MapReduce步骤.

计算最终将在亚马逊的Elastic MapReduce上进行.所有任务都将在整个数据集上尽可能快地进行计算.

解决方法:

• Is this a sensible approach?

除了将不同作业逻辑的维护结合起来之外,它没有任何内在的错误.我相信它将为您节省一些磁盘I / O,如果您的磁盘是您的进程的瓶颈,那么这可能是一个胜利(在小型集群上可能是这种情况).

• Are there better alternatives?

最好编写一个略带框架结构的Mapper和Reducer,将它们作为配置参数接受对它们进行实际映射和归约的类的引用.这可以解决代码的上述耦合(也许您已经想到了).

• Does it have some terrible drawback?

我唯一能想到的是,如果任务的映射逻辑之一未能及时完成其工作,则调度程序可能会启动另一个节点来处理该输入数据.这可能会导致重复的工作,但是如果不了解您的流程,很难说这是否有多大作用.减速器也是如此.

• Would I need a custom Partitioner class for this approach?

可能取决于您在做什么.我认为通常来说,如果您要编写自定义输出WritableComparable,则也需要自定义分区.但是,可能会有一些库分区程序可以根据您的需要进行配置(例如KeyFieldBasedPartitioner,如果您将输出类型设置为Text并使用String字段分隔符而不是自己滚动).

HTH.如果您可以提供更多背景信息,也许我可以提供更多建议.祝好运！

内容总结

以上是互联网集市为您收集整理的java-如何将多个Hadoop MapReduce作业合并为一个？全部内容，希望文章能够帮你解决java-如何将多个Hadoop MapReduce作业合并为一个？所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---