Rheem：可扩展且易于使用的跨平台大数据分析系统

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Rheem：可扩展且易于使用的跨平台大数据分析系统，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1874字，纯文字阅读大概需要3分钟。

内容图文

Rheem：可扩展且易于使用的跨平台大数据分析系统

iteblog 过往记忆大数据
　　RHEEM是一个可扩展且易于使用的跨平台大数据分析系统，它在现有的数据处理平台之上提供了一个抽象。它允许用户使用易于使用的编程接口轻松地编写数据分析任务，为开发者提供了不同的方式进行性能优化，编写好的程序可以在任意数据处理平台上允许，这其中包括：PostgreSQL, Spark, Hadoop MapReduce或者Flink等；Rheem将选择经典处理框架的最佳配置来运行这些程序。RHEEM抽象完全基于用户定义函数（UDF），允许用户专注于其应用程序逻辑而不是物理细节。这就使得数据工程师和软件开发人员可以不去了解不同数据处理系统的API、优缺点以及不同平台之前通信的复杂性等繁琐工作。从上面的特点可以看出，其目标和去年Google开源的Apache Beam很类似。直到目前，Rheem内置支持以下的数据处理平台：

• Java 8 Streams
• Apache Spark
• GraphChi
• Postgres
• SQLite
  rheem的体系结构如下：

如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop

如何使用Rheem

Rheem需要我们安装好Java8，然后根据自己的需求在pom.xml文件里面引入下面的依赖：

<dependency>
  <groupId>org.qcri.rheem</groupId>
  <artifactId>rheem-***</artifactId>
  <version>0.2.1</version>?
</dependency>

注意上面的 ***，因为Rheem包含了很多个模块，我们需要根据自己的需求选择不同的模块，主要模块介绍如下：

• rheem-core: 提供了核心数据结构和优化器，这个模块必须引入；
• rheem-basic: 提供了通用的运算符和数据类型；
• rheem-api: 提供了Java和Scala语言的API供大家使用；
• rheem-java, rheem-spark, rheem-graphchi, rheem-sqlite3, rheem-postgres: 适用于各种平台的适配器
• rheem-profiler: provides functionality to learn operator and UDF cost functions from historical execution data
  下面介绍如何使用RHEEM编写一个WordCount程序。这里以Scala API进行介绍：

从上面的代码可以看出，这个代码的函数和处理过程和使用Spark或者Flink开发程序流程很类似，然后我们可以使用下面命令运行这个程序：

java  com.iteblog.WordcountScala

然后就可以在Spark上运行这个程序。更多关于RHEEM的介绍可以参见期官方文档介绍：https://github.com/daqcri/rheem

内容总结

以上是互联网集市为您收集整理的Rheem：可扩展且易于使用的跨平台大数据分析系统全部内容，希望文章能够帮你解决Rheem：可扩展且易于使用的跨平台大数据分析系统所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---