将用于mapreduce的Python脚本传递到HBase

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了将用于mapreduce的Python脚本传递到HBase，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含959字，纯文字阅读大概需要2分钟。

内容图文

我们在Hadoop上有一个HBase实现.到目前为止,我们所有的Map-Reduce作业都被编写为Java类.我想知道是否有使用Python脚本传递给HBase进行Map-Reduce的好方法.

解决方法:

有一个很好的开源库可用于此目的.它称为HappyBase,可用值为here.它使用用于HBase的Thrift API进行连接.

这是用HappyBase完成的一些简单HBase操作的示例：

import happybase

connection = happybase.Connection('localhost')
table = connection.table('my-table')

table.put('row-key', {'family:qual1': 'value1','family:qual2': 'value2'})
row = table.row('row-key')print row['family:qual1']  
# prints 'value1'
for key, data in table.rows(['row-key-1', 'row-key-2']):    
    print key, data  # prints row key and data for each row
for key, data in table.scan(row_prefix='row'):    
    print key, data  # prints 'value1' and 'value2'
row = table.delete('row-key')

因此,如果您想使用Python运行Map / Reduce作业以访问HBase,则可以执行以下操作：

>在所有数据节点上安装HappyBase.
>使用详细信息in the streaming section的Python流在集群上运行您的作业.

内容总结

以上是互联网集市为您收集整理的将用于mapreduce的Python脚本传递到HBase全部内容，希望文章能够帮你解决将用于mapreduce的Python脚本传递到HBase所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端