MRJob 极速入门教程，使用Python玩转Hadoop
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了MRJob 极速入门教程，使用Python玩转Hadoop，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2361字，纯文字阅读大概需要4分钟。
内容图文
想要Hadoop乖巧地运行Python程序，学习mrjob可能是最直接、最简单的方法了，你甚至都不要按安装部署Hadoop集群。mrjob拥有很多优秀的特性比如：
支持多步骤的MapReduce任务工作流
支持内嵌、本地、远程亚马逊以及Hadoop
调试方便不需要任务环境支持
本教程通过 python 中 mrjob 模块来调用 hadoop 处理数据。通过本次实验，你可以初步入门mrjob，轻松编写mr来使用hadoop。主要知识点：
Python MRJob模块的安装
Hadoop——Python各模块介绍
使用MRJob实现文本统计
Python MRJob的运行方式
重写MRJob函数实现复杂数据处理
效果展示。该展示数据含义是通过mrjob将每个用户（cuid）看过哪些电影（vid）进行统计并输出。
mrjob支持python2和python3 。mrjob可以通过pip直接安装，也可以通过下载源码通过setup.py安装，可参考mrjob安装说明。 本实验中，使用shiyanlou账户通过sudo权限进行安装。pip安装指令：
目前常见的Python框架有以下几个，这里再简单介绍一下各框架的大体特点，想了解更多可去博客查阅。 Hadoop Streaming。提供了使用其他可执行程序来作为Hadoop的mapper或者reduce的方式，必须使用规定的语义从标准输入读取数据，然后将结果输出到标准输出。直接使用Streaming 的一个缺点是当reduce的输入是按key分组的时候，仍然是一行行迭代的，必须由用户来辨识key与key之间的界限。
mrjob。开源的Python框架，封装Hadoop的数据流，并积极开发Yelp的。由于Yelp的运作完全在亚马逊网络服务，mrjob的整合与EMR是令人难以置信的光滑和容易（使用 boto包）。
dumbo。同样使用Hadoop流包装的框架。dumbo出现的较早，但由于缺少文档，造成开发困难。这也是不如mrjob的一点。dumbo通过typedbytes执行序列化，能允许更简洁的数据传输，也可以更自然的通过指定JavaInputFormat读取SequenceFiles或者其他格式的文件
hadoopy。是一个兼容dumbo的Streaming封装，也使用typedbytes序列化数据，并直接把 typedbytes 数据写到HDFS。它有一个很棒的调试机制， 在这种机制下它可以直接把消息写到标准输出而不会干扰Streaming过程。它和dumbo很相似，但文档要好得多。
pydoop。与其他框架相比，pydoop 封装了Hadoop的管道（Pipes），这是Hadoop的C++ API。 正因为此，该项目声称他们能够提供更加丰富的Hadoop和HDFS接口，以及一样好的性能。需要注意de所有的输入输出都必须是字符串。
其他 -happy、Disco、octopy、Mortar、Luigi 等。
后面便是使用mrjob实现词组统计以及mrjob多种运行方式等等的介绍。完整的教程已经配套的练习可以在实验楼的主站去学习。
说明：该教程仅限实验楼会员学习。因为是刚上线的新课，目前还1天的免费时间，任何人都可以学习；感兴趣的同学可以：点我学习
相关推荐：
更多免费教程，请进入shiyanlou.com
内容总结
以上是互联网集市为您收集整理的MRJob 极速入门教程，使用Python玩转Hadoop全部内容，希望文章能够帮你解决MRJob 极速入门教程，使用Python玩转Hadoop所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。