MIT6.824 2020 Lab1 MapReduce 实现
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了MIT6.824 2020 Lab1 MapReduce 实现,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含2782字,纯文字阅读大概需要4分钟。
内容图文
![MIT6.824 2020 Lab1 MapReduce 实现](/upload/InfoBanner/zyjiaocheng/1044/71d88ad49ef44f459e300ad5938590a3.jpg)
准备工作
实验地址:http://nil.csail.mit.edu/6.824/2020/labs/lab-mr.html
论文地址:mapreduce
实验环境可以在实验地址里面找到具体的搭建方式。
系统总览
MapReduce 系统是由一个 master 进程和多个 worker 进程组成。
Master 负责任务状态的记录以及任务的分发。
Worker 负责不断向 master 请求任务,并根据任务的类型(map/reduce)进行处理,最后将任务结果发送给 master。
系统框架图如下:
系统流程图如下:
程序基本逻辑
Master
- master 一开始只能分发 map 任务。
- 当所有 map 任务执行完毕后,master 才开始分发 reduce 任务。
- 当所有 map 和 reduce 任务执行完毕,master 退出。
- 对于分发出去的任务,需要进行超时控制,即超时的任务需要重新分发处理。在完成分发任务的同时,对该任务运行一条检测任务超时的 go routine
checkTaskTimeout
。
Worker
Worker 调用 GetTask
RPC 接口不断向 master 请求任务。当接收到任务,根据任务的类型分类处理。处理完后,调用 CompleteTask
接口告知 master 任务执行完毕。
- 如果是 map 任务,输入是单个文件,通过
mapf
处理后,使用ihash(key) % nReduce
决定写入到哪个中间文件,输出是 nReduce 个中间文件。 - 如果是 reduce 任务,输入是多个 map 输出的中间文件,通过
reducef
处理后,输出是单个文件。 - 如果没有可执行的任务,则等待一下,继续轮询。
代码结构
Master 的结构如下:
// master.go
type Task struct {
// Pending, Running and Completed
phase string
taskID int
taskType string
// for map, input path has only one element
inputPaths []string
// for reduce, output path has only one element
outputPaths []string
}
type Master struct {
nReduce int
mapTasks []*Task
reduceTasks []*Task
incompletedMapTaskCount int
incompletedReduceTaskCount int
reduceInitialized bool
mux sync.Mutex
}
Worker 主要是处理逻辑,官方实验文档以及 main/mrsequential.go
里面有例子。
RPC 的结构如下:
// rpc.go
type GetTaskRequest struct{}
type GetTaskResponse struct {
TaskType string
TaskID int
TaskInputs []string
NReduce int
}
type CompleteTaskRequest struct {
TaskType string
TaskID int
TaskOutputs []string
}
type CompleteTaskResponse struct{}
以上是代码的结构,具体的代码细节在 github 上面。
踩过的坑
这里最主要的应该是对于并发的控制,以及 crash 的处理。
并发控制加锁可以完成。
crash 的处理是靠 master 的超时机制,以及在 worker 处理的时候,生成一个临时文件,在处理结束后再 rename 成最终的文件。
为了方便 debug,推荐使用 github.com/sirupsen/logrus
这个库。可以将 debug 等级设为 debug level 来输出自己的 debug 信息。
import (
log "github.com/sirupsen/logrus"
)
log.SetOutput(os.Stdout)
// log.SetLevel(log.DebugLevel)
log.SetLevel(log.WarnLevel)
log.SetFormatter(&log.TextFormatter{
FullTimestamp: true,
})
最终结果
![MIT6.824 2020 Lab1 MapReduce 实现 - 文章图片](/upload/getfiles/0001/2021/5/19/20210519094821048.jpg)
这里的 FATAL
是 master 检测到所有任务完成后退出,worker 连接不上 master 而抛出的错误,是预期的。
结语
这个实验虽然只是一个小玩具,但还是有收获的。特别是看过论文后进行实验,对 mapreduce 一些细节的实现有更深的了解。有兴趣的同学可以自己完成一遍。
内容总结
以上是互联网集市为您收集整理的MIT6.824 2020 Lab1 MapReduce 实现全部内容,希望文章能够帮你解决MIT6.824 2020 Lab1 MapReduce 实现所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。