基于swoole的task功能实现程序内的map-reduce

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了基于swoole的task功能实现程序内的map-reduce，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2499字，纯文字阅读大概需要4分钟。

内容图文

传统多线程方案

创建2个全局变量Map，group_map以group_id为Key，存储成员set。user_map以uid为Key存储当前用户加入的所有group。

多线程环境下实际上不能直接操作这2个Map，必须要加锁。当添加用户到一个组或者用户退出一个组时需要操作这2个map，必须要加锁。如果操作很频繁，实际上锁的碰撞是很严重的，这部分操作就会变成串行的。同时只有一个线程可以对map进行操作。锁的争抢也会带来大量线程切换浪费很多CPU资源。

lock.lock();group_map[group_id].append([uid, score]);user_map[uid].append(group_id);group_map.sortByScore();lock.unlock();

基于Swoole的Task功能

基于Swoole的Task功能，可以将任务切片，然后hash投递到不同的Task进程，完成任务。排序功能可以直接使用PHP提供的 SplHeap 实现，时间复杂度为O(logn)，如果要实现查询功能，如根据UID查询用户加入的所有群组，根据GroupId查询有哪些成员。可以先计算Hash找到对应Task进程，然后通过task/taskwait发送指令，直接读取进程的变量查找到信息。

$serv->set(array("task_worker_num" => 24));$serv->task(array("cmd" => "user", "uid" => $uid, "gid" => $gid, "score" => $score), $gid % $task_worker_num);$serv->task(array("cmd" => "group", "uid" => $uid, "gid" => $gid), $uid % $task_worker_num);class MyMaxHeap extends SplHeap{    public function compare($value1, $value2)    {        return ($value1['score'] - $value2['score']);    }}function onTask($serv, $taskId, $srcWorkerId, $data) {    static $userMap = array();    static $groupMap = array();        if ($data['cmd'] == 'group')    {        if (!isset($groupMap[$data['gid']]))        {            $groupMap[$data['gid']] = new MyMaxHeap();        }        $heap = $groupMap[$data['gid']];        $heap->insert(array("uid" => $data['uid'], "score" => $data['score']));    }    elseif ($data['cmd'] == 'user')    {        $userMap[$data['uid']][] = $data['gid'];    }}

由于Task进程只有数组操作，所以是非阻塞的，只需要开启与CPU核数相同的进程数量即可。进程间无任何加锁争抢，性能非常好。Swoole的Task进程通信使用UnixSocket，是内核提供的全内存通信方式无任何IO，一写一读单进程可达100万/秒。虽然没有直接读变量的速度快，但性能也足够了。

————–伟大的分割线—————

PHP饭米粒(phpfamily) 由一群靠谱的人建立，愿为PHPer带来一些值得细细品味的精神食粮！

本文由 rango 独家授权 php饭米粒发布，转载请注明本来源信息和以下的二维码（长按可识别二维码关注）：

内容总结

以上是互联网集市为您收集整理的基于swoole的task功能实现程序内的map-reduce全部内容，希望文章能够帮你解决基于swoole的task功能实现程序内的map-reduce所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端