首页 / LINUX / Linux_线程池

Linux_线程池

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Linux_线程池，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含10191字，纯文字阅读大概需要15分钟。

内容图文

/*任务*/
typedef struct {
void *(*function)(void *);
void *arg;
} threadpool_task_t;

/*线程池管理*/
struct threadpool_t{
pthread_mutex_t lock; /* 锁住整个结构体 */
pthread_mutex_t thread_counter; /* 用于使用忙线程数时的锁 */
pthread_cond_t queue_not_full; /* 条件变量，任务队列不为满 */
pthread_cond_t queue_not_empty; /* 任务队列不为空 */

pthread_t *threads; /* 存放线程的tid,实际上就是管理了线数组 */
pthread_t admin_tid; /* 管理者线程tid */
threadpool_task_t *task_queue; /* 任务队列 */

/*线程池信息*/
int min_thr_num; /* 线程池中最小线程数 */
int max_thr_num; /* 线程池中最大线程数 */
int live_thr_num; /* 线程池中存活的线程数 */
int busy_thr_num; /* 忙线程，正在工作的线程 */
int wait_exit_thr_num; /* 需要销毁的线程数 */

/*任务队列信息*/
int queue_front; /* 队头 */
int queue_rear; /* 队尾 */
int queue_size;

/* 存在的任务数 */
int queue_max_size; /* 队列能容纳的最大任务数 */
/*线程池状态*/
int shutdown; /* true为关闭 */
};

**/*创建线程池*/**
threadpool_t * threadpool_create(int min_thr_num, int max_thr_num, int queue_max_size)
{ /* 最小线程数最大线程数最大任务数*/
int i;
threadpool_t *pool = NULL;
do
{
/* 线程池空间开辟 */
if ((pool=(threadpool_t *)malloc(sizeof(threadpool_t))) == NULL)
{
printf("malloc threadpool false; \n");
break;
}
/*信息初始化*/
pool->min_thr_num = min_thr_num;
pool->max_thr_num = max_thr_num;
pool->busy_thr_num = 0;
pool->live_thr_num = min_thr_num;
pool->wait_exit_thr_num = 0;
pool->queue_front = 0;
pool->queue_rear = 0;
pool->queue_size = 0;
pool->queue_max_size = queue_max_size;
pool->shutdown = false;

/* 根据最大线程数，给工作线程数组开空间，清0 */
pool->threads = (pthread_t *)malloc(sizeof(pthread_t)*max_thr_num);
if (pool->threads == NULL)
{
printf("malloc threads false;\n");
break;
}
memset(pool->threads, 0, sizeof(pthread_t)*max_thr_num);

/* 队列开空间 */
pool->task_queue =
(threadpool_task_t *)malloc(sizeof(threadpool_task_t)*queue_max_size);
if (pool->task_queue == NULL)
{
printf("malloc task queue false;\n");
break;
}

/* 初始化互斥锁和条件变量 */
if ( pthread_mutex_init(&(pool->lock), NULL) != 0 ||
pthread_mutex_init(&(pool->thread_counter), NULL) !=0 ||
pthread_cond_init(&(pool->queue_not_empty), NULL) !=0 ||
pthread_cond_init(&(pool->queue_not_full), NULL) !=0)
{
printf("init lock or cond false;\n");
break;
}

/* 启动min_thr_num个工作线程 */
for (i=0; i<min_thr_num; i++)
{
/* pool指向当前线程池 threadpool_thread函数在后面讲解 */
pthread_create(&(pool->threads[i]), NULL, threadpool_thread, (void *)pool);
printf("start thread 0x%x... \n", (unsigned int)pool->threads[i]);
}
/* 管理者线程 admin_thread函数在后面讲解 */
pthread_create(&(pool->admin_tid), NULL, admin_thread, (void *)pool);

return pool;
} while(0);

/* 释放pool的空间 */
threadpool_free(pool);
return NULL;
}

/*工作线程*/
void * threadpool_thread(void *threadpool)
{
threadpool_t *pool = (threadpool_t *)threadpool;
threadpool_task_t task;

while (true)
{
pthread_mutex_lock(&(pool->lock));

/* 无任务则阻塞在 “任务队列不为空” 上，有任务则跳出 */
while ((pool->queue_size == 0) && (!pool->shutdown))
{
printf("thread 0x%x is waiting \n", (unsigned int)pthread_self());
pthread_cond_wait(&(pool->queue_not_empty), &(pool->lock));

/* 判断是否需要清除线程,自杀功能 */
if (pool->wait_exit_thr_num > 0)
{
pool->wait_exit_thr_num--;
/* 判断线程池中的线程数是否大于最小线程数，是则结束当前线程 */
if (pool->live_thr_num > pool->min_thr_num)
{
printf("thread 0x%x is exiting \n", (unsigned int)pthread_self());
pool->live_thr_num--;
pthread_mutex_unlock(&(pool->lock));
pthread_exit(NULL);//结束线程
}
}
}

/* 线程池开关状态 */
if (pool->shutdown) //关闭线程池
{
pthread_mutex_unlock(&(pool->lock));
printf("thread 0x%x is exiting \n", (unsigned int)pthread_self());
pthread_exit(NULL); //线程自己结束自己
}

//否则该线程可以拿出任务
task.function = pool->task_queue[pool->queue_front].function; //出队操作
task.arg = pool->task_queue[pool->queue_front].arg;

pool->queue_front = (pool->queue_front + 1) % pool->queue_max_size; //环型结构
pool->queue_size--;

//通知可以添加新任务
pthread_cond_broadcast(&(pool->queue_not_full));

//释放线程锁
pthread_mutex_unlock(&(pool->lock));

//执行刚才取出的任务
printf("thread 0x%x start working \n", (unsigned int)pthread_self());
pthread_mutex_lock(&(pool->thread_counter)); //锁住忙线程变量
pool->busy_thr_num++;
pthread_mutex_unlock(&(pool->thread_counter));

(*(task.function))(task.arg); //执行任务

//任务结束处理
printf("thread 0x%x end working \n", (unsigned int)pthread_self());
pthread_mutex_lock(&(pool->thread_counter));
pool->busy_thr_num--;
pthread_mutex_unlock(&(pool->thread_counter));
}

pthread_exit(NULL);
}

/*向线程池的任务队列中添加一个任务*/
int threadpool_add_task(threadpool_t *pool, void *(*function)(void *arg), void *arg)
{
pthread_mutex_lock(&(pool->lock));

/*如果队列满了,调用wait阻塞*/
while ((pool->queue_size == pool->queue_max_size) && (!pool->shutdown))
pthread_cond_wait(&(pool->queue_not_full), &(pool->lock));

/*如果线程池处于关闭状态*/
if (pool->shutdown)
{
pthread_mutex_unlock(&(pool->lock));
return -1;
}

/*清空工作线程的回调函数的参数arg*/
if (pool->task_queue[pool->queue_rear].arg != NULL)
{
free(pool->task_queue[pool->queue_rear].arg);
pool->task_queue[pool->queue_rear].arg = NULL;
}

/*添加任务到任务队列*/
pool->task_queue[pool->queue_rear].function = function;
pool->task_queue[pool->queue_rear].arg = arg;
pool->queue_rear = (pool->queue_rear + 1) % pool->queue_max_size; /* 逻辑环 */
pool->queue_size++;

/*添加完任务后,队列就不为空了,唤醒线程池中的一个线程*/
pthread_cond_signal(&(pool->queue_not_empty));
pthread_mutex_unlock(&(pool->lock));

return 0;
}

/*管理线程*/
void * admin_thread(void *threadpool)
{
int i;
threadpool_t *pool = (threadpool_t *)threadpool;
while (!pool->shutdown)
{
printf("admin -----------------\n");
sleep(DEFAULT_TIME); /*隔一段时间再管理*/
pthread_mutex_lock(&(pool->lock)); /*加锁*/
int queue_size = pool->queue_size; /*任务数*/
int live_thr_num = pool->live_thr_num; /*存活的线程数*/
pthread_mutex_unlock(&(pool->lock)); /*解锁*/

pthread_mutex_lock(&(pool->thread_counter));
int busy_thr_num = pool->busy_thr_num; /*忙线程数*/
pthread_mutex_unlock(&(pool->thread_counter));

printf("admin busy live -%d--%d-\n", busy_thr_num, live_thr_num);
/*创建新线程实际任务数量大于最小正在等待的任务数量，存活线程数小于最大线程数*/
if (queue_size >= MIN_WAIT_TASK_NUM && live_thr_num <= pool->max_thr_num)
{
printf("admin add-----------\n");
pthread_mutex_lock(&(pool->lock));
int add=0;

/*一次增加 DEFAULT_THREAD_NUM 个线程*/
for (i=0; i<pool->max_thr_num && add<DEFAULT_THREAD_NUM
&& pool->live_thr_num < pool->max_thr_num; i++)
{
if (pool->threads[i] == 0 || !is_thread_alive(pool->threads[i]))
{
pthread_create(&(pool->threads[i]), NULL, threadpool_thread, (void *)pool);
add++;
pool->live_thr_num++;
printf("new thread -----------------------\n");
}
}

pthread_mutex_unlock(&(pool->lock));
}

/*销毁多余的线程忙线程x2 都小于存活线程，并且存活的大于最小线程数*/
if ((busy_thr_num*2) < live_thr_num && live_thr_num > pool->min_thr_num)
{
// printf("admin busy --%d--%d----\n", busy_thr_num, live_thr_num);
/*一次销毁DEFAULT_THREAD_NUM个线程*/
pthread_mutex_lock(&(pool->lock));
pool->wait_exit_thr_num = DEFAULT_THREAD_NUM;
pthread_mutex_unlock(&(pool->lock));

for (i=0; i<DEFAULT_THREAD_NUM; i++)
{
//通知正在处于空闲的线程，自杀
pthread_cond_signal(&(pool->queue_not_empty));
printf("admin cler --\n");
}
}

}

return NULL;

/*线程是否存活*/
int is_thread_alive(pthread_t tid)
{
int kill_rc = pthread_kill(tid, 0); //发送0号信号，测试是否存活
if (kill_rc == ESRCH) //线程不存在
{
return false;
}
return true;
}

/*释放线程池*/
int threadpool_free(threadpool_t *pool)
{
if (pool == NULL)
return -1;
if (pool->task_queue)
free(pool->task_queue);
if (pool->threads)
{
free(pool->threads);
pthread_mutex_lock(&(pool->lock)); /*先锁住再销毁*/
pthread_mutex_destroy(&(pool->lock));
pthread_mutex_lock(&(pool->thread_counter));
pthread_mutex_destroy(&(pool->thread_counter));
pthread_cond_destroy(&(pool->queue_not_empty));
pthread_cond_destroy(&(pool->queue_not_full));
}
free(pool);
pool = NULL;

return 0;
}

/*销毁线程池*/
int threadpool_destroy(threadpool_t *pool)
{
int i;
if (pool == NULL)
{
return -1;
}
pool->shutdown = true;

/*销毁管理者线程*/
pthread_join(pool->admin_tid, NULL);

//通知所有线程去自杀(在自己领任务的过程中)
for (i=0; i<pool->live_thr_num; i++)
{
pthread_cond_broadcast(&(pool->queue_not_empty));
}

/*等待线程结束先是pthread_exit 然后等待其结束*/
for (i=0; i<pool->live_thr_num; i++)
{
pthread_join(pool->threads[i], NULL);
}

threadpool_free(pool);
return 0;
}

/*
/* 线程池初始化，其管理者线程及工作线程都会启动 */
threadpool_t *thp = threadpool_create(10, 100, 100);
printf("threadpool init ... ... \n");

/* 接收到任务后添加 */
threadpool_add_task(thp, do_work, (void *)p);

// ... ...

/* 销毁 */
threadpool_destroy(thp)；
*/

内容总结

以上是互联网集市为您收集整理的Linux_线程池全部内容，希望文章能够帮你解决Linux_线程池所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/922998.html

来源：【匿名】

【上一篇】linux文件内容列传行_行转列【下一篇】Linux下安装GD

更多 ►

【Linux_线程池】教程文章相关的互联网学习教程文章

Linux多线程实例练习 - pthread_cancel()【代码】

Linux多线程实例练习 - pthread_cancel1、代码 xx_pthread_cancel.c#include <pthread.h> #include <stdio.h> #include <unistd.h>#define debug_Msg(fmt, arg...) do{ printf("%s %d : ", __FILE__, __LINE__); printf(fmt, ##arg); }while(0)#define ENABLE_X char * pe = "enable return"; void * state_Enable(void *arg) {int i = 0;int iExit = 0;while(i < 10 && iExit == 0){debug_Msg("state Enable...

linux shell 多线程执行程序【代码】

Shell中并没有真正意义的多线程，要实现多线程可以启动多个后端进程，最大程度利用cpu性能。直接看代码示例吧。(1) 顺序执行的代码 1 #!/bin/bash2date 3for i in `seq15`4do 5{6echo"sleep 5" 7sleep5 8}9done10date输出：Sat Nov 1909:21:51 CST 2016sleep5sleep5sleep5sleep5sleep5 Sat Nov 1909:22:16 CST 2016(2) 并行代码使用‘&‘+wait 实现“多进程”实现 1 #!/bin/bash2date 3for i in `seq15`4do 5{6echo"sleep 5" 7slee...

Linux多线程实现及线程同步函数分析【代码】

在Linux中，多线程的本质仍是进程，它与进程的区别：进程：独立地址空间，拥有PCB线程：也有PCB，但没有独立的地址空间（共享）线程的特点：1，线程是轻量级进程，有PCB，创建线程使用的底层函数和进程一样，都是clone2，从内核看进程和线程是一样的，都有各自不同的PCB3，进程可以蜕变成线程4，在LINUX中，线程是最小的执行单位，进程是最小的分配资源单位查看指定线程的LWP号命令：ps -Lf pid 线程优点：提高程序并发性开销小数据...

Linux下C编程学习1---进程、线程【图】

工作中刚开始接触Linux,基本上编程练手就从多线程Demo开始。首先由于对于进程、线程这些基本概念进行了简单的认知。1.程序的认识程序：硬盘中的二进制文件　　通常意义上就是我们电脑本地保存的一些文件。比如我电脑上安装好了一个QQ程序，现在它就躺在我的电脑硬盘中，我没有去启动它。这时就叫做一个程序。2.进程的认识进程：加载到内存中的二进制文件 + PCB　　现在我运行QQ，计算机会将程序文件从硬盘加载到系统内存中然后执行...

Linux Shell 多线程编程【代码】

#!/bin/bash #———————————————————————————– # 此例子说明了一种用wait、read命令模拟多线程的一种技巧 # 此技巧往往用于多主机检查，比如ssh登录、ping等等这种单进程比较慢而不耗费cpu的情况 # 还说明了多线程的控制 #———————————————————————————–function a_sub { # 此处定义一个函数，作为一个线程(子进程) sleep 3 # 线程的作用是sleep 3s }tmp_fifofile="...

操作系统概念4.11linux下线程的创建【代码】

4.11 Fibonacci序列是一组：0,1,1,2,3,5,8,…… fib0=0; fib1=1; fibn=fibn-1+fibn-2; 使用phtread多线程编程程序来生成Fibonacci序列。程序应该这样工作：用户运行程序时，在命令行输入要产生Fibonaci序列数，然后程序创建一个新的线程来产生Fibonacci数，把这个序列放到线程共享的数据中（数组可能是一种最方便的数据结构）。当线程执行完成后，父线程将输出子线程产生的序列。由于在子线程结束前，父线程不能开始输出Fibonacci序...

Linux下面基于TCP多线程聊天室（服务器）【代码】

接上篇博文，本文是服务器端的实现，主要实现的功能，就是现实客户端的连接，转发客户端发送的消息，以及客户端掉线提示等功能，同时可以在这这上面扩展和TCP以及线程相关的功能木块。tcpreceive.h 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20#ifndef TCPRECEIVE_H#define TCPRECEIVE_H#define BUFFSIZE 2048#define listen_max 5intcond;intrscond;typedefstructTCP_rcv_arg{char*local_addr;inttcp_port;}TCP_rcv_arg_t...

Linux中的线程

线程的概念线程是程序执行时的最小单位，即CPU调度和分派的基本单位，一个进程可以由多个线程组成，同一个进程中的多个线程之间共享此进程的所有资源，每个线程有自己的堆栈和局部变量。线程由CPU独立调度执行，在多CPU环境下就允许多个线程同时运行。同样多线程也可以实现并发操作，每个请求分配一个线程来处理。线程有四方面特点：1.线程有独立的堆栈段，共享地址空间，开销较小，切换速度较快。 2.线程间的通信机制比较方便。 3...

Linux下的多线程编程

1 引言线程（thread）技术早在60年代就被提出，但真正应用多线程到操作系统中去，是在80年代中期，solaris是这方面的佼佼者。传统的 Unix也支持线程的概念，但是在一个进程（process）中只允许有一个线程，这样多线程就意味着多进程。现在，多线程技术已经被许多操作系统所支持，包括Windows也包括Linux。为什么有了进程的概念后，还要再引入线程呢？使用多线程到底有哪些好处？什么的系统应该选用多线程？我们首先必须回...

Linux线程同步---信号量【代码】

首先讲一下线程同步信号量的几个关键步骤！1、定义并初始化信号量。　　(1) sem_t bin_sem;　　(2) res = sem_init(&bin_sem,0,0);　　详细步骤可以查看man帮助页面2、使用信号量　　(1) 信号量加1操作。sem_post(&bin_sem);　　(2) 信号量等待并减1操作。sem_wait(&bin_sem); 　　初始化后一般处于等待状态，执行某个操作后加1，而另个一个操作执行前进行等待操作。如果有多个线程，通常是一个线程进行加1操作，另外一个行程处...

Linux 线程实现机制分析(转载)【代码】

自从多线程编程的概念出现在 Linux 中以来，Linux 多线应用的发展总是与两个问题脱不开干系：兼容性、效率。本文从线程模型入手，通过分析目前 Linux 平台上最流行的 LinuxThreads 线程库的实现及其不足，描述了 Linux 社区是如何看待和解决兼容性和效率这两个问题的。一.基础知识：线程和进程按照教科书上的定义，进程是资源管理的最小单位，线程是程序执行的最小单位。在操作系统设计上，从进程演化出线程，最主要的目的就是更好...

LINUX多线程（一）（创建和退出）【图】

1. Linux多线程概述1.1. 概述进程是系统中程序执行和资源分配的基本单位。每个进程有自己的数据段、代码段和堆栈段。这就造成进程在进行切换等操作时都需要有比较负责的上下文切换等动作。为了进一步减少处理器的空转时间支持多处理器和减少上下文切换开销，也就出现了线程。线程通常叫做轻量级进程。线程是在共享内存空间中并发执行的多道执行路径，是一个更加接近于执行体的概念，拥有独立的执行序列，是进程的基本调度单元，每个...

【转】linux下C语言使用线程池（附带编码）【代码】

原文链接：linux下C语言使用线程池（附带编码） - china_sky - 博客频道 - CSDN.NEThttp://blog.csdn.net/feige2008/article/details/7827390 使用一个东西，我们要明白为什么使用它，如何使用它，使用它能达到什么效果在写本文章时，我也借鉴了网上的部分资源，因为是之前很早搜索到的资料无法追踪源头，所以在此不再写来源，谨感谢各位大神。1 使用线程池的原因通常使用多线程都是在需要的时候创建一个新的线程，然后执行任务...

Linux内核架构读书笔记 - 2.4.3 启动新线程【代码】【图】

execve 启动新程序execve 实现　　系统相关　　　　系统无关　　sys_execve - > do_execve　　do_execve 定义1 * 2 * sys_execve() executes a new program. 3 */ 4int do_execve(char * filename, 5char __user *__user *argv, 6char __user *__user *envp, 7struct pt_regs * regs)　　do_execve 执行流程图　　　　首先打开内核文件，具体可见第八章　　　　bprm_init　　　　　　mm_alloc 生成新的mm_struct 实例管理进程...

linux c++ 多线程【五】【代码】【图】

看完了APUE第三版的Chapter11 Threads，跟着书上的demo走了一遍，并且参考了这个blog（http://www.cnblogs.com/chuyuhuashi/p/4447817.html）的非常好的example。下面的内容就是看书过程中记录的，可以作为一个参考，但决不能代替看APUE原著。本来想在自己的mac上跑（毕竟也叫unix系统），后来发现mac上有些pthread的库支持的不全（比如，没有barrier），就改到了centos server上跑。（一）Thread Identification　　1. 线程的id只...

LINUX - 最热教程

Xrdp - 通过Windows的RDP连接Linux远程...VMware中Linux虚拟机挂载主机共享文件夹...Linux双网卡配置虚拟机下Linux安装好Nginx后，宿主机无...linux下安装postgresql并配置远程图形桌...Linux命令--exportfs命令详解 linux 终端printf打印显示乱码问题修正 Linux下Shell的for循环语句N种写法 Linux下创建nginx脚本-start、stop、re...SUSELinux安装MySQL

首页 / LINUX / Linux_线程池

Linux_线程池

内容导读

内容图文

内容总结

内容备注

内容手机端

【Linux_线程池】教程文章相关的互联网学习教程文章

Linux多线程实例练习 - pthread_cancel()【代码】

linux shell 多线程执行程序【代码】

Linux多线程实现及线程同步函数分析【代码】

Linux下C编程学习1---进程、线程【图】

Linux Shell 多线程编程【代码】

操作系统概念4.11linux下线程的创建【代码】

Linux下面基于TCP多线程聊天室（服务器）【代码】

Linux中的线程

Linux下的多线程编程

Linux线程同步---信号量【代码】

Linux 线程实现机制分析(转载)【代码】

LINUX多线程（一）（创建和退出）【图】

【转】linux下C语言使用线程池（附带编码）【代码】

Linux内核架构读书笔记 - 2.4.3 启动新线程【代码】【图】

linux c++ 多线程【五】【代码】【图】

LINUX - 相关标签

LINUX - 最新教程

LINUX - 最热教程