Mudo C++网络库第三章学习笔记

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Mudo C++网络库第三章学习笔记，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含8811字，纯文字阅读大概需要13分钟。

内容图文

多线程服务器的适用场合与常用编程模型

进程间通信与线程同步;
以最简单规范的方式开发功能正确、线程安全的多线程程序;
多线程服务器是指运行在linux操作系统上的独占式网络应用程序;
不考虑分布式存储, 只考虑分布式计算;

进程与线程

进程(process)是操作系统里最重要的两个概念之一(另一个是文件), 粗略的讲, 一个进程是"内存中正在运行的程序";
每个进程有自己独立的地址空间(adress space), "在同一个进程"还是"不在同一个进程"是系统功能划分的重要决策点;
把进程比喻成人, 电话谈只能通过周期性的心跳来判断对方是否还活着;
- 容错, 万一有人突然死了;
- 扩容, 新人中途加进来;
- 负载均衡, 把甲的活挪给乙做;
- 退休, 甲要修复bug, 先别派新任务, 等他做完手上的事情就把他重启等等各种场景, 十分便利;
线程的特点是共享地址空间, 从而可以高效地共享数据;
如果多个进程大量共享内存, 等于是把多进程程序当成多线程来写, 掩耳盗铃;
"多线程"的价值, 是为了更好地发挥多核处理器(multi-cores)的效能;
单核用状态机的思路去写程序是最高效的;

单线程服务器的常用编程模型

I/O模型, 客户端/服务器设计范式;
- 用得最广的是"non-blocking IO + IO multiplexing"这种模型(非阻塞IO+IO多路复用), 即Reactor模式;
  - lighttpd, 单线程服务器(Nginx与之类似, 每个工作进程都有一个eventloop事件循环);
  - libevent, libev;
  - ACE, Poco C++ libraries;
  - Java NIO, 包括Apache Mina 和 Netty;
  - POE(Perl);
  - Twisted(Python);
- "non-blocking IO + IO multiplexing"这种模型(非阻塞IO+IO多路复用)中, 程序的基本结构是一个事件循环(event loop), 以事件驱动(event-driven)和事件回调的方式实现业务逻辑;
- select/poll有伸缩性方面的不足, Linux下用epoll来进行替换;
- Reactor模型的优点很明显, 编程不难, 效率也不错;
  - 不仅可以用于读写socket, 连接的建立(connect/accept)甚至DNS解析都可以用非阻塞方式进行;
  - 以提高并发度和吞吐量(throught), 对于IO密集的应用是个不错的选择;
  - lighttpd内部的fdevent结构十分精妙, 值得学习;
- 基于事件驱动的编程模型也有其本质的缺点, 它要求事件回调函数必须是非阻塞的;
- 对于涉及网络IO的请求响应式协议, 它容易割裂业务逻辑, 使其散布于多个回调函数中, 相对不容易理解和维护;

多线程服务器的常用编程模型

大概有几种:
- 每请求创建一个线程, 使用阻塞式IO操作; 可惜伸缩不佳;
- 使用线程池, 同样使用阻塞式IO操作, 这是提高性能的措施;
- 使用non-blocking IO + IO multiplexing; 即Java NIO的方式;
- Leader/Follower等;
默认情况下, 使用non-blocking IO + IO multiplexing模式来编写多线程C++网络服务程序;
- 线程数目基本固定, 可以在程序启动的时候设置, 不会频繁创建与销毁;
- 可以很方便地在线程间调配负载;
- IO事件发生的线程是固定的, 同一个TCP链接不必考虑事件并发;
- Eventloop代表了线程的主循环, 需要让哪个线程干活, 就把timer或IO channel(如TCP连接)注册到哪个线程的loop里即可;
多线程程序对event loop提出了更高的要求, 那就是线程安全;
- 多线程的Reactor;

线程池

对于没有IO光有计算任务的线程, 使用event loop有点浪费, 一种补充方案是用blocking queue实现的任务队列(TaskQueue);
BlockingQueue
无界的BlockingQueue和有界的BoundedBlockingQueue;
- Intel Threading Building Blocks里的concurrent_queue
推荐模式:
- 推荐的C++多线程服务器模式为: one(event) loop per thread + thread pool;
- event loop(也叫IO loop)用作IO multiplexing, 配合non-blocking IO和定时器;
- thread pool用来做计算, 具体可以是任务队列或是生产者消费者队列;
- 写这种方式的服务器程序, 需要一个优质的基于Reactor模式的网络库来支撑, muduo正是这样的网络库;

进程间通信只用TCP

IPC(进程间通信)主要有: 匿名管道(pipe), 有名管道(FIFO), POSIX消息队列, 共享内存, 信号(signals), 套接字(sockets), 信号量(semaphore);
同步原语(synchronization primitives): 互斥量(mutex), 条件变量(condition variable), 读写锁(reader-writer lock), 文件锁(record locking), 信号量(semaphore);
贵精不贵多;
TCP是双向的, Linux的pipe是单向的;
pipe有一个经典的应用场景, 那就是写Reactor/event loop时用来异步唤醒select(或等价的poll/epoll_wait)调用;
TCP port由一个进程独占, 且操作系统会自动回收(listening port和已建立连接的TCP socket都是文件描述符, 在进程结束时操作系统会关闭所有文件描述符);
- 快速failover(故障容错), 应用层的心跳也必不可少;
TCP协议的一个天生的好处是"可记录, 可重现";
TCP连接是可再生的, 连接的任何一方都可以退出再启动, 重建连接之后就能继续工作, 对开发牢靠的分布式系统意义重大;
TCP这种字节流(byte stream)方式通信, 会有marshal/unmarshal(编码/解码)的开销;
- 这要求我们选用合适的消息格式(准确地说是wire format-有线格式), 推荐 Google Protocol Buffers;
TCP的local吞吐量一点都不低;
TCP是字节流, 只能顺序读取, 有写缓冲;
- 共享内存是消息协议, a进程填好一块内存让b进程来读, 基本是"stop wait(停等)"方式;
- 要将这两种方式揉到一个程序里, 需要建立一个抽象层, 封装两个IPC;
  - 这会增加测试的复杂度(因为不透明);
- 生产环境下的数据库服务器往往是独立的高配置服务器, 一般不会同时运行其他占资源的程序;
TCP是个数据流协议, 除了直接使用它通信外, 还可以在此之上构建RPC/HTTP/SOAP之类的上层通信协议;
除点对点的通信之外, 应用级的广播协议也是非常有用的, 可方便地构建可观可控的分布式系统;

分布式系统中使用TCP长连接通信

分布式的软件设计和功能划分一般以"进程"为单位;
分布式系统采用TCP长连接通信;
必要时可以借助多线程来提高性能;
对整个分布式系统, 要做到能scale out, 即享受增加机器带来的好处;
使用TCP长连接的好处有两点:
- 容易定位分布式系统中的服务器之间的依赖关系;
  - netstat -tpna | grep : port能立即列出客户端地址;
- 二是通过接收和发送队列的长度也较容易定位网络或程序故障;

多线程服务器的适用场合

开发服务器端程序的一个基本任务是处理并发连接, 现在服务端网络编程处理并发连接主要有两种方式:
- 当线程很廉价时, 一台机器上可以创建远高于CPU数目的线程;
- 当线程很宝贵时, 一台机器上只能创建与CPU数目相当的线程;
必须用单线程的场合:
- 程序可能fork;
- 限制程序的CPU占用率;
一个程序fork之后, 一般有两种行为:
- 立刻执行exec(), 变身为另一个程序(负责启动job的守护进程);
- 不调用exec(), 继续运行当前程序;
  - 要么通过共享的文件描述符与父进程通信, 协同完成任务;
  - 要么接过父进程传来的文件描述符, 完成独立的任务;
只有看门狗线程必须坚持单线程, 其他的均可替代为多线程程序(从功能上讲);
单线程程序能限制程序的CPU占用率;
- 做成单线程的能避免过分抢夺系统的计算资源;
单线程程序的优缺点:
- 单线程程序的优势: 简单, 一个基于IO multiplexing的event loop;
- event loop有一个明显的缺点, 它是非抢占式的(non-preemptive), 有点类似优先级反转;
  - 这个缺点可以用多线程来克服, 这也是多线程的主要优势;
多线程一般没有性能上的优势:
- 用很少的CPU负载就能让IO跑满, 或者用很少的IO流量就能让CPU跑满, 那么多线程就没有啥用处;
适用多线程程序的场景:
- 提高响应速度, 让IO和计算互相重叠, 降低latency(延迟)；
- 虽然多线程不能提高绝对性能, 但多线程能提高平均响应性能;
- 一个程序要想做多线程, 大致要满足:
  - 有多个CPU可用;(单核机器上多线程没有性能优势, 或许能简化并发业务逻辑的实现);
  - 线程间有共享数据, 即内存中的全局状态, 如果没有共享数据, 用运行多个单线程的进程就行;
  - 提供非均质的服务; 事件的响应有优先级的差异, 用专门的线程来处理优先级高的事件, 防止优先级反转;
  - latency和throughout同样重要, 不是逻辑简单的IO bound或CPU bound程序(程序有相当的计算量);
  - 利用异步操作;
  - 能scale up, 一个好的线程程序能享受增加CPU数目带来的好处;
  - 具有可预测的性能, 线程数一般不随负载变化;
  - 多线程能有效地划分责任和功能, 让每个线程的逻辑比较简单, 任务单一, 便于编码;
线程的分类:
- IO线程, 这类线程的主循环是IO multiplexing, 阻塞地等在select/poll/epoll_wait系统调用上;
- 计算线程, 这类的主循环是blocking queue, 阻塞地等待在condition variable上, 这类线程主要位于thread pool中;
- 第三方库所用的线程, 比如logging, 或database connection;
学习多线程编程还有一个好处, 即训练异步思维, 提高分析并发事件的能力;
- 运行在多台机器上的服务进程本质上是异步的;
- 熟悉多线程编程的话, 很容易就能发现分布式系统在消息和事件处理方面的race condition;

多线程服务器的适用场合

32位Linux, 一个进程的地址空间是4GB, 其中用户态能访问3GB左右, 而一个线程的默认栈(stack)大小是10MB, 一个进程大概能开300个线程;
所谓基于事件指的是用IO multiplexing event loop的编程模型, 又称Reactor模式;
单个的event loop处理1万个并发长连接并不稀罕, 一个multi-loop的多线程程序应该能轻松支持5万并发连接;
thread per connection 不适合高并发场合, 其scalability不佳, one loop per thread 的并发度足够大, 且与CPU数目成正比;
多线程能提高吞吐量吗?
- 对于计算密集型服务, 不能;
- 为了在并发请求数很高时也能保持稳定额吞吐量, 我们可以用线程池, 线程池的大小应该满足"阻抗匹配原则";
- 线程池也不是万能的, 如果响应一次请求需要做比较多的计算可以用线程池;
- 如果一次请求响应中, 主要时间是等待IO, 那么为了进一步提高吞吐量, 往往要用其他编程模型, 比如Proactor;
多线程能降低响应时间么?
- 如果设计合理, 充分利用多核资源的话, 多线程可以降低响应时间, 在突发(burst)请求时效果尤为明显;
多线程程序如何让IO和计算互相重叠, 降低latency(延迟)?
- 把IO操作(通常是写操作)通过BlockingQueue交给别的线程去做, 自己不必等待;
为什么第三方库往往要用自己的线程?
- event loop模型没有标准实现;
- libmemcached只支持同步操作;
- MySQL的官方C API不支持异步操作;
什么是线程池大小的阻抗匹配原则?
- 线程池的经验公式T=C/P;
- 考虑操作系统能灵活、合理地调度sleeping/writing/running线程;
除了你推荐的Reactor+thread pool, 还有别的non-trivial多线程编程模型吗?
- 有, Proactor, 如果一次请求响应中要和别的进程打多次交道, 那么Proactor模型往往能做到更高的并发度;
- Proactor模式依赖操作系统或库来高效地调度这些子任务, 每个子任务都会阻塞, 因此能用比较少的线程达到很高的IO并发度;
- Proactor能提高吞吐, 但不能降低延迟;
- Proactor模式让代码非常破碎, 在C++中使用Proactor是很痛苦的;
多线程的进程和多个相同的单线程进程如何取舍?
- 在其他条件相同的情况下, 可以根据工作集(work set)的大小来取舍;
- 工作集是指服务程序响应一次请求访问内存大小;
- 如果工作集较大, 那么就用多线程, 避免CPU cache换入换出, 影响性能;否则, 就用单线程多进程, 享受单线程编程的便利;
- 线程不能减少工作量, 即不能减少CPU时间;

内容总结

以上是互联网集市为您收集整理的Mudo C++网络库第三章学习笔记全部内容，希望文章能够帮你解决Mudo C++网络库第三章学习笔记所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/852628.html

来源：【匿名】

【上一篇】C++笔记-数组指针/二维数组转换指针【下一篇】c++有个库什么的吗?

更多 ►

【Mudo C++网络库第三章学习笔记】教程文章相关的互联网学习教程文章

1、cons可以限定一个变量，是的它的值不能被改变2、默认情况下，const对象仅在文件内有效。编译器在编译时，会把程序中所有用到const变量的地方替换成const的初始值，因此每个用到const变量的文件中都要有const变量的定义，为了支持这一用法，同时避免同一变量的多次定义，const对象被设定为仅在文件内有效，当多个文件中出现了同名的const对象时，等同于分别在每个文件中定义了独立的变量。如果要在不同的文件中使用同一个...

c++学习笔记—单链表基本操作的实现【图】

用c++语言实现的单链表基本操作，包括单链表的创建（包括头插法和尾插法建表）、结点的查找、删除、排序、打印输出、逆置、链表销毁等基本操作。IDE：vs2013具体实现代码如下： [cpp] view plaincopy #include "stdafx.h" #include <malloc.h> #include <iostream> using namespace std; typedef struct Lnode { int data; struct Lnode *next; }*node; node head_creat() //头插法建立单链表 { node hea...

C++并发编程学习笔记<2> 线程管理

线程管理基本线程管理启动一个线程 <1>最简单的一种类型void do_some_work();std::thread my_thread(do_some_work); <2>函数对象的形式#include<iostream> #include<thread> using namespace std;class Say_hello { public:void operator()(){cout<<"hello";} };int main() {Say_hello hello;std::thread t(hello);t.join();return 0; } 一旦开启一个线程，你需要明确地决定是否要等它结束 (通过join()函数 )，或让它自己后台...

《C++ Primer Plus》15.5 类型转换运算符学习笔记

C++相对C更严格地限制允许的类型转换，并添加4个类型转换运算符，是转换过程更规范：* dynamic_cast；* const_cast；* static_cast；* reinterpret_cast。【dynamic_cast运算符】假设High和Low是两个类，而ph和pl的类型分别是High*和Low*，则仅当Low是High的可访问基类（直接或间接）时，下面的语句才将一个Low*指针赋给pl：pl = dynamic_cast<Low *> ph;否则，该与据将空指针赋给pl。通常，该运算符的语法如下：dynamic_cast < ty...

我的C++学习笔记(第02天)

昨天,psv到手,玩的不可开交,于是没有更新,反正是周末休息休息一下啦...话不多说...go on...笔记:第02章变量和数据类型2.1 常量　　常量是在程序运行过程中不变的量,变量是则可发生变化的值."先声明,后使用"2.1.1 声明常量　　* const常量(尽量使用)const <类型名> <变量名> = <表达式>;　　* 宏常量　　　　#define <宏名> <常量>　　　　宏名可以是简单的字符名,也可以是带有参数的函数名;　　　　常量可以是数值,字符串和函数...

C++反汇编学习笔记（五）各种算数运算的工作形式（3）【图】

1、自增、自减　　很简单，没什么可解释的，注意一下前缀和后缀运算的区别C++源码Debug版Release版#include <iostream>using namespace std;int main(){ int a, b; cin >> a >> b; //自增 a = ++b + 10; cout << a; a = (b++ )- 10; cout << a; //自减 a = --b - 10; cout << a; a = (b--) - 10; cout << a; system(...

《C++Primer》第五版习题解答--第四章【学习笔记】【代码】【图】

【C++Primer】第五版习题解答--第四章【学习笔记】ps:答案是个人在学习过程中书写，可能存在错漏之处，仅作参考。作者：cosefy Date: 2020/1/11第四章：表达式练习4.6：判断奇数：if num%2!=0练习4.9：const char* cp = "hello world"; if (cp && *cp)if语句判断cp表示的字符串以及* cp指向的第一个字符是否都为空。练习4。10：实现：为while循环写一个条件，使其从标准输入中读取整数，遇到42时停止。#include<iostream> using ...

C++ GUI Qt4学习笔记05

C++ GUI Qt4学习笔记05 qtc++正则表达式QIntValidator -- 只让用户输入整数QDoubleValidator -- 只让用户输入浮点数QRegExpValidator -- 只让用户按照正则表达式定义好的样式进行输入本章讲解如何使用Qt开发自定义窗口部件。通过对一个已经存在的Qt窗口部件进行子类化或者直接对QWidget进行子类化，就可以创建自定义窗口部件。集成自定义窗口到Qt设计师中，这样就可以像使用内置的Qt窗口部件一样来使用它们。...

c++ 11学习笔记--智能指针【代码】

C++ 98的 std::auto_ptr已经被彻底遗弃了，取而代之的是unique_ptr、shared_ptr与weak_ptr。大部分时候我们自己手动申请内存方式内存都是没有问题的，问题是如果程序很大了之后，一个复杂的对象，多次拷贝的代价非常高，很多地方都会使用到，只存在一份拷贝显然是最好的，这个时候对象生命周期的管理就会很复杂，所以c++引入了智能指针。任何事物都会有两面性。 Shared_ptr摘录于Effective C++, 3rd Edition, Item 17: 在 standal...

《面向对象程序设计——C++语言描述》学习笔记（二）

第二章从C到C++ 2.1main函数1.C++中需要写int main（）不能只是main（）2.main()函数里面最后有一个return 0；3.main（）被启动代码调用，而启动代码是编译器添加到程序中的，是程序和操作系统的桥梁。4.C++中main（）中的括号空着与void是等效的，都代表不接受参数，在C中是不等效的，括号中空着没有参数代表对是否接受参数保存沉默。2.2 预处理和iostream文件1.#include <iostream>这句预处理在源代码编译之前把iostream文件的内...

C++内存管理学习笔记（5）【代码】【图】

/****************************************************************//* 学习是合作和分享式的！/* Author：Atlas Email：wdzxl198@163.com /* 转载请注明本文出处：* http://blog.csdn.net/wdzxl198/article/details/9112123/****************************************************************/上期内容回顾：C++内存管理学习笔记（4） 2.1-2.2 RAII规则（引入） 2.3 smart pointer 2....

c++学习笔记(3)

1.Triangular t=8;这句是调用单参数的构造函数2.copy constructor VS copy assignment operator3.const修饰符紧接于参数列表之后，而且函数声明和函数定义比较同时指定const。const方法中如果修改了类成员会报错。4.非const对象可以调用非const方法和const方法，但const对象就只能调用const方法，不能调用非const方法。5.非成员函数不容许使用const修饰符。 6.const也可以用来重载 int readIndex() const; int readIndex(); 7.cons...

C++11学习笔记

C++11<?xml:namespace prefix = "o" />1.long long新类型2.列表初始化 int t=0; int t={0}; int t(0); int t{0}; 注意：如果我们使用列表初始化有丢失信息的风险，则编译器报错 long double ld=3.1415926536; int a{ld},b={ld};//错误 int c(ld),d=ld;//正确，会丢失数据3.空指针nullptr int *p1=nullptr; int *p2=0; int *p3=NULL;//尽量避免4.constexpr类型...

C++ 学习笔记之 STL 队列【代码】

一. 引言　　在算法以及数据结构的实现中，很多地方我们都需要队列（遵循FIFO，先进先出原则）。　　为了使用队列，我们可以自己用数组来实现队列，但自己写太麻烦不说，并且还很容易出错。　　好在C++的STL（标准模板库）为我们实现了一个强大的队列,它包含在头文件<queue>中。二. queuea) 构造函数下面用例子来展示queue的构造函数 deque<int> deck(3,100);list<int> mylist(2,100);queue<int> first;//默认构造queue...

C++学习笔记——虚函数【代码】【图】

基本概念虚函数是在某基类中声明为 virtual 并在一个或多个派生类中被重新定义的成员函数，用法格式为：virtual 函数返回类型函数名（参数表） {函数体}；C++中用它来实现多态性，通过指向派生类的基类指针或引用，访问派生类中同名覆盖成员函数。虚函数实现机制虚函数是如何做到因对象的不同而调用其相应的函数的呢？现在我们就来剖析虚函数。我们先定义两个类class A{//虚函数示例代码 public: virtual voidfun(){cout<<1<<endl...

C++ - 技术教程分类

C++ 教程 C++ 简介 C++ 基本语法 C++ 注释 C++ 数据类型 C++ 变量类型 C++ 变量作用域 C++ 常量 C++ 修饰符类型 C++ 存储类 C++ 运算符 C++ 循环 C++ 判断 C++ 函数 C++ 数字 C++ 数组 C++ 字符串 C++ 指针 C++ 引用 C++ 日期 & 时间 C++ 基本的输入输出 C++ 数据结构 C++ 类 & 对象 C++ 继承 C++ 重载运算符和重载函数 C++ 多态 C++ 数据抽象 C++ 数据封装 C++ 接口（抽象类） C++ 文件和流 C++ 异常处理 C++ 动态内存 C++ 命名空间 C++ 模板 C++ 预处理器 C++ 信号处理 C++ 多线程 C++ Web 编程 C++ 标准库 C++ 有用的资源 C++ 实例 c++ 全部

C++ - 最热教程

C++通过共享内存实现进程间通信（windo...C++基于EasyX制作贪吃蛇游戏（一）文档 C++中的分治算法及常见题目汇总【C++】stringstream的str() 和 string...c++中内置函数qsort（快速排序）和bsea...VS2019 C++创建一个简单项目demo [C++]VS2015用动态链接(MD/MDd)方式编译...C/C++编程学习 - 第15周 ⑥ 药房管理万维考试系统检测不到VC++ 6.0环境解决...C/C++ QT自定义对话框与MID窗体

首页 / C++ / Mudo C++网络库第三章学习笔记

Mudo C++网络库第三章学习笔记

内容导读

内容图文

多线程服务器的适用场合与常用编程模型

进程与线程

单线程服务器的常用编程模型

多线程服务器的常用编程模型

线程池

进程间通信只用TCP

分布式系统中使用TCP长连接通信

多线程服务器的适用场合

多线程服务器的适用场合

内容总结

内容备注

内容手机端

【Mudo C++网络库第三章学习笔记】教程文章相关的互联网学习教程文章

C++学习笔记 <const限定词>

c++学习笔记—单链表基本操作的实现【图】

C++并发编程学习笔记<2> 线程管理

《C++ Primer Plus》15.5 类型转换运算符学习笔记

我的C++学习笔记(第02天)

C++反汇编学习笔记（五）各种算数运算的工作形式（3）【图】

《C++Primer》第五版习题解答--第四章【学习笔记】【代码】【图】

C++ GUI Qt4学习笔记05

c++ 11学习笔记--智能指针【代码】

《面向对象程序设计——C++语言描述》学习笔记（二）

C++内存管理学习笔记（5）【代码】【图】

c++学习笔记(3)

C++11学习笔记

C++ 学习笔记之 STL 队列【代码】

C++学习笔记——虚函数【代码】【图】

网络 - 相关标签

C++ - 技术教程分类

C++ - 最新教程

C++ - 最热教程