问题分析 思考：应用网站架构的衍化过程中，应用最新的框架和工具技术固然是最优选择；但是，如果能在现有的框架的基础上提出简单可依赖的解决方案，未尝不是一种提升自我的尝试。 解决：问题一：要求日志最好入库；但是，直接入库mysql确实扛不住，批量入库没有问题，done。【批量入库和直接入库性能差异参考文章】问题二：批量入库就需要有高并发的消息队列，决定采用redis list 仿真实现，而且方便回滚。问题三：日志量毕竟大，...
Events事件 Queue队列 1、进程与线程的概念 程序并不能单独运行，只有将程序装载到内存中，系统为它分配资源才能运行，而这种执行的程序就称之为进程。程序和进程的区别就在于：程序是指令的集合，它是进程运行的静态描述文本；进程是程序的一次执行活动，属于动态概念。 在多道编程中，我们允许多个程序同时加载到内存中，在操作系统的调度下，可以实现并发地执行。正是这样的设计，大大提高了CPU的利用率。进程的出现让每个用户...
1.应用和静态资源分离刚开始的时候应用和静态资源是保存在一起的，当并发量达到一定程度的时候就需要将静态资源保存到专门的服务器中，静态资源主要包括图片、视频、js、css和一些资源文件等，这些文件因为没有状态所以分离比较简单，直接存放到响应的服务器就可以了，一般会使用专门的域名去访问。通过不同的域名可以让浏览器直接访问资源服务器而不需要再访问应用服务器了。架构图如下：第二步访问CDN的DNS服务器是应为CNAME记录...
消息队列 干啥的： 将消息放进一个队列中，其他系统可以拿到消息（数据） 场景： 出现在分布式服务器上，例如秒杀系统 优点： 解耦：将消息放进一个队列中，其他系统可以拿到消息（数据） 异步：将消息（数据）写入到消息队列，通过异步处理后面并行的操作；不将数据直接存在数据库中，放在消息队列中，提高响应。 削峰/限流：将用户的请求放进消息队列，服务器根据自己能处理的请求数从消息队列中拿任务，（后面不确定）避免MySQL...
问题分析思考：应用网站架构的衍化过程中，应用最新的框架和工具技术固然是最优选择；但是，如果能在现有的框架的基础上提出简单可依赖的解决方案，未尝不是一种提升自我的尝试。解决：问题一：要求日志最好入库；但是，直接入库mysql确实扛不住，批量入库没有问题，done。问题二：批量入库就需要有高并发的消息队列，决定采用redis list 仿真实现，而且方便回滚。问题三：日志量毕竟大，保存最近30条足矣，决定用php写个离线统计和...
问题分析思考：应用网站架构的衍化过程中，应用最新的框架和工具技术固然是最优选择；但是，如果能在现有的框架的基础上提出简单可依赖的解决方案，未尝不是一种提升自我的尝试。解决：问题一：要求日志最好入库；但是，直接入库mysql确实扛不住，批量入库没有问题，done。问题二：批量入库就需要有高并发的消息队列，决定采用redis list 仿真实现，而且方便回滚。问题三：日志量毕竟大，保存最近30条足矣，决定用php写个离线统计和...
消息队列 1、为什么使用消息队列？消息队列有什么优点和缺点？Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么优点和缺点？ 2、如何保证消息队列的高可用？ 3、如何保证消息不被重复消费？或者说，如何保证消息消费的幂等性？ 4、如何保证消息的可靠性传输？或者说，如何处理消息丢失的问题？ 5、 如何保证消息的顺序性？ 6、如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？有几百万消息持续积压几小时，说说...
本节内容Gevent协程 Select\Poll\Epoll异步IO与事件驱动 Python连接Mysql数据库操作 RabbitMQ队列 Redis\Memcached缓存 Paramiko SSH Twsited网络框架 引子 到目前为止，我们已经学了网络并发编程的2个套路， 多进程，多线程，这哥俩的优势和劣势都非常的明显，我们一起来回顾下 协程 协程，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程。 协程拥有自己的寄存器上下文和栈。协程调度...
中间件 什么是中间件 用户量增加时对应用程序做横向扩展的架构趋势，比如：MySQL读写分离或对MySQL表进行横向和纵向拆分。即将应用程序的单个节点拆分成多个节点，用户登录到不同节点后产生的连接session，通过采用中间一个共享的介质去存储多节点的会话。 企业级应用中常用的中间件主要是缓存和消息队列这两类，原因有以下几点： 随着业务规模增大，单体应用无法满足业务场景需求。用户数量剧增，单凭数据库无法抗住并发压力。业务...