文章目录 2PC3PCPaxos基础流程优化RaftZAB消息广播崩溃恢复最近结束了面试以后，对面试中问到的分布式问题还是比较有兴趣的。因此希望能够进一步学习分布式的有关内容。本文主要是整理了分布式系统中使用到的分布式算法。分布式的一个大的问题就是如何在多个集群之间完成协调一致，也就是事务的原子性。并且我们还希望有高可用高性能的实现，尽量可以避免单点问题。因此往往都会设计到主节点的选择算法。2PC 2PC是Two-Phase Commit...
一、简介 1 粒子群算法的概念 粒子群优化算法(PSO：Particle swarm optimization) 是一种进化计算技术（evolutionary computation）。源于对鸟群捕食的行为研究。粒子群优化算法的基本思想：是通过群体中个体之间的协作和信息共享来寻找最优解． PSO的优势：在于简单容易实现并且没有许多参数的调节。目前已被广泛应用于函数优化、神经网络训练、模糊系统控制以及其他遗传算法的应用领域。 2 粒子群算法分析 2.1基本思想 粒子群算法...
文章目录1.概述 2.为什么 3.要求3.1 软件要求 3.2 机器要求4.区别4.1 UUID 4.2 MySQL数据库自增ID 4.3 Redis数据库自增ID5. 雪花算法5.1 核心算法 5.2 源码6. 实战6.1 糊涂工具包6.1.1 hutool工具类7.小结
1.1 Hash算法应用场景 Hash算法在分布式集群架构中的应用场景 Hash算法在很多分布式集群产品都有应用，比如分布式集群Redis、Hadoop、ElasticEearch，MySql分库分表，Nginx负载均衡等。 主要的应用场景两个：请求的负载均衡（nginx的ip_hash策略） Nginx的IP_Hash策略可以在客户端ip不变的情况下，将其发出的请求始终路由到同一个目标服务器上，实现会话粘滞，避免session共享问题 假设： 没有IP_Hash策略，该如何实现会话粘滞？ ...
分布式id解决方案 - 雪花算法 随着业务的增长，文章表可能要占用很大的物理存储空间，为了解决该问题，后期使用数据库分片技术。将一个数据库进行拆分，通过数据库中间件连接。如果数据库中该表选用ID自增策略，则可能产生重复的ID，此时应该使用分布式ID生成策略来生成ID。 雪花算法实现 snowflake是Twitter开源的分布式ID生成算法，结果是一个long型的ID。其核心思想是：使用41bit作为毫秒数，10bit作为机器的ID（5个bit是数据中...
一、CAP理论和BASE理论理论是指导业界实现的纲领，也是提炼了多年研究的精华，在分布式一致性领域，最主要的指导理论是CAP和BASE两个。1. CAP理论CAP理论是Eric Brewer教授在2000年提出 的，是描述分布式一致性的三个维度，分别是指：（1）一致性（Consistency）每次读操作都能保证返回的是最新数据；在分布式系统中，如果能针对一个数据项的更新执行成功后，所有的请求都可以读到其最新的值，这样的系统就被认为具有严格的一致性。...
唯一ID怎么生成？在数据库的使用中，根据第二范式的设计准则：数据库中的每行必须可以被唯一的区分，因此我们经常需要生成唯一id。在RDBMS（关系数据库管理系统）时代，数据库提供序列生成器，例如oracle的sequence，mysql的increment自增长字段等。RDBMS是中心化环境（单机环境），全局唯一只需要当前机器自己说了算就行；但是在分布式环境（去中心化）下，多台主机并存，如何让他们自动生成全局不会重复的id呢？主要的解决方案有...
一致哈希算法：太简单，看图，使用了一致哈希算法后，扩容或缩容的时候，都只需要重定位环空间中的一小部分数据。也就是说，一致哈希算法具有较好的容错性和可扩展性，虚拟节点解决冷热不均的问题二阶段提交协议和 Raft 算法都需要全部节点或者大多数节点正常运行，才能稳定运行，如果需要高可用，一台也行，那么就要选择其他算法了 Gossip：就像流言蜚语一样，利用一种随机、带有传染性的方式，将信息传播到整个网络中，并在一定时...
Paxos算法在分布式领域具有非常重要的地位。但是Paxos算法有两个比较明显的缺点：1.难以理解 2.工程实现更难。 网上有很多讲解Paxos算法的文章，但是质量参差不齐。看了很多关于Paxos的资料后发现，学习Paxos最好的资料是论文《Paxos Made Simple》，其次是中、英文版维基百科对Paxos的介绍。本文试图带大家一步步揭开Paxos神秘的面纱。 Paxos是什么Paxos算法是基于消息传递且具有高度容错特性的一致性算法，是目前公认的解决分布式...
原文链接 目录 分布式一致性算法--Paxos分布式一致性算法--Paxos Paxos算法是莱斯利兰伯特(Leslie Lamport)1990年提出的一种基于消息传递的一致性算法。Paxos算法解决的问题是一个分布式系统如何就某个值（决议）达成一致。在工程实践意义上来说，就是可以通过Paxos实现多副本一致性，分布式锁，名字管理，序列号分配等。比如，在一个分布式数据库系统中，如果各节点的初始状态一致，每个节点执行相同的操作序列，那么他们最...
文章目录目录中间件一、MyCat 二、ShardingJdbc2.1 数据库需要修改部分 2.2 Spring命名空间配置 2.3 Spring Boot配置三、Redis定制分布式ID 四、源码目录 中间件MyCat 延伸之前文章继续，建议使用 CentOS7 部署MyCAT与测试 作为基础配置文件ShardingJdbc 数据库环境模型，建议使用 Linux搭建MySQL主从 基础模型，建议使用
一般情况，实现全局唯一ID，有三种方案，分别是通过中间件方式、UUID、雪花算法。方案一，通过中间件方式，可以是把数据库或者redis缓存作为媒介，从中间件获取ID。这种呢，优点是可以体现全局的递增趋势（优点只能想到这个），缺点呢，倒是一大堆，比如，依赖中间件，假如中间件挂了，就不能提供服务了；依赖中间件的写入和事务，会影响效率；数据量大了的话，你还得考虑部署集群，考虑走代理。这样的话，感觉问题复杂化了 方案二...
Paxos是一种提高分布式系统容错性的一致性算法。 1、问题描述2、提案的选定3、Paxos一致性算法的条件推荐《从 Paxos 到 ZooKeeper 分布式一致性原理与实践》书，概述讲述的更详细一点，1、问题描述 一致性算法要保证如下几点; 在被提出的提案中，只有一个会被选定。没有提案被提出时，不会有提案被选定。当某提案被选定后，进程应该可以获取被选定的提案信息。安全性需求：只有被提出的提案才能被选定。只能有一个值被选定。如果进...
阅读大概需要3分钟 附源码 [toc]前言 单体架构的服务的日子已经一去不复返了。 当前系统业务和数据存储的复杂度都在提升，分布式系统是目前使用非常普遍的解决方案。 全局唯一 ID 几乎是所有设计系统时都会遇到的，全局唯一 ID 在存储和检索中有至关重要的作用。 ID生成器 在应用程序中，经常需要全局唯一的ID作为数据库主键。如何生成全局唯一ID？ 首先，需要确定全局唯一ID是整型还是字符串？如果是字符串，那么现有的UUID就完全...
前言 开源分布式锁组件 Google Chubby 的作者 Mike Burrows 说——这个世界上只有一种一致性算法，那就是 Paxos 算法，其他的算法都是残次品。Paxos 算法虽然重要，但也复杂。 Quorum 机制 在说 Paxos 算法之前，先来看分布式系统中的 Quorum 选举算法。 在各种一致性算法中都可以看到 Quorum 机制的身影，主要数学思想来源于抽屉原理：在 N 个副本中，一次更新成功的如果有 W 个，那么我在读取数据时是要从大于 N－W 个副本中读取...