一致性哈希算法是分布式系统中常用的算法，为什么要用这个算法？比如：一个分布式存储系统，要将数据存储到具体的节点（服务器）上， 在服务器数量不发生改变的情况下，如果采用普通的hash再对服务器总数量取模的方法（如key%服务器总数量），如果期间有服务器宕机了或者需要增加服务器，问题就出来了。 同一个key经过hash之后，再与服务器总数量取模的结果跟之前的结果会不一样，这就导致了之前保存数据的丢失。因此，引入了一致性...
摘要本文将会从实际应用场景出发，介绍一致性哈希算法（Consistent Hashing）及其在分布式系统中的应用。首先本文会描述一个在日常开发中经常会遇到的问题场景，借此介绍一致性哈希算法以及这个算法如何解决此问题；接下来会对这个算法进行相对详细的描述，并讨论一些如虚拟节点等与此算法应用相关的话题。分布式缓存问题假设我们有一个网站，最近发现随着流量增加，服务器压力越来越大，之前直接读写数据库的方式不太给力了，于是...
概述分布式系统中，有一些需要使用全局唯一ID的场景，这种时候为了防止ID冲突可以使用36位的UUID，但是UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID，并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求，最初Twitter把存储系统从MySQL迁移到Cassandra，因为Cassandra没有顺序ID生成机制，所以开发了这样一套全局唯一ID生成服务。 结构snowflake的结构如下...
匠心零度 转载请注明原创出处，谢谢！缘起为什么会突然谈到分布式唯一id呢？原因是最近在准备使用RocketMQ，看看官网介绍：一句话，消息可能会重复，所以消费端需要做幂等。为什么消息会重复后续RocketMQ章节进行详细介绍，本节重点不在这里。为了达到业务的幂等，必须要有这样一个id存在，需要满足下面几个条件：同一业务场景要全局唯一。该id必须是在消息的发送方进行产生发送到MQ。消费端根据该id进行判断是否重复，确保幂等。在...
一、分布式算法 在做服务器负载均衡时候可供选择的负载均衡的算法有很多，包括： 轮循算法(Round Robin)、哈希算法(HASH)、最少连接算法(Least Connection)、响应速度算法(Response Time)、加权法(Weighted )等。其中哈希算法是最为常用的算法. 典型的应用场景是： 有N台服务器提供缓存服务，需要对服务器进行负载均衡，将请求平均分发到每台服务器上，每台机器负责1/N的服务。 常用的算法是对hash结果取余数 (hash() mod N )...
转载：http://linbingdong.com/2017/04/17/%E5%88%86%E5%B8%83%E5%BC%8F%E7%B3%BB%E5%88%97%E6%96%87%E7%AB%A0%E2%80%94%E2%80%94Paxos%E7%AE%97%E6%B3%95%E5%8E%9F%E7%90%86%E4%B8%8E%E6%8E%A8%E5%AF%BC/Paxos算法在分布式领域具有非常重要的地位。但是Paxos算法有两个比较明显的缺点：1.难以理解 2.工程实现更难。网上有很多讲解Paxos算法的文章，但是质量参差不齐。看了很多关于Paxos的资料后发现，学习Paxos最好的资料是论文《...
一般情况，实现全局唯一ID，有三种方案，分别是通过中间件方式、UUID、雪花算法。 方案一，通过中间件方式，可以是把数据库或者redis缓存作为媒介，从中间件获取ID。这种呢，优点是可以体现全局的递增趋势（优点只能想到这个），缺点呢，倒是一大堆，比如，依赖中间件，假如中间件挂了，就不能提供服务了；依赖中间件的写入和事务，会影响效率；数据量大了的话，你还得考虑部署集群，考虑走代理。这样的话，感觉问题复杂化了 ...
为了解决分布式一致性问题，产生了不少经典的分布式一致性算法，本文将介绍其中的2PC和3PC。2PC即Two-Phase Commit，译为二阶段提交协议。3PC即Three-Phase Commit，译为三阶段提交协议。? 分布式系统和分布式一致性问题? 分布式系统，即运行在多台不同的网络计算机上的软硬件系统，并且仅通过消息传递来进行通信和协调。 分布式一致性问题，即相互独立的节点之间如何就一项决议达成一致的问题。?2PC? 2PC，二阶段提交协议...
memcached的分布式正如第1次中介绍的那样， memcached虽然称为“分布式”缓存服务器，但服务器端并没有“分布式”功能。 服务器端仅包括 第2次、 第3次 前坂介绍的内存存储功能，其实现非常简单。 至于memcached的分布式，则是完全由客户端程序库实现的。 这种分布式是memcached的最大特点。memcached的分布式是什么意思？这里多次使用了“分布式”这个词，但并未做详细解释。 现在开始简单地介绍一下其原理，各个客户端的实现基本...
分布式唯一ID使用RocketMQ时,需要使用到分布式唯一ID消息可能会发生重复,所以要在消费端做幂等性,为了达到业务的幂等性,生产者必须要有一个唯一ID, 需要满足以下条件: 同一业务场景要全局唯一该ID必须是在消息的发送方进行生成发送到MQ消费端根据该ID进行判断是否重复,确保幂等性在哪里产生以及消费端进行判断做幂等性与该ID无关,此ID需要保证的特性: 局部甚至全局唯一趋势递增Snowflake算法Snowflake是Twitter开源的分布式ID生成算...
memcache的分布式memcached虽然称为“分布式”缓存服务器，但服务器端并没有“分布式”功能。服务器端仅包括内存存储功能，其实现非常简单。至于memcached的分布式，则是完全由客户端程序库实现的。这种分布式是memcached的最大特点。memcache分布式算法1. 余数分散法，就是“根据服务器台数的余数进行分散”。 求得键的整数哈希值，再除以服务器台数，根据其余数来选择服务器。在php客户端中，默认采用该算法，也可以在ini中设置M...
一个悲剧的文章，研究的东西确实比较老，但是因为这些研究，让我对分布式的底层的关系有了更加清晰的认识，也算是不枉此功。下面贴出来核心的部分。引言分布式系统中的一组进程可能会同时访问一个资源或者同时执行一个给定的函数，我们称这些资源或者函数为临界区（Critical Section），若不加控制的话，会造成资源或者环境的不一致的现象。保证任何给定时刻只允许一个进程或者给定的进程去执行临界区的算法称为互斥算法。互斥也可...
memcached 虽然称为 “ 分布式 ” 缓存服务器，但服务器端并没有 “ 分布式 ” 功能。每个服务器都是完全独立和隔离的服务。 memcached 的分布式，则是完全由客户端程序库实现的。 这种分布式是 memcached 的最大特点。 分布式原理这里多次使用了 “ 分布式 ” 这个词，但并未做详细解释。 现在开始简单地介绍一下其原理，各个客户端的实现基本相同。 下面假设 memcached 服务器有 node1 ～ node3 三台， 应用程序要保存键名为“to...
Time Clocks and the Ordering of Events in a Distributed System http://www.stanford.edu/class/cs240/readings/lamport.pdfhttp://duanple.blog.163.com/blog/static/709717672012920101343237/原文：http://www.cnblogs.com/WCFGROUP/p/5878163.html
摘要本文将会从实际应用场景出发，介绍一致性哈希算法（Consistent Hashing）及其在分布式系统中的应用。首先本文会描述一个在日常开发中经常会遇到的问题场景，借此介绍一致性哈希算法以及这个算法如何解决此问题；接下来会对这个算法进行相对详细的描述，并讨论一些如虚拟节点等与此算法应用相关的话题。分布式缓存问题假设我们有一个网站，最近发现随着流量增加，服务器压力越来越大，之前直接读写数据库的方式不太给力了，于是...