本篇文章讲的是分布式一致性算法的理解，主要是理解和整合2PC，3PC和paxos算法的： 首先我们说说分布式一致性的两个概念，一个是分布式设置不同的业务逻辑，来达到分布式的一致性，比如分布式系统收账服务系统和付账服务系统，收账表和付账表是不同的数据库，人是要付出了钱，机器收了钱，保证钱数是对的，才能保证分布式的一致性，这个应该叫分布式业务逻辑一致性，还有一种就是都是一样的数据库，只是主库和备份的关系，这个叫分...
分布式一致性 想象一下，我们有一个单节点系统，且作为数据库服务器，然后存储了一个值（假设为X）。然后，有一个客户端往服务器发送了一个值（假设为8）。只要服务器接受到这个值即可，这个值在单节点上的一致性非常容易保证：单机环境 但是，如果数据库服务器有多个节点呢？比如，如下图所示，有三个节点：a，b，c。这时候客户端对这个由3个节点组成的数据库集群进行操作时的值一致性如何保证，这就是分布式一致性问题。而Raft就...
前言 在实际的应用中，我们经常会遇到id生成问题。其中最基本的就是要保证id的唯一性。常见解决方案如下。微软公司通用唯一识别码（UUID） Twitter公司雪花算法（SnowFlake） 基于数据库的id自增其中，使用数据库进行id自增是在单机应用中使用最普遍的id生成方式，它能够完全保证id的不重复。但id的自增并不是在任何数据库都支持，这就给数据库迁移造成了麻烦。并且，数据库的解决方案在分布式环境下的只能保证单个数据库作为生产数...
分布式一致性与共识算法 UTXO 与账户余额模型 区块链技术是近几年逐渐变得非常热门的技术，以比特币为首的密码货币其实已经被无数人所知晓，但是却很少有人会去研究它们的底层技术，也就是作为一个分布式网络比特币等加密货币是如何工作的。无论是 Bitcoin、Ethereum 还是 EOS，作为一个分布式网络，首先需要解决分布式一致性的问题，也就是所有的节点如何对同一个提案或者值达成共识，这一问题在一个所有节点都是可以被信任的分布...
分布式计算 ——原理、算法与系统 Distributed Computing —— Principles, Algorithms, and System不定期更新 第一章 引言 第二章 分布式计算模型 第一章 引言 分布式系统：处理器、存储器、通信网络 1.4 与并行多处理器/多计算机系统的关系 并行系统：通过将计算任务在多个处理器之间进行分配，从而获得更高的吞吐率多处理器系统互联网络：Omega网络、蝴蝶网络图左是UMA（均匀存储器访问体系结构），右NUMA多计算机并行系统处理器...
分布式id生成算法的有很多种，Twitter的SnowFlake就是其中经典的一种。 概述 SnowFlake算法生成id的结果是一个64bit大小的整数，它的结构如下图： 1位，不用。二进制中最高位为1的都是负数，但是我们生成的id一般都使用整数，所以这个最高位固定是041位，用来记录时间戳（毫秒）。41位可以表示241?1个数字， 如果只用来表示正整数（计算机中正数包含0），可以表示的数值范围是：0 至 241?1，减1是因为可表示的数值范围是从0开始算的...
目录 一、简介 二、Redis集群环境下分布式锁有什么问题? 三、RedLock 算法一、简介 什么是分布式锁？ 分布式锁就是保证某个时刻，只能有一个进程访问共享资源。比如在分布式环境下，要保证定时调度不能重复执行、执行扣减库存等操作不能同时有两个进程在执行，这些都可以使用分布式锁来解决。 一般分布式锁，通常要满足如下特性： 1)、互斥性：同一时刻多个客户端对共享资源的访问存在互斥性；2)、防死锁：对锁设置超时时间，防止客...
分布式数据库的数据一致性管理是其最重要的内核技术之一，也是保证分布式数据库满足数据库最基本的ACID特性中的 “一致性”(Consistency)的保障。在分布式技术发展下，数据一致性的解决方法和技术也在不断的演进，本文就以作者实际研发的分布式数据库作为案例，介绍分布式数据库数据一致性的原理以及实际实现。 1.数据一致性 1.1数据一致性是什么 大部份使用传统关系型数据库的DBA在看到“数据一致性”时，***反应可能都是数据在跨...
在做HIS研发工作的时候一直想完善其数据组件，想做一个分布式的数据库支持系统。但一直以来都不清楚这个选举算法应怎么做，原来有一个叫raft的算法https://www.cnblogs.com/justinli/p/raft.html 摘抄结尾处的数据安全的说明 四、安全性 下面通过分析一种情行来看Raft是如何保证日志复制的安全性的。 在a这个时间点，S1为Leader，进入b时间点后，复制日志索引2位置日志到S2，这时如果S1挂了，S5被选举为Leader（通过S...
lua脚本 limit.lua local key = KEYS[1] local limit = tonumber(ARGV[1]) local current = tonumber(redis.call('get', key) or '0') if current + 1 > limit thenreturn 0 elseredis.call("INCRBY", key,"1")redis.call("expire", key,"30000")return 1 endjava代码// redis serverprotected static final String HOST_NAME = "192.168.1.29";//redis 端口protected static final int PORT = 6379;public RedisTemplate<String, ...
传统分布式算法 传统的分布式算法通常是采用hash取模的方式来处理数据与服务器节点的映射关系。 举个栗子 假设有个图片为test.jpg，现在有3个服务器，我们称之为0服务器、1服务器、2服务器。首先我们对这张图片进行hash，可以拿到一个散列值，用散列值对3进行取模，取模结果为0或者1或者2。如果结果是0则将图片存入0服务器节点上，如果是1则存入1服务器节点，如果是2则存入2服务器节点。按照上述的方式，此时假设我们有4个redis节点...
在了解一致性哈希算法之前，最好先了解一下缓存中的一个应用场景，了解了这个应用场景之后，再来理解一致性哈希算法，就容易多了，也更能体现出一致性哈希算法的优点，那么，我们先来描述一下这个经典的分布式缓存的应用场景。 1 、场景描述 假设，我们有三台缓存服务器，用于缓存图片，我们为这三台缓存服务器编号为0号、1号、2号，现在，有3万张图片需要缓存，我们希望这些图片被均匀的缓存到这3台服务器上，以便它们能够分摊...
语言工具：golang 基本思路： 1.通过协程模仿多个机器节点。每一个协程代表一个机子。 2.每台机器对自己内存中的数据进行排序，此处用的库函数 nums []int sort.Ints(nums)3.每个机器都将排好序的数据发送到channel中，在此期间是利用开启协程来实现每个节点并行执行。 4.多个channel产物，产物里保存着各个节点排好序的数据，服务器保存节点IP地址和端口号，并并行的接收每个服务器传入channel中的数据。 5.并行进行对N个channel中...