分布式一致性协议

我有一个图片存取服务，为了快速获取图片，我架起了3台缓存服务器，用简单的Hash映射决定图片存储在哪台缓存上。回到顶部介绍 一致性哈希算法在1997年由麻省理工学院提出，是一种特殊的哈希算法，目的是解决分布式缓存的问题，解决了简单哈希算法在分布式哈希表中存

周末就像太阳，总会到来，也总会离开。此刻，没错，是周六呀!昨晚在B站看了几个长视频，导致2点才睡觉，早上一觉醒来已经10点了。在这里温馨提示各位盆友们，虽然我们都是年轻人，但还是要规律作息，早睡早起。什么是一致性哈希算法。要理解一致性哈希算法就需要知道分布

比如redis集群场景下，原本我们分3主3从部署。如果有一种算法，无论遇到扩容、缩容问题，最终受影响面足够小，即只有部分数据可能需要重新落DB，其他还是能正确找到对应缓存机器节点，那这是最好的。

hash 算法 -> 一致性 hash 算法 -> redis cluster 的 hash slot 算法。16379 端口号是用来进行节点间通信的，通过 cluster bus。cluster bus 的通信是用来进行故障检测，配置更新，故

在微服务架构中，随着服务的逐步拆分，数据库私有已经成为共识，这也导致所面临的分布式事务问题成为微服务落地过程中一个非常难以逾越的障碍，但是目前尚没有一个完整通用的解决方案。其实不仅仅是在微服务架构中，随着用户访问量的逐渐上涨，数据库甚至是服务的分片、分区、

分布式系统一致性专题本期该写 3PC 协议了，上周太忙没有时间更新，就拿了之前的旧文章做了一些调整重发了一下，还望各位读者海涵。后面大约还有3期：Paxos 协议、Raft 协议等，先预热一下。3PC 的出现可能是多种因素促成的。协调者在第二个阶段

C 代表 Consistency，一致性，是指所有节点在同一时刻的数据 是相同的，即更新操作执行结束并响应用户完成后，所有节点存储的数据会保持相同。P 代表 Partition Tolerance，分区容错性，是指在分布式系统遇到 网络分区的情况下，仍然可

本文聊聊 CAP 定理和 BASE 理论。数据的强一致性。希望分布式系统只读到最新写入的数据。那么我们需要在可用性A和强一致性C中做出取舍。分区A和分区B,不能通信，一方的数据无法同步给另一方，我们是选择不忍受数据的强一致性，不提供服务。需要注意的是，不存

下面将要介绍的就是分布式相关的两个基础理论：CAP定理和BASE理论。最多只能满足其中的两项。BASE是对CAP中一致性和可用性权衡的结果。Zookeeper中的事务，和数据库中具有ACID特性的事务有所区别。在Zookeeper中，事务是指能够改变Zoo

用了这么久分布式从来没有总结过分布式理论，抽空总结一下。本篇从实际项目应用出发，从两个方面阐述分布式理论，第一个方面分布式解决什么问题，第二方面分布式带来什么问题。CAP 理论不允许出现在分区存在的情况下拥有完美的数据一致性和可用性。

前几天在pyq发起了约稿，分布式一致性问题的选题呼声最高，分布式系统的内容是非常庞杂的，所以我们从其中几个重点的部分切入，慢慢展开。今天重点来一起学习分布式系统一致性问题，不过内容比较多需要分几次写完。作为后端从业人员，我们在找工作写简历的时候除了高并发经

可用性和一致性是分布式系统的基本问题，先有著名的CAP理论定义过分布式环境下二者不可兼得的关系，又有神秘的Paxos协议号称是史上最简单的分布式系统一致性算法并获得图灵奖，再有开源产品ZooKeeper实现的ZAB协议号称超越Paxos。一致性可理解为所有

在微服务环境下，因为会根据不同的业务会拆分成不同的服务，比如会员服务、订单服务、商品服务等，让专业的人做专业的事情，每个服务都有自己独立的数据库，并且是独立运行，互不影响。两个服务相互通讯的时候，两个本地事务互不影响，从而出现分布式事务产生的原因。Jta+

HBase作为一个分布式存储的数据库，它是如何保证可用性的呢？对于分布式系统的CAP问题，它是如何权衡的呢？最重要的是，我们在生产实践中，又应该如何保证HBase服务的高可用呢？下面我们来仔细分析一下。CAP是指一致性、可用性和分区容错性。一致性指更新操作

base理论是在cap理论的基础上发展的，cap描述了分布式系统中数据一致性，可用性，分区容错性之间的制约关系。当你选择其中两个的时候，就不得不对另外一个做出一定的牺牲。base理论则是对cap理论的实际应用，也就是在分区和副本存在的前提下，通过一定的系统

一致性是指 “all nodes see the same data at the same time.”简单地说，执行读操作将返回最近的写操作的值，从而保证所有节点返回相同的数据。但是，节点之间需要时间进行更新数据，而在更新时经常会受到网络的影响。对于一

Consistency，一致性是指所有节点在同一时刻的数据是相同的，即更新操作执行结束并响应用户完成后，所有节点存储的数据会保持相同。Availability，可用性是指系统提供的服务一直处于可用状态，对于用户的请求可即时响应。网络分区是指因为网络故障导致

分布式事务基本能够满足ACID，其中的C是强一致性，也就是所有操作均执行成功，才提交最终结果，以保证数据一致性或完整性。协调者接收到所有参与者发送的 Ack 响应，从预提交状态进入到提交状态，并向所有参与者发送 DoCommit 消息。参与者接收到 DoC

Redis是一个开源的使用C语言编写、支持网络、可基于内存亦可持久化的日志型、key-value数据库，并提供多种语言的API。与传统数据库不同的是redis的数据是存在内存中的，所以读写速度非常快，因此redis被广泛应用于缓存方向。另外，redis也经

当网络发生异常情况，导致分布式系统中部分节点之间的网络延时不断变大，最终导致组成分布式系统的所有节点中，只有部分节点之间能够进行正常通信，而另一些节点则不能。当网络分区出现时，分布式系统会出现局部小集群。CAP理论指的是在一个分布式系统中，不可能同时满足C

谈到本地事务，大家可能都很熟悉，因为这个数据库引擎层面能支持的！所以也称数据库事务，数据库事务四大特征：原子性，一致性，隔离性和持久性，而在这四大特性中，我认为一致性是最基本的特性，其它的三个特性都为了保证一致性而存在的！还记得刚毕业那年，带着满腔的热血就

考虑支付重构的时候，自然想到原本属于一个本地事务中的处理，现在要跨应用了要怎么处理。原本收到充值回调后，可以将修改订单状态和增加金币放在一个mysql事务中完成的，但是呢，因为服务拆分了，就面临着需要协调2个服务才能完成这个事务。所以就带出来，我们今天要分

很好的解决的哈希方法存在的稳定性问题，当节点加入或退出时，仅影响该节点哈希环上顺时针相邻的后继节点。

Raft 适用于一个管理日志一致性的协议，相比于 Paxos 协议 Raft 更易于理解和去实现它。为了提高理解性，Raft 将一致性算法分为了几个部分，包括领导选取、日志复制、安全，并且使用了更强的一致性来减少了必须需要考虑的状态。Follower被动响

关于 CAP 理论的背景介绍已经很多，这里不过多介绍，我们谈谈如何理解它的问题。如果请求一个节点，这个节点必须能够给予回复，如果节点挂掉了，那就谈不上可用性了。是否容忍网络分区，即可以允许节点和其它节点无法通信。CAP 的意思就是说我们最多只能保证其中两个

对于缓存和数据库双写，其存在着数据一致性的问题。对于数据一致性要求较高的业务场景，我们通常会选择使用分布式事务来保证缓存与数据库之间的数据强一致性，但分布式事务的复杂性与对资源的占用问题，使得该处理方式会造成系统性能的降低。为此，在一般情况下，对于数据一致

在微服务中，一个逻辑上原子操作可以经常跨越多个微服务。即使是单片系统也可能使用多个数据库或消息传递解决方案。使用多个独立的数据存储解决方案，如果其中一个分布式流程参与者出现故障，我们就会面临数据不一致的风险 - 例如在未下订单的情况下向客户收费或未通知客

背景 cache如memcache，redia等缓存来缓存数据库读取出来的数据，以提高读性能。但凡是使用缓存的项目，几乎都会遇到一个普遍的问题： 在不断增删改数据的过程中，如何保持缓存与数据库中数据的一致性。在支付、下单类业务中，此类问题尤为普遍。

一致性模型本质上是进程与数据存储的约定，通过一致性模型我们可以理解和推理在分布式系统中数据复制需要考虑的问题和基本假设。那么，一致性模型的具体实现有一些呢？本文会介绍一致性协议实现的主要思想和方法。例如主备同步、2PC、Paxos 都属于这类协议。多主协议

问题的起源在电商等业务中，系统一般由多个独立的服务组成，如何解决分布式调用时候数据的一致性？具体业务场景如下，比如一个业务操作，如果同时调用服务 A、B、C，需要满足要么同时成功；要么同时失败。A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服

1）2pc ：xa，seata。实现复杂，需要try，comit，concel三个方法。不需要锁定资源，异步，吞吐量大。3）可靠消息最终一致性：对一致性要低，适合内部系统，不适合跨系统，适合事务执行时间较长，可以俩个系统可以异步执行的业务

在分布式系统中，实现强一致性并不容易。即使2PC、3PC阶段提交，也无法保证绝对的强一致性。我们也不能因为极小的不一致性概率，导致系统整体性能低下，或者扩展性受到影响，并且架构也变得极其复杂。重试的时候，要注意设置Service Consumer 的超时时

一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的，设计目标是为了解决因特网中的热点问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。那么，一

日前，分布式数据库中间件ShardingSphere将 Seata 分布式事务能力进行整合，旨在打造一致性更强的分布式数据库中间件。XA 事务底层，依赖于具体的数据库厂商对 XA 两阶段提交协议的支持。但在 BASE 柔性事务方面，ShardingSphe

在DDD的架构设计中最难以解决的就是一致性问题，所以我采纳是BASE的最终一致性的方式，至于最终一致性的概念，不在本博客中阐述，设计理念，不外乎就是弥补的方式。可用性，无论是传统架构还是CQRS架构，都可以做到高可用，只要我们做到让我们的系统中每个节点都无

由集中式系统到分布式系统的发展，事务的原则也有原先的ACID发展成了CAP/BASE。ACID事务是由一系列对系统中数据进行访问和更新的操作锁组成的一个程序执行逻辑单元，狭义上的事务特指数据库事务。事务具有四个特征，分别是原子性、一致性、隔离性和持久性，简

CAP理论就是说：很难同时满足CAP三条特性，正常只能较好的满足其中的两条。在分布式存储系统中：由于当前网络问题，肯定会出现延迟丢包等问题，所以P分区容错性是必须满足的，对于存储系统，强一致性也是必须要满足的，所以最终的选择是AP。这个原理就是指某些时刻，

在分布式系统中，同时满足“一致性”、“可用性”和“分区容错性”三者是不可能的。分布式系统的事务一致性是一个技术难题，各种解决方案孰优孰劣？在OLTP系统领域，我们在很多业务场景下都会面临事务一致性方面的需求，例如最经典的Bob给Smith转账的案例。传统的

区块链系统是一个分布式系统，而分布式系统的首要问题是一致性的保障。一致性并不代表结果正确与否，而是系统对外呈现的状态一致与否；例如，所有节点都达成失败状态也是一种一致。　　将可能引发不一致的并行操作进行串行化 是现代分布式系统处理一致性问题的的基础思路。G

我明白这句话的意思，用来形容我们的开发工作需要循序渐进，没有办法简单的增加人员就能加快研发速度。没错，在现实世界中，当然不可能在一个月内生出孩子，但我们毕竟是做产品写代码的，而不是真的要去生孩子，所以这种说法未免有点偷换概念。本文想要就“并发”所带来的问题

一致性Hash算法在1997年由麻省理工学院提出的一种分布式哈希实现算法，设计目标是为了解决因特网中的热点问题，初衷和CARP十分相似。一致性Hash修正了CARP使用的简单哈希算法带来的问题，使得分布式哈希可以在P2P环境中真正得到应用。很多哈希算法都能

在OLTP系统领域，我们在很多业务场景下都会面临事务一致性方面的需求，例如最经典的Bob给Smith转账的案例。传统的企业开发，系统往往是以单体应用形式存在的，也没有横跨多个数据库。我们通常只需借助开发平台中特有数据访问技术和框架，结合关系型数据库自带的事

在单体应用中，我们可以利用关系型数据库的特性去完成事务一致性，但是一旦应用往微服务发展，根据业务拆分成不用的模块，而且每个模块的数据库已经分离开了，这时候，我们要面对的就是分布式事务了，需要自己在代码里头完成ACID了。比较流行的解决方案有：两阶段提交、补

Consistency(一致性)：数据在所有服务器上副本是否一致。Availability(可用性)： 数据是否在一定时间内更新成功。目前大多数系统业务情况一般妥协一致性，换来高可用。3）为解决强一致性造成可用性降低的问题，目前妥协的策略是BASE原则提出

一致性问题，“万恶之源”是数据冗余和分布并通过网络交互+网络异常是常态。主库、从库和缓存数据一致性，相同数据冗余，关系数据库，为保证关据库的高可用和高性能，一般会采用主从(备)架构并引入缓存。其中数据不一致性存在于数据冗余的时间窗口内。多副本数据之间的数据

章将介绍区块链系统的另一个基石——共识算法。通常的理解是共同的认识、一致的看法。识指的是区块链系统中各个节点账本数据同步的实现。因此，本章将从简单的分布式一致算法开始，一步步引导读者学习共识算。只要能掌握分布式一致算法的“美人心”，各类共识算法都会有似曾相

分布式CAP定理，为什么不能同时满足三个特性？CAP原则指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance，三者不可得兼。系统如果不能在时限内达成数据一致性，就意味着发生

在分布式系统中会涉及到CAP原理，来保证数据的一致性，其实对于大多数web系统并不需要强一致性，因此牺牲一致性，换取高可用性是现在多数分布式数据库产品的方向。牺牲一致性只是不再要求关系型数据库中的强一致性，而是只要系统能达到最终一致性即可。对于关系型数据库

（其实类似的例子还有很多，国内的技术人员都喜欢把一些此词模糊化，混淆而谈。例如XX云，实际卖的就是vps 和一小部分saas,这就叫cloud computing?分布式系统设计在评审时，争论得最多的地方，其实也就是著名的cap理论，本文也主要对CAP理论