欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 教育 > 高考 > Redis 的集群 --- 数据分开扛

Redis 的集群 --- 数据分开扛

2025/2/22 16:36:03 来源:https://blog.csdn.net/weixin_73757824/article/details/145654986  浏览:    关键词:Redis 的集群 --- 数据分开扛

序言

 上一章内容中我们介绍到了 哨兵 来保证我们主机在发生故障时能够及时地选出一个新的主机,但是哨兵地加入只是提供了 高可用性故障转移,并没有真正的提升架构的性能。如果不断地加入新的数据的话,主机的压力会很大,一方面是内存占用,一方面是同步数据到从机。
 现有的架构可能不是很好解决现在的问题,集群 来咯,数据分开存,大大减轻每一个主机的压力。具体怎么实现的呢?让我们开始吧。


一、集群的架构

 集群会存在多个主机,每一个主机存储整体数据的一部分,每一个主机都会存在从机以防主机故障替换,整体的结构如下:
在这里插入图片描述
现在问题来了,怎么确定每一台主机存储了哪一些键呢?新加入的键加入到哪一个主机呢?咋们马上说到。


二、集群的工作原理

1. 集群的分片

 现在笔者所知道的分片方式有三种:哈希取余,一致性哈希,哈希槽,相较最为全面的,也是现在所使用的是 哈希槽,我们来看看各自的优劣吧:

哈希取余法

 首先获取一个键所对应的分区非常简单,就需要使用公式:

SLOT = hash(key) % N

在这里的 N 是我们的分区个数,非常简单吧,这是他最大的优势😙。但是当我们的分区个数发生变化时,需要将我们的整体数据重新映射到对应的分区,这个时候就涉及到大量的数据迁移的过程,代价非常高。

一致性哈希法

 这个算法的提出就是解决了 哈希取余法 在增删分区时会涉及到大量的数据移动的问题。首先我们需要知道问题的起因是因为 N (分区个数)发生了变化,所以为了解决这个问题,直接将 N 的大小固定为 2^32,这样我们的 hash(key) % 2^32 的范围一定在 [0, 2^32 - 1] ,形成一个哈希环:
在这里插入图片描述
然后我们将分区提供某种方式也映射到哈希环上,现在我们插入或者是查找一个键的时候,我们先通过计算获知在哈希环上的位置,然后 顺时针 查找到第一个分区。
 现在我们尝试加入一个新的分区,判断带来的影响:
在这里插入图片描述
我们在 A B 之间新加入了一个分区 C,可以得到如下结论:

  • 原来属于 B 的部分数据(A->C) 需要迁移到 C
  • 其他位置的数据不受影响,不需要迁移

这大大降低了我们的开销,因为只需要迁移整体的部分数据,但是这个方法会存在 数据倾斜 的问题,谁占有的弧长越长就代表着我们的数据越有可能分配到该分区上。

哈希槽法

 这个方法其实和 一致性哈希法 非常类似,每一个分区管理一个区间。但是它解决了数据倾斜的问题,当加入新的分区的时候,每个分区的大小都会得到相应的调整,保证平衡负载。
 哈希槽共有 16384 个,每个节点负责一部分槽:
在这里插入图片描述
如上图,比如需要新加入一个分区,我们只需要每一个分区各自迁移约 1365 槽到新的分区中管理即可。既兼顾了数据迁移带来的开销,又兼顾了数据倾斜带来的问题。

2. 加入新的结点

 现在需要在现有的集群当中加入一个新的结点,首先我需要一个介绍人,这个介绍人是现在集群当中的任意一个结点,之后通过 CLUSTER MEET 协议和这个中间人握手。握手成功之后,介绍人需要通告其他主机点我的存在。

可能这个集群中存在较多的主机点,如果介绍人挨个介绍我的话肯定成本非常大。所以使用了一个较为灵活的协议 Gossip(翻译过来是流言蜚语,还挺贴切的),具体思想是每个节点定期与集群中的其他节点交换状态信息。当一个节点知道了某些新的信息(如集群中某个节点的故障信息,新的结点加入),它会将这些信息传播给它所连接的其他节点,这些节点再继续将信息传播给它们各自的邻居。这样,集群中所有节点最终都能知道每个节点的状态。

 现在大家都知道新节点的存在了,但是新的结点具有以下特征:

  • 由于没有分配哈希槽,因此它不保存任何数据
  • 因为它是一个没有分配槽的主服务器,所以当副本想要成为主服务器时,它不会参与选举过程

所以我们需要手动的给新的哈希槽,也就是管理数据的权限:

CLUSTER SETSLOT [<node_id>]


三、总结

 感觉现在查到的资料都没有很详细的介绍一个结点故障转移的过程,容我再看看。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词