chengpeng's blogs

DynamoDB

2022-06-07

摘要

Amazon 是世界上最大的电商之一。

在这里我们所遇到的最大挑战之一就是 超大规模下的稳定性问题 （reliability at massive scale）。即使是最微小的故障（the slightest outage），也会造成巨大的经济损失，而且会降低客户对我们的信任。Amazon.com 作为一个为全球提供 web 服务的平台，其底层的基础设施是由分布在全球的数据中心中成千上万的服务器和网络设备组成的。在如此庞大的规模下，大大小小的组件故障是不断在发生的，而我们应对这些故障时所采取的 管理持久状态的方式 （the way persistent state is managed）， 驱动着软件系统的可靠性（reliability）和可扩展性（scalability）的发展 。

本文介绍 Dynamo —— 一个高可用键值存储系统 —— 的设计和实现。Amazon 的一些核心服务就是基于 Dynamo 提供不间断服务的（always-on experience）。为了达到这种等级的可用性（level of availability），Dynamo 牺牲了几种特定故障场景下的一致性 。另外，Dynamo 大量使用了 对象版本化 （object versioning）和应用协助的冲突解决 （application-assisted conflict resolution）机制，给开发者提供了一种新颖的接口。

使用 Redis 集群进行扩展

2022-05-01

database

使用 Redis 集群进行横向扩展

Redis 使用称为 Redis 集群的部署拓扑进行水平扩展。本主题将教您如何在生产环境中设置、测试和操作 Redis 集群。您将从最终用户的角度了解 Redis 集群的可用性和一致性特征。

如果您计划运行生产 Redis 集群部署或想要更好地了解 Redis 集群的内部工作原理，请参阅Redis 集群规范。要了解 Redis Enterprise 如何处理缩放，请参阅使用 Redis Enterprise 进行线性缩放。

Redis Sentinel 的高可用性

2022-04-28

database

非集群Redis的高可用

Redis Sentinel 在不使用Redis Cluster 时为 Redis 提供高可用性。

Redis Sentinel 还提供其他附带任务，例如监控、通知并充当客户端的配置提供程序。

这是宏观层面（即大图）的 Sentinel 功能的完整列表：

监控。Sentinel 不断检查您的主实例和副本实例是否按预期工作。
通知。Sentinel 可以通过 API 通知系统管理员或其他计算机程序，其中一个受监控的 Redis 实例出现问题。
自动故障转移 。如果 master 没有按预期工作，Sentinel 可以启动一个故障转移过程，其中一个副本被提升为 master，其他额外的副本被重新配置为使用新的 master，并且使用 Redis 服务器的应用程序被告知要使用的新地址连接时。
配置提供商 。Sentinel 充当客户端服务发现的权威来源：客户端连接到 Sentinels 以询问负责给定服务的当前 Redis master 的地址。如果发生故障转移，Sentinels 将报告新地址。

Redis高级数据结构

2022-04-21

database

设计的主要特性和原理

Redis 集群目标

Redis Cluster 是 Redis 的分布式实现，按照设计中的重要性顺序具有以下目标：

高性能和线性可扩展性高达 1000 个节点。没有代理，使用异步复制，不对值执行合并操作。
可接受的写入安全程度：系统尝试（以最大努力的方式）保留所有来自与大多数主节点连接的客户端的写入。通常有一些小窗口，其中确认的写入可能会丢失。当客户端位于少数分区中时，丢失已确认写入的窗口更大。
可用性：Redis 集群能够在大多数主节点可访问的分区中存活下来，并且每个不再可访问的主节点至少有一个可访问的副本。此外，使用 replicas migration ，不再被任何副本复制的 masters 将从被多个副本覆盖的 master 接收一个。

本文档中描述的内容在 Redis 3.0 或更高版本中实现。