大小:7.8M时间:2022-02-25
类别:射击街机系统:Android/Ios
CURVE官方版是网易独家设计开发的高性能、高可用、高可靠的分布式存储系统,具有超强的扩展性。基于这个存储基础,可以构建适合块存储、对象存储、云原生数据库等多种应用场景的存储系统。一个基于CURVE的高性能块存储系统,目前支持快照克隆和恢复,支持QEMU虚拟机和物理机NBD设备两种挂载方式,在网易内部作为高性能云盘实现。 ..
曲线设计和开发始终围绕三个概念展开。一是顺应当前存储硬件设备的发展趋势,软硬件结合,打造顶级。级别存储产品;二是赞成“简单可以比复杂更难”,在了解问题本质的情况下选择最简单的方案来解决问题。第三,我们采用开源并将其作为良好开源项目组件的先决条件。做彻底的研究,避免制造轮子。
网易现在实现了基于曲线的高性能块存储系统,支持快照克隆和恢复,同时支持QEMU虚拟机和物理机上的NBD设备。内部作为高性能云盘使用。网易。
1.高性能
高性能是曲线的一个关键特性,打造曲线项目也是项目组的初衷。 RPC 级别曲线采用高性能、低延迟、开源的 brpc。在一致性级别,选择基于仲裁机制的开源括号。从协议层面来看,仲裁机制本质上优于强大的机制。就延迟而言,多副本的一致方式。在实现方面,curve 优化了 braft 快照的实现。状态机实现使用chunkfilepool方法(集群初始化时,将指定百分比的空间格式化为chunk)。放大率为 0。此外,曲线对块执行更细粒度的地址空间哈希,以实现和减少读写隔离。由于小的IO冲突等的影响,IO性能得到了进一步的提升。
2.高可用性
高可用性是曲线的另一个主要特征。 MDS、ChunkServer、SnapShotCloneServer都支持多实例部署,部分实例异常不影响整个集群的可用性。
2.1、MDS
由于 MDS 是无状态的,我们建议至少部署两个实例。通过 Etcd 进行 Master 选举。 etcd 选择多个 MDS 实例。如果单个实例发生故障,您可以在几秒钟内切换到另一个实例。客户端和 SnapShotCloneServer 都会重试失败实例上正在处理的请求,以免影响集群的可用性。
2.2、SnapShotCloneServer
与 MDS 一样,SnapShotCloneServer 通过 Etcd 选择主服务器。不同的是它通过负载均衡提供外部服务。失效期间请求失败的任何重试都应该是幂等的,并且不影响任务准确性或集群可用性。
2.3、ChunkServer
ChunkServer 是一个集群,通过 Raft 协议维护数据一致性,通过 MDS 进行负载均衡。如果一个节点发生故障,它会影响存储在该节点上的所有副本集。对于copyset leader节点,服务中断,等待重选。对于副本集追随者节点,服务不受影响。如果一个chunk server节点出现故障,一段时间内无法恢复,MDS会将该节点上的数据迁移到另一个节点。
发表评论
共0条