分钟级故障恢复的高可用保障 by 梁耀斌@阿里

AirJD

没有录音文件

00:00/00:00

加收藏

分钟级故障恢复的高可用保障 by 梁耀斌@阿里

发布者 dber

发布于 1450313722208 浏览 4939 关键词 DevOps

分享到

第1页

分钟级故障恢复的高可用保障

梁耀斌 QCon/2015-04

第4页

两个例子：

2011上半年Gmail正常运行时间超过99.99% 2013年微博平台核心服务接口的可用性指标：全年平均接口请求性能<100ms的比例为99.991%

第5页

衡量系统可用性的指标

u服务平均无故障时间MTBF u服务平均恢复时间MTTR u可用性=(MTBF/(MTBF+MTTR))*100%

第6页

常常碰到的场景

场景一

第7页

常常碰到的场景

场景二

第8页

常常碰到的场景

场景三

第9页

解决系统可用性的手段

u减少故障出现次数 ——不出问题

u缩短故障处理时间 ——尽快解决

第10页

天下武功唯快不破

u自动恢复是最快的恢复 u一键操作

第11页

单实例故障

原因： u网络中断 u机器故障 u程序崩溃 u。。。

第12页

无状态单实例故障

u健康发现 u负载均衡 u快速失败 u超时时间 u控制重试 u自动恢复

A1

item.taobao.com

VIP1

VIP2

A2 A3

A4 A5

B1 B2 … B3

DNS

A6 B4

第13页

有状态单实例故障

u第三方仲裁者HA u数据库的主备切换

u自动选举 uP axos uRaft

HA

Master

Slave

第14页

服务集群故障

原因： u容量不足 u变更引起 u网络故障 u程序bug 。。。

第15页

服务集群故障

自我保护 u限流——学会拒绝

u按系统负载限流 u按业务优先限流 u降级——有舍有得 u依赖模块的降级 u业务功能的降级

第16页

服务集群故障

快速变更 u容量伸缩

u应用规范 u自动部署 u变更管理 u变更记录 u快速回滚

第17页

机房层面故障

u网络核心故障 u接入层故障 u机房断电 u 。。。以不变应万变——多IDC容灾

第18页

同城容灾

u数据主备切换 uD NS导流

DNS

50%

机房1

接入层

50%

机房2

接入层

应用层

应用层

缓存层

缓存层

主库

备库

第19页

异地容灾

第20页

异地容灾

u跨地域部署

u秒级切换中心

cdn1 接入层

cdn2 。。。 cdnN

按用户分流单元

接入层

中心服务层缓存层

数据层

数据同步

中心服务层缓存层

数据层

第21页

可靠性保障 u快速定位：接入链路

第22页

可靠性保障

u快速定位：接入链路

第23页

可靠性保障

u快速定位：内部链路

第24页

可靠性保障

u快速定位 u故障恢复平台 u定期演练 u真实环境

u提前通知 u不提前通知

第25页

总结

u单实例层面

u无状态 u有状态 u自动恢复

u集群层面

u自我保护：降级，限流 u快速变更：伸缩，变更

u机房和地域层面

u切库，引流 u跨地域容灾切换

u全局服务

udns故障 u骨干网故障

第26页

灾难恢复标准

u国际标准

uSHARE78

u国家标准

u《信息系统灾难恢复规范》GB/T 20988 - 2007

第28页

服务容灾等级

等级

1级 2级 3级 4级 5级 6级

单实例

分钟级人工恢复

分钟级人工恢复

秒级自动恢复

秒级自动恢复

秒级自动恢复

秒级自动恢复

集群层面机房层面地域层面全局服务

不支持

小时级人工恢复

分钟级人工恢复

分钟级人工恢复

秒级自动恢复

秒级自动恢复

不支持

不支持

小时级人工恢复分钟级人工恢复分钟级人工恢复

秒级自动恢复

不支持

不支持

不支持

不支持

不支持

分钟级人工恢复

分钟级人工恢复

秒级自动恢复

不支持

不支持

分钟级人工恢复

秒级自动恢复

第29页

Thank
You