异地多活数据流基础设施 DRC

傅翠云
  -­‐-­‐
 双11支持571亿交易额背后的武器

自我介绍

• 花名 延瑛
  • 阿里技术保障数据库专家
  • 专注于DRC（data
 replica2on
 center）
  
 
 
 目前负责产品规划和架构设计
  • 在数据库，高可用，分布式经验比较丰富
 

Agenda

• DRC介绍
  • DRC在异地多活
  • DRC在更多数据架构
  • DRC在云端
 

如果你是阿里云用户？

场景1：跨域同步RDS



杭州RDS



replica(on



美国RDS

场景2：接入异构数据

迭代、迭代、迭代…

场景3：订阅增量数据

APP …

可扩展性 一致性

…

备份、通知…



稳定性 实时性

数据流基础设施DRC

DRC是什么 Data
 Replica(on
 Center
 

原生复制 同步 标准消息 异构 高可用 实时 卡夫卡 分发

DRC架构



DRC
 region
 manager



统一接入层



DRC
 cluster
 manager



集群管理层



Master
 DB Slave
 DB



DRC
 Store（抓取）
  data

DRC
 Store DRC
 slave
 store DRC
 distributed
 data



DRC
 Congo（同步）
  DRC
 SDK（订阅）
 



Master
 DB Slave
 DB



数据管道层



高可用层

数据流基础设施DRC

• 覆盖阿里所有核心业务
  • 服务于淘宝新一代架构的核心组件
 

异地多活的武器DRC

淘宝新一代架构



机房1
  
  
  
 



城市1
  
  
  
  
  
  
 

读/
 写



机房2
  
  
  
 



【同城多机房】只能堆机器
  【跨城多机房】冷备贵且不靠谱，
  多写跨城调用延迟大，流量无法切换
 



【阿里异地多活】
  •热 拔插应对业务峰值
  •流 量实时切换
  •数 据实时恢复
 



城市2
  
 

机房3
  
  机房4
  
  
  
  
  
 

读只/读写



城市3 读/写

城市4
  读/写

淘宝异地双活



中心


  
  
  
  单元
 



商品 
  管理 
  创建 
  订单 
 


 

支付



优惠
  库存
  会员
  订单
  物流
 



创建 订单

商品 管理



物流
  会员
 



订单
 



优惠
  库存
 



商品



卖家



买家



一致性
  实时性
 

同步架构1 – 读写分离



中心读写
 



单元只读
 




  
  
  
  
  中心 100%
 



Store




 




 



Congo




 




 




 



单元 100%
 



保证实时性
  保证一致性

同步架构2 – 单元封闭



中心流量1-­‐N%
  单元流量N%
 




  
  
  
  
  中心100%
 



Store Congo



Congo Store



避免循环复制
  避免峰值压力




  
  
  
  
  单元100%
 

DRC核心能力

低延迟 一致性 高可用

一致性

• 数据有序
  • 数据不丢
  • 数据不错
  • 事务一致
 



commit Binlog



Store



Congo

跨城秒级延迟挑战

5~100ms 1~5ms 0.2ms

150ms

低延迟



• 跨城延迟大
  • 事务相关、DDL影响并发
  • 读历史会影响写实时
  • 热点数据阻塞非热点数据
 



commit Binlog

Store



Congo

高可用

• 源和目的主备切换
  • 任务高可用
  • 数据高可用
  • 下游隔离
  • 核心隔离
  • 监控
 



Cluster
  Manager



Zookeeper



SSttoorree



CCoonnggoo



Distributed
  data

Slave
 Store DRC
 reloader



DRC
 monitor

2014年双十一处理规模

2000+个实例实时增量
  抓取了约100TB的数据量
 

峰值每秒处理了30+GB的数据量
  数据同步：除了交易限流，核心库均无超过秒级延时
  增量订阅：17000+个实时下游
 

2014年双十一实时性

DRC



成功支撑
  571亿交易



最大延迟
  不超过1秒



同步距离
  最长10000
 

公里



经历2次
  双11



DRC



申请10项
  专利

DRC支持更多数据架构

高可用分布式数据库




  
  
  Store 
  Store 
  Zone1

DRC

Congo 
  Congo 
  
  
 

Zone3




  
 

Paxo
 s/DRC


  
  Region1

Region2




  
  
  Congo 
  Congo 
  Zone2
 

数据分发中心



Store 离线分析




  
  
  
  
  Sto
  re 
  
  
  
  Region1



Store



实时计算



搜索



Store Slave
  store




  
  
  
  
  Sto
 re Sla
 v e
  sto
 re 
  
  Region2



Store Slave
  store



增量中心



消息队列

DRC在云端

迁移上云

• 覆盖2014年50%RDS新增实例
  • 全量+增量，无缝迁移
 

升级版 -­‐-­‐ DTS



某全球知名云计算服务商



MySQL



mysqldump



mysqlimport



25-­‐page
 document



Oracle



导入/导出



SQL
 Loader



7-­‐page
 document



SQL
 Server Import/Export向导



Bulk
 Copy
 Program



10-­‐page
 document



PostgreSQL pg_dump



3-­‐page
 document



阿里云

Data
 Transforma(on
 Service
  • 一键入云
  • 无缝迁移
  • 兼容异构
  • 一致校验
 

跨域同步



• RDS
 replica2on不支持跨域
 

• DRC支持跨域RDS同步或者容灾，对RDS无入侵
 

• 限量公测
 

• 杭美RDS实例之间实现7*24小时实时同步
 



杭州RDS



DRC

10%



美国RDS

增量订阅



• 支持RDS和DRDS
 

• 通过SDK订阅
 

• 单机版
  • 集群版
 

• 内部客户：
 

• Open
 search
  • CDP
  • DRDS同步，小表广播
  • 网聚宝等数据搜索
 

• 限量公测
 



RDS
  DRDS
  
  
  
  
 

DRC
 store DRC
 SDK

理想

ECS
  APP
 

DRDS
  RDS
  OCS
  OTS
 

打通数据和地域



DRC DRC
 SDK 易于使用



KVStore
  OSS
  ODPS
  ADS
  CDP
  Open
 search
  ONS
  MQS
 

云上数据流基础服务

联系方式
  旺旺：延瑛
  Email:
 
 cuiyun.fcy@alibaba-­‐inc.com