分析数据库ADS

产品化 服务化 实践

阿里巴巴 离哲(占超群) @flyinweb

1 简介 2 服务化 3 产品化



未 来

1.1 关键特性

• 海量数据 •无法预算 • 高并发 •高 可用



• RT O AP •M ySQ  兼容

•低延时 •按 量付费

1.2 用户群体

中大型企业的传统 在线分析业务 数据应用 New 向集中化、低延时 转型的在线分析业务

1.3 @阿里



Data + App



SaaS DMP 观象台 APP 微淘 指数 商户CRM ……



DaaS POI Profile LBS Targeting



PaaS 御膳房 TAE



IaaS ODPS Galaxy



ADS RDS



ECS



……

1.4 整体架构



JDBC

Oracle SQL

Server …



数据互通 (D)RDS ODPS

OSS

基础设施 DNS SLB SLS ….



APP

(报表、Ad hoc、分析应⽤用 ......)



御膳房



彩云间 (开发)



孔明灯 （建模）



应 ⽤用



SLB



Access Node 

(MySQL/REST/…)

Data Data Update Node MQ Manager



RM

Database Manager

Data Manager

Nodes Manager



A Console D

S



⻜飞天



OTS Zookeeper

产品化

预先建模 之痛 标准化 之痛 元数据 之痛 自包含 & 开放

2.1 预先建模



预先建模

HBase 0.90

80MBps <20 3GB+

MySQL Proxy

60+ 90+ 1000%+

2.2 标准化

HTTP



C Node.js C++



HSF/SOFA



MySQL

5.0.x 5.1.x



N+ 故障 100+ 升级

2.2 标准化



⼀一种协议:MySQL



90+ ⼈人⽇日



⼀一种语法:



DML/DDL/DCL/UDF



30+ ⼈人⽇日

information_schema performance_schema



30+ ⼈人⽇日

2.3 元数据

300+ Options N+ 故障 Zookeeper 2GB+ N+ 故障 700+



默认值 边界值 重载 5+ 变更 元数据版本



OTS 10000+ 10TB+

数据版本 时间戳 ⽇日志

2.4 自包含 & 开放



sys admin db db



user performance_schema db information_schema

ADS Kernel



0

熟悉



少 依赖



成本



⽣生态

服务化

多租户 VS 资源利用率 分布式 VS SLA 多集群 VS 部署 热升级 VS 资源 低成本 VS 小白

3.1 多租户



数据 隔离 计算资源 隔离

业务 不可知

按量付费

在线计算

离线计算

3.1 多租户



按需单机多进程



内存: 预估(基于数据+访问) CPU: Min+Share+Priority ⺴⽹网络: Min+Share+Priority



DB1 独享



DB2 独享



共享区



ns



Linux(CGroup+TC)



40%+

3.1 多租户

DB按数据聚集 聚集内尽可能均衡

DB2 DB1

3.2 SLA

⺴⽹网络 拥塞 挂



….



节点 GC 慢盘 ….

如何提供稳定的毫秒级RT？ 重发 VS 成本？

3.2 SLA



Fault tolerance



Tail tolerance



Load Balance



Score Engine



Dispatcher



Node cluster



Tail Collector



70%+

3.3 多集群



RM Cluster

Database Manager Manager

Data Manager Nodes Manager

Jobs Manager



计算集群1 Access Node



Data node



⻜飞天



计算集群2 Access Node



Data node



⻜飞天

3.4 热升级



单进程 单Node 单DB*1/2 单集群*1/2

单集群

单机房



上线



RM上线

PLAN



下线 PLAN



下线 OLD

3.5 低成本

Index 配置? 压缩 配置？ SQL 顺序？

HINT？



空间



时间



链式压缩 全索引



….

3.5 低成本

访问层 Backup Task 解析层 Project Push Condition Replan Condition Sink 计算层 Stat Cache Index Block UnCompress Scan Agg 

4.1 回顾 & 展望



业务磨练平台 技术产品也要关注体验 体验是多⽅方⾯面的 成本是多⽅方⾯面的



规模化 成本 功能 体验

⼈人⽣生是带着镣铐的舞蹈 架构设计亦如是

Join US