蘑菇街混合云架构实践

无锋（敖斌）

2016-4-22

自我介绍 About me

• 姓名：敖斌 • 花名：无锋 • 蘑菇街-平台技术-运维架构师 • 全程参与蘑菇街主机房规划建设和运维系统设计和开

发等项目，现负责蘑菇街运维体系自动化平台的建设工 作.主导设计并实现的CMDB、运维Agent、持续集成发 布等平台支撑了蘑菇街日常和大促运维工作。

目录 Catalog

混合云建设背景 混合云解决方案 混合云资源管理及流量调度 基于混合云的大促表现和实践 混合云展望与未来

混合云建设背景

为什么要建设混合云？

3.21

11.11

12.12 6.18

……

常态化的大促所面临的问题:

如何快速扩容 如何快速缩容 如何提升资源利用率 如何降低成本

我们的应对措施和方案



私有云 + 公有云



资源虚拟化



流量调度 二级CDN



专线云主机



混合云



基于不同业务形态组合使用,提升效率,降低成本

私有云平台架构

服 务 门 户

平 台 管 理

资 源 池

虚 拟 网 络 基 础 设 施

混合云方案

统一的流量调度 应用生命周期 openstack + kvm、docker

混合云要实现整个服务的发布、管理、云资源调度

混合云如何无缝接入

兼容现有的运维系统,统一管理入口



云厂商



蘑菇街运维

混合云如何无缝接入

混合云资源管理

• 统一资源申请入口，业务方或PE可以根据应用申请资源（物理机、虚拟 机、云主机）

混合云资源管理



• 全平台资源信息总览，多维度 统计、展示资源信息



• 第三方云资源管理，可以基于 资源分类、分区进行管理

混合云实战场景

私有云服务

与云厂商合作,专线对接按需创建资源 会场活动,秒杀等访问量大的业务迁入私有云服务

流量调度

支持“地域+ISP”维度的流量调度 机房级别流量调度与分配 故障一键切换（支持机房和线路级别故障）

二级CDN

将动态页面静态化,接入二级CDN 根据地域特点搭建云资源节点,调度流量占比,提升用户体验

流量调度全貌

分别支持DNS、HttpDns 两种以权重的方式调度各资源节点的入口流量

流量调度 - HTTPDns方案介绍

流量调度后台

• 基于后台权重灵活配置流量分配比例，以达到数据中心级别的流量调度

流量调度 - 策略配置

• 地域+ISP->逻辑机房配置，灵活支持大区、国家/省份、ISP维度

流量调度 - 拓扑展现

• 通过拓扑直观展现所有域名的流量分配情况

流量调度 - 一键切换

• 机房、线路故障一键切换

混合云的大促表现和实践 - 二级CDN

用户就近访问，提升用户体验 分担主站流量，大促流量分担到异地 增强主站灵活性（大促按云所需流量购买） 减少用户访问失败率

ATS(Apache Traffic Server)静态技术方 案

动静分离 缓存策略 安全防护

二级CDN在混合云上的监控统一监控解决方案 -

Sentry

- Agent部署，主动抓取系统 信息

- 云服务数据采用API获取， 推送到Sentry

- 白名单接入

- 监控数据HTTPS加密传输 - 提供多种告警方式：TT、邮

件、短信等

二级CDN限流

1. 通过压测数据,对后端业务设定稳定的阈值 2. nginx 接受所有的动态请求后，会先经过LUA 模块 3. 请求超过设定阈值后,触发限流规则 4. 抛出错误码, nginx proxy 层跳转友好页面

二级CDN在蘑菇街的应用

APP详情页 PC详情页 H5详情页 PC首页

快抢页面 秒杀页面 大促会场页

二级CDN收益

✦ 使用ATS静态化后的收益

- 详情页(30%+的全站流量)静态化在去年双11期间的命中率达到 95%，减少了后端接近30%的流量压力

- 今年3.21大促期间，在北京、广州两地云上承担了总流量的 50%

- RT从原来的200ms降低到50ms，用户体验得到大大提升和改 善

- 减少了后端服务器资源

混合云展望与未来

✦ 基于容量水位的全自动扩缩容 ✦ 数据化、精准流量调度 ➡ 目标：

✓成本更低 ✓运维效率更高 ✓服务更稳定 ✓用户体验更好

谢谢！