O2O业务质量保证实践

美团⺴⽹网 武海峰

$ whoami

武海峰

2013年6⽉月加⼊入美团组建EP团 队，⺫⽬目前负责整体多个业务线产 品的交付质量提升、流程优化和 效率改进。

之前参与/负责移动互联⺴⽹网产 品、智能设备OS及应⽤用处理器 的研发测试和发布。

今天主要讨论的内容

美团O2O业务特点 ⾯面临的挑战 移动端质量保证体系 从耦合应⽤用测试说起 “初创”团队的策略

⼀一些数字



90%



189%



49%



50%

O2O业务特点

本地/异地消费 本地/异地⽤用户 依赖⾏行业信息化建设（标准化）程度 移动应⽤用成为主要使⽤用场景 应⽤用互联（⾮非孤岛模式） 垂直业务快速复制 服务访问时间多样性 所有服务都以交易为核⼼心



地理位置信息/POI相关逻辑 开站城市相关逻辑

接⼝口、异常处理标准化与监控 操作系统、设备、⺴⽹网络碎⽚片化

耦合应⽤用检查和监控 可扩展性（系统/团队）、最佳实践传播

服务稳定性、监测、快速回滚 围绕完成交易和消费的主干流程是核⼼心

⼀一些数据（设备）

2015年3⽉月数据

⼀一些数据（固件版本）

2015年3⽉月数据

早期⾯面临的挑战



⽤用户设备分化 严重



开发、PM测 试参与度呈下

降趋势



线上问题 发⽣生了，RD 默默地修复了

上线了



业务团队扩张 快



业务多⼈人少



线上问题发 ⽣生后不能第⼀一

时间知道



SOA化，测 试环境分散、 数据未打通



⼤大家对问题认 知不统⼀一



开发测试流程 总出现延期

移动端质量保证体系



开发



迭代测试



提测（⾃自动）



灰度发布



正式发布



评审为主 ⽤用例设计及执⾏行为主 测试⾃自动化为主 测试执⾏行与评估为主 监控和评估为主



监控为主



产品需求评审 技术⽅方案评审 测试计划评审



测试⽤用例编写 QA测试⽤用例评审 RD功能冒烟⾃自测 PM功能验收测试

⾃自动化构建 静态代码检查 CI⾃自动化回归



主流程测试⾃自动化 冒烟测试⾃自动化 ⾮非功能测试⾃自动化 常发问题⾃自动化



⽤用户体验测试 新功能测试 全功能回归测试 PM功能验收测试 专项测试 上线/发布前检查



闪退和错误监控 业务数据监控 全量发布检查

⽤用户反馈



闪退和错误监控 请求延迟监控 ⽤用户评价监控 市场排名监控 关键字搜索监控 ⼭山寨应⽤用监控 版本质量报告 线上问题回顾 DNS问题上报



测试辅助⼯工具



可测性架构改造



测试环境/数据（功能、性能、压⼒力）



EP Portal CI基础设施维护



内部版本发布（抢鲜） ⾃自动化测试框架

移动端质量保证体系 专项测试



城市定位测试 地理位置解析测试 URL Scheme跳转 弱⺴⽹网测试



安全测试



⻛风控测试



稳定性测试



兼容性测试（设备、操作系统、耦合应⽤用）



升级兼容性测试（应⽤用、系统、耦合应⽤用）



数据上报测试



版本间评测（流量、性能、安装包体积、运⾏行时体积）



竞品评测（流量、性能、安装包体积、运⾏行时体积）



Bug优先级定义及提交规范



应⽤用发布标准



线上故障周知范围与流程



发布前多⽅方Checklist



⾏行业标准与规范对⻬齐（如PCI-DSS）



标准与规范



开发测试流程



⽤用例与缺陷管理规范



PM验收测试Checklist



新业务接⼊入检查清单



⼤大平台多业务线提测发布规范

耦合应⽤用监测



应⽤用市场Web版 应⽤用市场客户端



前端⻚页⾯面解析 构造API请求 客户端截图⽐比对



在Portal可视化展⽰示



可视化展⽰示逻辑



邮件订阅通知



订阅邮件逻辑



关注的数据（版本， 包⼤大⼩小，评价等）

统⼀一处理后⼊入库

应⽤用市场监控 解析引擎



应⽤用市场Web版



前端⻚页⾯面解析



应⽤用市场客户端



构造API请求 客户端截图⽐比对



耦合应⽤用 竞对应⽤用 ⼭山寨应⽤用 应⽤用评论

关注的数据（版本， 包⼤大⼩小，评价等）



在Portal可视化展⽰示 邮件订阅通知



可视化展⽰示逻辑 订阅邮件逻辑



统⼀一处理后⼊入库

应⽤用市场监控-邮件

基于场景的流量测试



待测应⽤用



主⻚页



竞对应⽤用1



主⻚页



t

交易场景⻚页 交易场景⻚页



竞对应⽤用2



主⻚页



交易场景⻚页

基于场景的流量测试

“初创”团队的策略

开发中有测试，测试中有开发。 优先杠杆效益⾼高的事。 强调“⼯工程师”作⽤用，忽略前缀。 保持⼩小团队，及时“拆分”。 团队设置保证“⺫⽬目标⼀一致性”。 及时建⽴立有效的职级体系，⿎鼓励团队有⺫⽬目标地发展。

Q&A