基于众包的O2O服务质量保证 

施佳樑 百度质量部 shijialiang@baidu.com

O2O产品的兴起 

O2O产品的服务质量保证困境 

O2O产品的服务质量保证困境 

地域覆盖⼲⼴广,各地情况不同

产品形态多,爆发式增⻓长

O2O产品的服务质量保证困境 

活动急，形式多,流量⼤大

O2O产品的服务质量保证困境 



李彦宏： ⽐比如刚刚过去的“三七”，所 谓的“⼥女⽣生节”，全国电影票 房⾮非常⽕火热，应该⽐比去年

同⽐比涨了3.5倍。

原来⽐比如⼀一张票最⾼高到100 多块钱，我们补贴到3.7元 ⼀一张票。原来平均的电影 院上座率只有15%，那天 去看，⼤大多数的电影院都 是满满的。



活动急，形式多,流量⼤大

O2O产品的服务质量保证困境 

地域覆盖⼲⼴广,各地情况不同 活动急，形式多,流量⼤大



产品形态多,爆发式增⻓长



强调⽤用户真实消费

基于众包的任务平台 

众包（crowdsourcing）是什么 

l
 众包：公司或机构把过去由员工执行的工作任务，以自由 自愿的形式外包给非特定的、大型的大众网络。

 来源：美国《连线》（Wired）杂志2006年6月刊，记者Jeff Howe提 出。

 Crowdsourcing = crowd + outsourcing

l
 众包平台：利用互联网来将工作任务分发出去，通过大众 智慧完成工作，并收回创意、数据、信息等期望结果。

与UGC、PGC、OGC的区别 

专业度

PGC 经过质 OGC （专家）量控（管外包、员⼯工）

的众众包包

薪酬

UGC （⽤用户）

众包案例 



最早的众包

⼆二战德军⻜飞机潜艇计算



最著名的众包

reCAPTCHA验证码

众包案例：reCAPTCHA验证码 

reCAPTCHA的故事 OCR识别不高

众包案例：reCAPTCHA验证码 

reCAPTCHA的故事 • 有一天，某机器扫描了某本书……

众包案例：reCAPTCHA验证码 

reCAPTCHA的故事 • 如果我们扫描的是这样的书……

众包案例：reCAPTCHA验证码 

reCAPTCHA的故事 • 于是reCAPTCHA就诞生了……

众包案例：reCAPTCHA验证码 

reCAPTCHA的故事 • 后来除了古书，也开始应用于识别Google街景图片……

众包案例：百度众测 

Ø 适⽤用场景1：难以完全由机器⾃自动处理的⼯工作

 需要⼈人主观判断：评论、情感……  ⼈人⼯工智能难以完美解决：图⽚片识别、语义识别、物品识别、机器翻译……

Ø 适⽤用场景2：需要⼤大众⼒力量解决的问题

 跨地域、跨平台的数据采集：LBS数据采集、覆盖全⾯面的安卓设备数据采集……  样本覆盖有多样性要求：问卷调研、多机型多环境测试

最大的百度产品粉丝群体 

用户  因百度产品而聚集 

200万 500万

用户分层 

内部员⼯工 ⽤用户管理员 核⼼心粉丝 活跃⽤用户 普通⽤用户



• 产品内测 • 涉密、内部体验版 

• Bug审核、复现，用户管理、招募 • 按天发工资 

• 小范围外测 • 按执行次数发奖励 

• 大范围外测 • 按有效bug/建议发奖励 

• 小流量灰度测试 • 全流量

针对手机APP产品的测试方案 



1. 上传待测APP  2. 编写测试用例和用户指引  3. 注入追踪SDK并重新编译  4. 推送到指定的设备和用户 

1. 验证用户反馈，排除作弊用户  2. 移动设备型号、厂商、操作系

统的全面覆盖测试  3. 更多信息：耗电量，CPU/内

存占用，崩溃日志，用户操作 轨迹 



1. 下载并安装百度微任务  2. 事先收集用户设备型号和参数 

1. 领取任务，下载并安装APP  2. 参照Web网站/APP上的用户指

引完成测试工作  3. 在手机上直接提交有截屏的反馈

（bug/建议） 

最全的PC/手机设备仓库 

• 近30万台手机信息登记在案 

• 覆盖 

• 近40个手机厂商，800款手机型号 

• 各操作系统和浏览器版本等  • 各主要运营商，网络环境 

几乎覆盖全中国所有的城市 

遍布全国 330+城市

最大的百度用户详细信息库 



年龄  职业  教育背景 



联系方式  地域 

个人兴趣 



产品使用习惯 



120万份用户调研问卷 

最大的百度用户详细信息库 



年龄  职业  教育背景 



联系方式  地域 

个人兴趣 



产品使用习惯 



120万份用户调研问卷 

最大的百度用户详细信息库 



年龄  职业  教育背景 



联系方式  地域 

个人兴趣 



产品使用习惯 



120万份用户调研问卷 

用户质量 



用户标签 



用户能力 



• 性别  • 年龄  • 行业/专业  • 职业  • 地域  • 学历  • 。。。 



• 图片  • 文本  • 音频  • 视频  • 网页  • 地图  • 。。。 



定向招募 

• 特殊专业：阿语，泰语  • 特殊行业：家庭主妇  • 特殊地域：小区，学校，景点等 

用户调研案例—百度钱包转账功能 

新版本即将推出转账功能，主打高校用户，希望通过 众测调研高校学生转账的使用场景。



通过用户标签筛选用户 



班费

基于众测的发布流程 



2~3天内，  召集3000+个外部 用户参与  覆盖40个厂商， 800款手机型号 



Final release 



Go! 



2~3天内，  收集2000+份产 品建议用户问卷 

用户调研 



1~2天内，  召集500+个内 部员工参与内测 



Beta release:  众测 

Alpha release:  员工内测 



QA测试 



产品需求设计  开发编码 

应用案例：APP产品用户测试 

百度地图APP（Android） 

ü2天招募5000+个用户进行人工测试  ü覆盖104个手机品牌，710款手机型号，33个手机操作系统  ü覆盖231个城市  ü类似测试任务，全年累计发布超过200+个 



功能测试 



性能测试 



地域测试 

应用案例：百度直达号 



传统功能测试 

1. 用户：输入，访问  2. 商家：申请，上架 



O2O服务质量保证 

A 

1. 数量大，几十万商家  2. 一个商户就是一个Web APP  3. 地域广、行业分布广  4. 强调用户消费闭环 

B  5. 第三方应用嵌入 

直达号评测-方案设计 

! 评测⽅方法：众测⽤用户基于既定的评测维度、以获取服务的流程为主线，对选定直达号进 ⾏行体验评测，并提交体验报告，反馈体验中的问题和建议。

! 评测时间： 2周 ! 评测对象：采⽤用⾏行业抽样、商户抽样的⽅方式进⾏行⽤用户体验采集，选取直达号中⽐比较具有

影响⼒力的⾏行业和商户进⾏行评测；



选取行业  选取商户 



餐饮 



景区 



休闲娱乐 



生活服务 



@海底捞、  @桂林旅游@ @中体倍力@ @云家政 



@微卤 



西湖 



永乐票务 



@爱大厨 



教育 



医疗 



@新东方在线  @佳美口腔 

评测维度 



! 以获取服务的流程为主线，众测⽤用户从4个维度进⾏行体验，反馈体验过程中遇到的问题。



快速找到服务 



商户页面内容 



u @⽅方式打开移动站点  u 默认设置合理（包括

定位） u 提供合理的筛选、查

找⽅方式 



u ⻚页⾯面显⽰示正常  u ⻚页⾯面内容可⽤用 u 信息显⽰示准确 



预订服务环节 



服务支撑环节 



u 表单的默认设置合理  u 注册、登录正常 u 下单过程流畅 u ⽀支付功能安全稳定 



u 订单查看 u 交易记录  u 线上咨询 u 服务组件正常 

商户页面内容-显示问题 



类型1：手机百度，横屏 模式显示不正常； 

类型2：页面加载失败、 页面空白； 

类型3：从二级页面返回， 主页服务组件消失； 



类型4：页面卡顿、加载 时间长；（WiFi环节） 

类型5：页面语音、视频， 无法播放或播放卡顿、声 音模糊； 

类型6：页面展示比例为 PC端比例，不适用于手 机； 

快速找到服务-定位问题 



类型1：定位不准，城市定 位有误； 

案例：东莞定位到广州； 

类型2：定位距离展示不准 确； 

案例：两个页面的同一定位数据 不匹配； 

类 型 3 ： 门 店 地 图 展 示， 地图定位错误，其他城市 被显示为北京市地图； 

案例：成都显示北京地图； 



类型4：长时间加载地理位置， 无法取消； 

案例：在不提供服务的城市，一致 卡在加载，也不提示“所在城市不 提供服务”； 

 

 

商户页面内容-信息问题 



类型1：信息缺失重要元素； 

案 例 ： 重 点 服 务 的 介 绍 缺 少 图 片， 或缺少产品描述； 

类型2：服务内容为空， 或还未提供服务； 

类型3：信息过期、未及 时更新； 

案例：优惠活动过期；  案例：门票售罄； 



类型4：重点信息标识不明 显； 

案例：选择百度钱包后只是圆圈 外圈变色； 

类型5：图片不能缩放、清 晰度不足； 

类型6：其他商业广告； 

预订服务环节-注册、登录问题 



类型1：注册成功无自动跳转； 

类型2： 百度帐号授权登录失败； 

案例：用百度帐号登录失败，“授权登录”页面中点 击“登录”后又回到学员登录界面中，实际是登录失 败； 



类型3：百度账号授权登录，信息关联不完 整； 

案例：授权登录后，没有关联头像、邮箱、手机号； 

主要反馈 



评测维度  快速找到服务  

商户页面内容 

预订服务环节 

服务支撑环节 



主要问题或建议 

1、定位问题，定位不准、加载地理位置时间长；  2、筛选问题，备选城市排列无序；  3、搜索问题，多数服务不提供搜索功能； 

1、商户页面显示异常，包括加载时间长、加载异常、页面空白、页面卡顿；  2、商户信息提供异常，包括服务空白、信息描述错误；  3、页面信息更新不及时，特别是过期优惠、门票售罄等； 

1、注册、登录问题，注册异常、百度授权登录异常；  2、预订服务流程中默认表单设置不合理、流程设置不合理；  3、预订服务流程中异常提醒不合理； 

1、线上咨询问题，电话有误、在线咨询答复不及时；  2、“我的订单”问题，无取消、删除订单功能，无筛选功能；  3、服务组件问题，分享、订阅、评论、百度一下的用户体验； 

报告概述 

! ⽤用户体验采集时间在 3⽉月6⽇日 到 3⽉月16⽇日之间，总结了这段时间内选定直达号的产品质量和 服务能⼒力；

! 共采集 300份 有效体验报告，分布在全国 58个 城市； ! 对参与评测的每个直达号，均采集到10份以上的反馈报告，各直达号报告占⽐比如下；



5% 4%



11% 15%



9% 17%



10% 7% 8%



14%



爱⼤大厨 桂林旅游 海底捞 佳美⼝口腔 微卤 ⻄西湖 新东⽅方在线 永乐票务 云家政

O2O产品的更大困扰 



缺商家 

直达号商家拓展  ü 招募培训210名用户  ü 完成372个直达号站点建设  ü 学校社团79个，小微商家293个  ü 覆盖20个省，40个城市 



缺用户 

ü 餐馆菜单照片采集  ü 用户下单体验后点评并分享 

从众测到众包 



发布用户调研问卷 



数据标注 



当你有了一大群用户  。。。 



内容生产 



LBS外场采集/交通信息  本地化和翻译 



更多内容：http://test.baidu.com/about.html  

百度MTC：手机数量世界第一！ 



1万台⼿手机



欢迎试用： 

http://mtc.baidu.com 

为APP开发者提供全面的 手机自动化测试服务 ü 全面兼容性 ü 深度性能 ü 深度遍历 ü 特定场景 ü 安全漏洞