Qcon 2016 Mobvista 海外移动变现核心技术

李海波 Mobvista首席算法架构师

www.mobvista.com

2016-4-22

关于 我



过 2007-2008



• 2008-2014



• 2014-2015



去 AdCenter MSN广告user segment



• 商务搜索，高级项目经理 • 从无到有构建百度风险防控



• 个性化推荐 • 构建高德商户系统



式 系统



• LBS推荐系统



• 百度商业关键词搜索推荐系



统。凤巢消费占比



50%+(5kw+/天)



Wechat:dustinseant



现 SSP AD Network

在 DSP DMP



反作弊



新闻推荐



机器学习大数据平台



海外子公司数据&算法整合广告user



segment



http://semocean.com/

大纲

1. 海外移动变现挑战 2. 核心算法框架及数据流 3. 特征&模型定制优化 4. 效果&总结

Mobvista 全球业务

AFFILIATES

• 国内外多家广告主独家优质Offer • 业界领先的CVR和EPC

广告变现M系统

高效变现体系

Mobvista 全球变现业务

• 流量覆盖230+ 国家和地区

• 流量：100亿+/天

挑战-广告样式众多



1. 插屏 2. 全屏 3. 信息流 4. Banner 5. Native 6. 应用墙 7. Video



Native



APPWALL



• 广告植入内容设计



• 入口图表可定制



• 不打断用户交互，减少干扰 • 与应用市场相似



• 推送有价值内容



• 高CPM



Video

• 适用于游戏开发者 • 激励观看

挑战-转化路径较长



用户看到广告位至广告展现的时间 用户等待的耐心是有限的



展示速度



用户是否点击广告：CTR预估问题 用户是否被广告内容/素材吸引



点击



点击广告后，能否到GooglePlay安装页面 跳转成功

不同国家，地域网络状况的复杂性与差异



用户是否真的需要该app并进行安装 CVR预估



安装

挑战-国际化带来的多样性



• 国家间网络基础建设水平参差不齐

e.g. India VS South Korea

• 流量质量，特性差异.

e.g. 最大200倍差异

• 流量波动较大；开发者流量差异

巨头 VS 小开发者



ecpm



traffic



表：国家间ecpm差异



图：国家间网速差异

From:akamai’s [state of the internet]



表：开发者间流量差异

Mobvista 变现架构

变现策略架构

预测算法框架

Mobvista ecpm目标

ecpm = 1000 * ctr * cvr * price



f(x)



Features



Lables



Predict



• 以ecpm为业务目标进行排序 • 分别训练CTR，CVR模型 • A/B test进行效果测试



Win

预测算法框架

Activity Logging

Activity Tracking Data Pipeline

All device activity (events) stored in Mongo&Dynamo as a JSON string

e.g., Fetches, Impressions, Clicks, Conversions, etc.

多国数据

Model Training Pipeline

Modeling Pipeline

Ad Sort

模型分级



预测精度提升



• 数据量分阶段模型 • 统计量特征&类别特征 • 模型融合与平滑

类别特征

Nominal Scale



ID Feature



• ID类特征 • 行为类特征 • 用户类特征



不同特性如何区别对待？

行为特征

Interval Scale

• 统计量特征&类别特征 • 模型融合与平滑

数据举例

不同类型特征预处理方式？

基本处理方法

Binning Methods

Equal Interval

Equal Total(Each bin with 3 elements)

e.g. RecencyClicks,TotalRevenue,RecencyConversion

Equal Positive/Negative(Each bin with 3 positive/negative elements) 现实中的效果如何？

Binning Methods



Original Features



Transposition



Scan Boundaries



Sort for Binning



e.g. RecencyClicks,TotalRevenue,RecencyConversion

Variable Selection

• 迭代特征选择 • 重要性度量 • 效率/效果权衡 • 人工经验的重要性

e.g. RecencyClicks,TotalRevenue,RecencyConversion

模型分级



预测精度提升



• 数据量分阶段模型 • 统计量特征&类别特征 • 模型融合与平滑

Global模型

Global模型



Specific

Regular Segment



•A regular segment consists of a concatenation of specific combination of values of the model's regular segmentation variables, plus a predicted conversion rate.



•A fallback segment prediction is looked for when a regular segment Fallback prediction isn't found. Segments



Default Prediction



•A single default predicted conversion rate value which is used as the prediction when regular and fallback segment predictions aren't found.



General

树模型

GBDT对数据充分CASE进行预估



##Calculating an Offer’s Predictive Score with a DT Model



1.BiasOffset: -7.02642680869964



2.Decision Tree Results



- Tree 1:



0.00576330069452524



- Tree 2:



-0.0100230621173978



3.Logit of Predicted CR



= BiasOffset + SUM( [result of each tree] ) = -



6.966206



4.Predicted Conversion Rate



= 1 / ( EXP( -1 * Logit of Predicted CR) + 1 )



= 0.000942278186909201



5.Predictive Score for Sorting (Predicted Revenue)



= Predicted Conversion Rate * Bid Price



= 0.000942278186909201 * $2.00



= 0.00188455637381840 (* 1000 = $1.88 eCPM)

Smothing CTR Estimation

• Bayes Methods • 指数平滑

Exploration&Exploitation



Parameters for each offer: Predicted Conversion Rate CRp and total number of Impressions

Given true conversion rate . The likelihood is a binomial distribution:

Conjugate NPrimiNoprimoCpfRtrpueCcRoNnimvpeCrRspio(1nraCteR) Nimp Nimp CRp



Posterior Distribution of true coCnvRer~sioBnertaate(C,Ris):

Draw Conversion CraRte~CBRsetfaro(m BeNtaim(padCdRreps, hapinNgimpparaNmiempterCγRpto) control randomness)



Select



Here γ the offer



wishCtihcReh~rheasshtahpeiNnlagimrppgaeCrsaRmpe,ter.



Nimp



 Nimp 







CRp







CRS  bid price

效果&总结

经验：模型很重要，但不是全部

• 展现样式 • 网络连接跳转优化 • 各环节互相配合（e.g. SDK&算法）



Ecpm 模型配合SDK升级1



Ecpm FB/MV



Ecpm 模型配合SDK升级2

效果&总结



经验：学不出来，可考虑拆分

• 分置信度 • 数据丰富程度 • 流量大小 • DEBUG？

模型优化到一定程度，效果最优的策略也许是找bug

Thank You

Wechat:dustinsea

www.mobvista.com