移动大数据平台的一些实践经验叶谦2014.12

数据是移动互联网的主旋律

我们的现状

phone

Pad

box

nginx

nginx

nginx

Finagle server

Finagle server

kafka

storm

mongodb

kafka

HDFS

Mapreduce 

HBASE

KV Proxy

zookeeper

Hive 

Pig

Spark

netty server

mysql

SDK的教训

控制、控制

控制SDK大小
SDK模块化设计，不同功能可以自行组合

控制数据包大小
使用二进制数据包格式，thrift

再控制

控制与服务端交互策略
多种发送模式，满足实际业务需求
数据包去重，多重校验
SDK端按规则调整+服务端动态控制

服务系统的教训

需求驱动是最合适的演进方向！

快速迭代意味着取舍选择！

希望这本书早点面世

“Big Data
Principles and best practices of scalable realtime data systems”

-- Nathan Marz and James Warren

快速迭代！

快速网络接入
BGP 8线 OR BGP 双线？
快速系统搭建
传统SQL数据库 OR 新兴NoSQL数据库？
使用twitter系的开源软件
快速Scale up
软件架构升级 OR 硬件升级？

需求驱动！

存储空间不够？
压缩算法的改进，LZO to LZMA
容量大且能支持小量在线访问的数据库？
HBASE + KVProxy
如何支持自定义的任务调度需求
自行研发的任务调度系统

几种压缩方式的对比

任务调度的需求

需求驱动！

更有效率地按app组织数据？
自定义索引格式 App Index

Rawlog

需求驱动！

如何更好地利用集群资源？
HADOOP/HBASE源码级改造
动态选择磁盘空间宽裕的机器执行任务
Tasktracker的map，reduce槽位混用
任务运行内存限制调整，内存动态计算

还是需求驱动！

如何才能得到更准确的设备标识？
Android
山寨机盛行
各种ROM横行
各种基于Android系统的设备泛滥
iOS
系统封闭，可用的设备标识一直在变

设备标识有问题？

长尾的异常情况

设备标识有问题？

改进设备标识

两个思路
基于较为简单的规则，兼容老的标识体系
基于图的分析方法，不兼容老的标识体系

统计分析
友盟统计分析平台是国内最大的移动应用统计分析平台。我们帮助移动应用开发商统计和分析流量来源, 内容使用, 用户属性和行为数据，以便开发商利用数据进行产品、运营、推广策略的决策。
http://www.umeng.com/analytics#

游戏统计
友盟游戏统计分析为移动游戏开发者提供了开箱即用的一站式解决方案，针对不同阶段的游戏运营需求，提供全方位的支持，无论是从用户获取、用户质量，还是到用户行为、用户付费，友盟提供了标准的运营指标和模型来展开深度的追踪分析。
http://www.umeng.com/analytics_games

社会化组件
友盟社会化组件，通过覆盖国内外主流社交平台，以及主流移动操作系统，帮助开发者快速实现APP社交化，通过社交关系链进行口碑营销，获取新用户和加强老用户黏性。提供专业详实的社会化统计分析报表，实时了解平台，用户，回流等。同时，在千变万化的开放平台下，友盟社会化计算引擎定期给APP自动体检，分析出“社会化健康指数”，指导开发者定期按需升级分享功能。
http://www.umeng.com/component_social

消息推送
建立与用户直接沟通的渠道，将APP的内容更新或者活动通知主动推送给终端用户，让用户第一时间获取到相关信息，有效提升用户活跃度和忠诚度。
http://www.umeng.com/launch#push 

  友盟产品介绍 

2010年4月成立，是中国最专业的移动应用统计分析暨开发者服务平台。
友盟致力于为开发者提供更多价值。我们以统计分析为产品起点，发展到为移动应用提供从开发到运营的全程解决方案，包括开发组件、统计分析、移动指数及推广服务等服务。目前，已经有超 14 万移动开发者已经从友盟服务中获益。
友盟目前拥有百余人的专业团队，均来自Google、微软、百度、搜狐、雅虎、Zynga等国际知名的IT公司。

www.umeng.com

weibo.com/umengcom

report@umeng.com