http://www.xfyun.cn/

大数据技术发展



运维管理⼯工具 不断完善的生态系统



YARN



架构不断优化 一头奔跑的大象，不断进化

大数据技术发展

Apache Hadoop Ecosystem



Doug Cutting Cloudera & Apache

以Hadoop为核心，融合其他技术的平台系统 Avro是实现融合的关键技术

Develop With CDK

Maple

Maple 大数据开放平台

大数据全新应用体验Evolution




Maple-SDK



基础集群



Maple-BDWS

讯⻜飞大数据开放平台-架构图



Maple-BDWS

Maple-SDK



搜索引擎



数据库



语音云



应用层



Apps



Flume-ng



ETL



Sqoop



Hive&Pig Storm&Spark Hadoop(存储&计算)



Hbase



Redis



缓存

Maple-BDWS

Maple-SDK

SDK For Integration Technical 

Maple-SDK

Data Source

用大数据的眼光看数据-DataSource



Partition

基本属性

Schema



文本格式 Avro格式

数据格式

列存储格式 数据库文件



HDFS LocalFs

存储位置

DataBase Memory

用大数据的眼光看数据-Data Source



Data Source



Partition Schema

围绕DataSourcce建立的数据导向API



In Out

Data Source



MERGERS & JOIN



Data Source



Out To Out To



Solr DB



HiveQL On Source



Spark Load Source



SharkQL On Source



Impala On Source



Pig On Source

开发 者



Thrift & Protobuf已经很成熟了，为 什么选择Avro？



Avro开发中代码⽣生成是可选的，Avro ⽀支持通⽤用数据读取，更适应⼤大数据变

化的特性。



有实践 的程序

媛

Avro在讯⻜飞大数据开放平台的应用

分布式结构化 ⽇日志收集系统

结 构 化

日 志



多 点

监 控

Avro-Mapreduce 实时日志检索系统

云知道数据流程图

云知道

千亿级别

•目前每天日志索引记 录15亿+ •支持检索几个月数据， 索



即⽤用即搜

Data Source



Avro-Mapreduce



Sunflower语音云统 计分析系统



http://www.xfyun.cn/services/analysis/mobileapp

讯⻜飞开放平台统计分析



七大类，50多个小类统 计分析功能，综合指标

上千个



日2亿次PV，在语音重 度服务下，日志量进千

亿条

Data Source

Maple-Report



Avro-Mapreduce

Maple

http://www.xfyun.cn/