自主可控的分布式互联网银行架构 

- 浅谈微众银行的新一代IT架构建设 

李靖  微众银行基础架构产品部 

2015年12月18日 

国家政策、银行战略、客观限制，微众走上自主可控之路 



X86服务器 

• 副去标IO题E一   

• 副开源标技术题  一  • 副标题三 

• 自副标主题可四  控为核 • 心副标的题科五  技战略 



国家政策 

1 • 《关于应用安全可控信息技术加强 银行业网络安全和信息化建设的指 导意见》 



2 



银行战略 

• 普惠金融为目标  • 个存小贷为特色  • 数据科技为抓手  • 同业合作为依托 



客观限制 

3  • 30亿资本金  • 半年筹建期  • 传统IOE架构制约 

“互联网+”下普惠金融战略对微众信息化建设提出的挑战 



ANYTHING




ANYWHERE
 ANYTIME


ANYHOW




ANYONE




海量客户  海量交易 

海量数据 



任何人在任何地点、任何时间，任何场景下，通过多种手段，均可使用银行服务 

融合创新、平衡互补 - 站在十字路口的新一代银行IT架构 



高性能 

• 亿级客户量 

• 千万级日交易量 



高可用 

• 快速恢复 

• 高冗余 



高弹性 

• 容量扩展性 

• 性能扩展性 



互联网＋ 

• 海量用户  • 海量交易  • 海量数据 



微众
  架构 



传统金融 

• 安全  • 稳定  • 影响可控 



高标准 

• 自动化运维 

• 规模化管理 



低成本 

• 开源技术 

• 低端服务器资源 



自主可控的全分布式架构 



低风险 

• 故障影响隔离 

• 影响范围小 

 

     

 

 



IT架构的演变及探索 



分散风险 

集中式紧耦合架构 

全 量 客 户

全量业务 

提高冗余 



集中式松耦合架构 

全全全 量量量 客客客 户户户 业务1  业务2  业务3 



多主节点架构 



全



量 客



M  M  M 



户



全量  全量  全量  业务  业务  业务 



注：针对单个数据中心内的系统架构，容灾体系另 需搭建 



分布式松耦合架构 



客群1 



节点1 



客群2 



节点2 



客群3 



节点3 



业务1  业务2  业务3 



一主两从节点强同步架构 



全



量 客



M 



S 



S 



户



全量  全量  全量  业务  业务  业务 

微众的选择 



分布式松耦合架构 



客群1 



节点1 



客群2 



节点2 



客群3  业务1 



业务2 



节点3  业务3 



+
 



一主两从节点强同步架构 



全



量



客 户



M 



S 



S 



 



全量  业务 



全量  业务 



全量  业务 



微众银行IT架构 



M  客群1  S  S 

=
  M  客群2  S  S 



客群3 



M  S  S 

业务1 



M  S  S 

M  S  S 

M  S  S 

业务2 



M  S  S  节点1 



M  S  S  节点2 



M  S  S 

业务3 



节点3 



注：针对单个数据中心内的系统架构，容灾体系另需搭建 

分布式架构总览 – 集中统一管理的“分行数据中心” 



跨节点交易 



 客户数据节点 1 零售客户层 

账户层 

基础架构层 



数

备据份 



 客户数据节点 2 零售客户层 

账户层 

基础架构层 



... 



 客户数据节点 N 零售客户层 

账户层 

基础架构层 



数据汇集 

后台管理  外联 

 内部管理数据节点 1



数

据备份 



后台管理  外联 

 内部管理数据节点 2



• 分布式部署逻辑单位：DCN，Data Center Node，数据中心节点 



客户数据节点X  零售客户层  账户层  基础架构层 

 客户及账户数据节点  内部管理数据节点

以客户为单位的可控分布 



跨节点交易 



 客户数据节点 1 零售客户层  账户层  基础架构层 

数备据份    客户数据节点 1’

零售客户层  账户层 

基础架构层 



 客户数据节点 2 零售客户层  账户层  基础架构层 



... 



GNS 



 客户数据节点 N 零售客户层  账户层  基础架构层 



一个客户的所有信息都包 含在同一个客户数据节 点中 



Global Naming Service （GNS） 

是整个以客户为单位的可控分布的核心：  • 开立新客户时分配节点  • 后续业务处理过程中查找客户节点 

 

双向扩展能力 – SCALE OUT & SCALE UP 



系统负载 



交易频繁 度增加 



• 随着客户量增加或客户交易频繁度的增加，系统负载也会随着增加  • 将客户量、交易频繁度与系统负载之间的关系解耦 

Ø 横向扩展（Scale Out）解决用户量增加  Ø 纵向扩展（Scale Up）解决交易频繁度增加 



已部署节点 

数据节点 1  零售客户层 

账户层  基础架构层 



客户量 



横向扩展 



数据节点 2  零售客户层 

账户层  ...  基础架构层 



数据节点 N  零售客户层 

账户层  基础架构层 



 随着用户规模增长需 要，系统处理能力

可以无限横向扩展 



数据节点X  零售客户层 

账户层  基础架构层 



已部署节点 



数据节点 1  零售客户层 

账户层  基础架构层 



数据节点 2  零售客户层 

账户层  ...  基础架构层 



数据节点 N  零售客户层 

账户层  基础架构层 



纵向扩展 

 基于相同配置的物理服务 器，增加承载逻辑节点的 物理资源，在容量不变的 前提下，提升节点处理能 力。 

承载分布式架构的平台 － 企业级互联网架构 



业务能力层  基础能力层  基础资源层 



微众银行的各个产品线 



基于社交数据的消费信贷  基于社交数据的客户筛选、风险控制 



移动端APP  生物识别技术、移动支付技术 



基础平台 



无状态公共服务资源 



TDSQL  CKV 



GNS、GSL  NAS、TSS 



大数据平台 



基于CDH框架演进发展 



离线、在线分析系 统 



SAS 



深圳数据 中心1 



深圳数据 中心2 



上海数据 中心 



弹性计算 

基于 KVM 技术 



信息通讯 



数据中心 网络 



消息交换 设备 

像玩乐高一样 – 微众的积木块：区域、DCN、基础组件 



MGMT


IMS AITO CMDB ITSM AOMP



DMZ




TGW



ECN




TGW



CSW

CORE




CFW



堡垒机

QZ




CITRIX



……
RMB

CS
 



GNS



TSS



NAS



GSL



TGW



UM



TDSQL



TDSQL



TDSQL



TDSQL



R-DCN
 



R-DCN
 



PADM
  SF


一个典型的微众银行数据中心 



TDSQL



C-DCN
 

BDP



ADM
 



• 标准化、模块化物理区域、逻 辑区域（DCN）定义  • 物理区域以网络安全性 为划分原则  • DCN以功能类型为划分

原则  • 标准化、最简化的基础组件 

• LESS is MORE  • 按需进行模块化部署 

微众的主机 - 基于X86、KVM和LINUX的标准资源模块 

§ 以标准化的资源模块作为物理资源管理单元   § 当前资源模块配置 - 100+台X86服务器： 

§ 应用处理资源：576个CPU CORE、3TB内存、48TB磁盘（RAID5）  § 高性能分布式高可用数据库：提供16TB有效存储空间  § 整个物理服务器集群可按需进行逻辑分区实现“虚拟化”，承载不同规模/用途的逻辑节点（DCN） 

TDSQL – 基于MySQL的分布式数据库 



• 解析、路由DML  • 收集、合并DML结果 

• 监控并更新数据库路由 



应用  MySQL 

API 



① ⑤



网关  ②

网关 

网关 



管理节点 

KKeeeeppeerr

⑥

ZZooooKeKeepeepre r 



• KEEPER负责执行DDL、容量伸缩、主 备切换； 

• ZK负责DB节点状态监控及主备选举 



SetA



③

主  MySQL + Agent 



④

备1  MySQL + Agent 



④ … 备n 

MySQL + Agent 



ü 完全不依赖商业的存储技术 

ü 实时监控，实现高效的数据纠 错、数据节点重建。 

ü 数据库网关具备负载控制能力 



SetB



主  MySQL + Agent 



备1  MySQL + Agent 



… 备n  MySQL + Agent 



ü 产品全部代码自主可控 

Reliable Message Bus – 基于消息队列的消息总线 



应用1 

DCN1  应用2 



消息总线  （主） 



应用1 

DCN2  应用2 



消息总线  （备） 

IDC1 



1. 跨数据中心消息交换  2. 可按需开放交换策略，实现数据中

心级别的消息隔离 



ü 支持多种消息交换模型 



消息总线  （主） 



应用1 

DCN3  应用2 



§ Request/Reply、多播、广播等  ü 支持两种消息交换模式： 

§ 高性能模式、确保送达模式  ü 确保送达模式下： 



消息总线  （备） 

IDC2 



应用1 

DCN4  应用2 



§ 单个消息的状态确保一致  § 消息总线实现持久化  ü 基于消息队列深度监控，实现系统过载保



1. 主备间消息数据强一致  2. 消息数据按策略本地持久化  3. 主备间自动切换，对应用无影响 



护和消息流量控制  ü 依托服务治理体系，实现队列级消息访问



权限控制 

   



银行业最安全的互联网平台 



n
 TB级的DDOS防护能力 



n
 全渠道钓鱼检测 



网 络



n
 恶意APP传播监控 



安 n
 域名劫持监测 



全 n
 外网高危端口扫描 



n
 办公网和生产网物理隔离 



应用安全 

n
 自研WEB应用防火墙  n
 业务上线前渗透测试  n
 数据传输加密 



WeBank  信息安全体系 



n
 海量数据拉取实时监测  n
 机房内磁盘退役消磁 

n
 敏感数据加密存储  n
 数据库操作审计  n
 客户信息客户端掩码显示 



n
 平台级入侵检测系统  n
 弱密码扫描  n
 root密码独立管理  n
 日志审计 

主机安全 



数 据 安 全

自主可控技术为WeBank实现了领先的成本优势 



腾讯深度开发的  开源技术平台 



CKV
 WAF




TLinux




TD-SQL




TGW




洋葱




TDW




传统银行IT成本  约￥20-100元 / 账户·∙年 



VS 



微众银行目标IT成本  < 同业平均水平的10% 

“大象”瘦身，跳起互联网舞步 



传统银行基于IOE技术的IT架构 



微众银行去IOE后的IT架构 



l
 初始采购成本高 

l
 难以自主运维且服务成 本高 

l
 技术无法掌握，可用性、 扩展性完全依赖服务商 评估 

  l
 具备有限扩展能力，但

扩展成本高 

l
 业务支撑能力有限，依 赖供应商支持 



l
 商业化计算机硬件解决方 案 

l
 基于封闭技术体系的操作 系统、虚拟化技术 

l
 以IBM、HP为代表 



l
 低端硬件资源组成的集群 

l
 基于开放框架的X86服务器 

I  l
 基于开源技术的操作系统、

虚拟化技术 



l
 商业化数据库解决方案 



O l
 提供复杂的事务管理、数 据高可用技术 



l
 基于开源的MySQL技术的分 布式数据库技术 



l
 以DB2、ORACLE为代表 



l
 不依赖任何专用存储技术， 完全采用服务器本地存储 



l
 商业化数据存储解决方案 



l
 通过自主研发的同步技术实 现数据高可用 



E l
 提供高性能、高可用的数 据存储技术 



l
 基于开源技术的操作系统、 虚拟化技术 



l
 采购成本低 

l
 技术完全自主可控，可 自主运维 

l
 技术完全掌握，可自行 制定容量管理等方案， 无需依赖第三方 

l
 具备无限扩展能，扩展 成本低，时效高 

l
 可完全按需支撑业务发 展需要 



l
 以EMC为代表 

持续演进的架构 － IDC 2.0 来了 



• 数据库三中心集群化部署  • 三数据副本强同步  • 应用多中心多活部署 

同城RPO=0 

IDC 2.0 



• 新一代多平面网络架构  • 松耦合的部署架构 

性能无限扩展、                影响进一步隔离 



• 应用多中心多实例多活部署  • Share Less 

同城RTO=0 



• 满足多法人部署的金融云  • 短期活动对资源的需求  • 基于标准模板的快速自动化部署 

快速部署、伸缩自如