知乎架构变迁史

李申申

李申申是谁

RU 11M+ MAU 80M+ MPV 220M+

2010.10

You jump off a cliff and you assemble an



aeroplane on the way down.








Reid Hoffman

Linode 512M

你永远不知道明早醒来会面对什么问题

宕机@知乎

Picture Upload Picture Storage



LVS Nginx Web

M MySQL



LVS Nginx Web

S MySQL



Mailgun

Mail

M Redis

S Redis

MySQL 经典问题

主从延迟

资源隔离

内网优化

硬盘升级

应用层灵活调用

Redis Shard

node3 计算 hash

Key

计算 hash



0/232



node1



计算 hash



Key



计算 hash



计算 hash node4



计算 hash node2

github.com/zhihu/redis-shard

工具是一个过程 用大小形状都合适的物体，以最有效的方式完成工作

Profiling

Werkzeug

Puppet

Shipit

知乎邀请制

申请注册

日志系统

分布式收集 集中存储 可订阅

实时 简单

Scribe Kafka Flume



无法订阅

Scala Java

Kids

Kids is Data Stream

App App



Publish



Publish

Agent



App

Publish

Agent



Agent



Agent



Subscribe



Kids Server



Log Analyzer



Psubscribe



Subscribe



Log Analyzer



Log Analyzer

MultipleStore



⑥ Notify Storer



Storer Thread

Fetch Global Message Queue



Store



BufferStore PriorityStore



Worker Thread

Client Client



④ Push ③ Publish



Message Latest



Message Latest



Message Latest



⑦ Fetch



Worker Thread



Client



⑤ Notify Worker



② Accept



Master Thread



① Connect



Accept



Connect



Subscribe⑧/PMsuebssscargibee



Client



App （Publisher）



App （Subscriber）

github.com/zhihu/kids

添加回答



更新通知



更新动态



更新搜索索引 ？

失效缓存



判断是否 Spam



更新回答计数



判断内容质量



更新个人主页



？



是否非法



内容审核



？？



？

Event Driven Architecture

Miller Master

Miller Worker

Worker 01 Worker 02

Worker N



Sink Beanstalkd

① ②

MySQL



Web

④ ③

Sink

④④



noti-miller Master

⑤



search-miller Master

⑤



Beanstalkd

⑥



⑥



noti-miller Worker

⑦

noti server



search-miller Worker

⑦

indexer

In 100+ Out 1500+

Miller Master

Miller Worker Worker 01 Worker 02

Worker N



Sink Beanstalkd



LVS Nginx Web

M MySQL



LVS Nginx Web

S MySQL



M Redis

S Redis

页面渲染优化

HomeUI



FeedUI



SidebarUI



Item1UI



Item2UI



NavigatorUI



Data



QuestionUI



AnswerUI

HomeNode



FeedNode



SidebarNode



Data



Item1Node



Item2Node



NavigatorNode



QuestionNode AnswerNode

ZhihuNode

class AnswerVoteBarV2(ZhihuNode):

!  def init(self, answer_id):    self.answer_id = answer_id

!  def template_v2(self):    return "v2_uimodule_answer_votebar.html"

!  def prime(self):     models.AnswerDAO.prime_get_vote(self.login_id, self.answer_id)

 def obj(self): vote = models.AnswerDOA.get_vote(self.login_id, self.answer_id) return ObjectDict(vote=vote)

Question 500ms -> 150ms Feed 1s -> 600ms

Service-oriented architecture

RPC 框架变迁史

Wish

Protocol Buffers STP TCP

Snow

JSON STP TCP

Zone

Protocol Versioning



Apache Avro IDL API Protocol



Protocol Generator



Sync Client Async Client



Connection Pool



Communication
 &


Transport Protocols



Async Server

Apache Avro - IDL



// Google Protocol Buffer



// Apache Avro



message CalcResponse {



protocol Calc {



enum Result {



error ZeroDivision {



OK = 0;



string message;



ZERO_DIVISION = 1;



}



}  



required Result result = 1;



int divide(int a, int b) throws ZeroDivision;



optional int32 c = 2;



}



}



message CalcRequest {



int32 a = 1;



int32 b = 2;



}



service Calc {



rpc Divide (CalcRequest) returns (CalcResponse);



}

Apache Avro - API Protocol File



// Wish’s generated files… xxx_pb2.py xxx_stub.py descriptor_pb2.py



// Apache Avro’s generated file, simply a snippet of JSON {

"Calc": { "messages": { "divide": { "errors": ["ZeroDivision"], "reqest": [{"name": "a", "type": "int"}, {"name": "b", "type": "int"}], "response": "int"}}, "namespace": None, "protocol": "Calc", "types": [ {"fields": [{"name": "message", "type": "string"}], "name": "ZeroDivision", "type": "error"} ]

} }

Server Example



import snow class Calc(snow.APIBase): 

def divide(self, a, b): if b == 0:

 return {"code": 1, "msg": "Zero division."}

return {"code": 0, "c": a / b}

!

snow.Server(Calc(), port=9000).run()



import zone from proto import protos

!

class Calc(zone.ZoneAPI):

! def divide(self, a, b): if b == 0: raise zone.ZoneCustomException(name="ZeroDivision")

return a / b

!

zone.Server([Calc(protos["Calc"])], port=9000).run()

Header



Body



Serializer (Avro / JSON)



Transporter (Binary/STP)



TCP

Consul

Tracing

知乎业务服务结构图



聚 合 话题 Feed 层



⾸首⻚页 Feed



发现



搜索



推荐



收藏



圆桌



内



容 问答



专栏



通知



私信



已读



层



基 础 ⽤用户 层



评论



图⽚片



推送



分享



话题



邮件



短址



数据服务



逻辑服务



通道服务

Miller Beantalk



LVS01



keepAlived



LVS02



Nginx01



Nginx02



Web01



Web02



WebN



Haproxy01



keepAlived



Haproxy02



Feed Service



Member Service



···



前端展⽰示层 后端业务逻辑层



Sink



Kids



MySQL



Redis



Cassandra



存储&通信层

知乎专栏的全新实践

传统网站的开发模式

前后端代码交叉 工程师互相等待 前端代码部署成本高

Web App RESTful API Server

RPC Server



MySQL



Redis



Workers

前后端分离，逻辑更清晰 AngularJS：代码复用、快速开发

并行开发 独立部署

<(▰˘◡˘▰)>

产品设计师也能修改代码了

工具要不断跟上

Dash

Heroin

Radius

CFB

Crony

Oops

Boxen

想各种办法发挥自我创新 其实就是找各种办法刺激工程师们

Hackathon

Tink Day

谢谢