架構(gòu)師之路-創(chuàng)業(yè)互聯(lián)網(wǎng)公司如何搭建自己的技術(shù)架構(gòu)
適用范圍
本文主要針對(duì)中小型互聯(lián)網(wǎng)公司,特別適用于手機(jī)APP或者pc的后臺(tái)架構(gòu),基本可以支撐5萬(wàn)日活。本文會(huì)對(duì)可能用到的相關(guān)技術(shù)進(jìn)行技術(shù)選型的說(shuō)明,以及技術(shù)的架構(gòu)介紹。
技術(shù)指標(biāo)
說(shuō)一下一些技術(shù)指標(biāo)的計(jì)算過(guò)程可以作為其他同學(xué)的參考
QPS, 如果是5萬(wàn)日活,使用集中在每天的4小時(shí),每個(gè)用戶大概產(chǎn)生100的請(qǐng)求,那么平均下來(lái),我們系統(tǒng)大概應(yīng)該支撐的請(qǐng)求為:50000 * 100 / (4 * 60 * 60) = 350 qps/s
業(yè)務(wù)數(shù)據(jù) 業(yè)務(wù)量,我們自己是新聞業(yè)務(wù),可能會(huì)有其他的業(yè)務(wù),比如游戲,商城等等,基本每天新增的業(yè)務(wù)數(shù)據(jù)都會(huì)在同一個(gè)量級(jí), 每日10000, 另外跟用戶相關(guān)的信息也是比較大的一塊,比如用戶的訂閱等行為,一共5萬(wàn)的用戶,保存相關(guān)信息可能大概需要100條的數(shù)據(jù)。
緩存大小 主要業(yè)務(wù)數(shù)據(jù)和用戶相關(guān)的熱點(diǎn)數(shù)據(jù)限時(shí)保存在緩存中, 大概需要5個(gè)G左右。
日志大小 用戶日志和請(qǐng)求日志。 大概每天3個(gè)G左右
技術(shù)架構(gòu)
整體架構(gòu)因?yàn)槭切」?,我們基于阿里云?lái)搭建,對(duì)圖中的內(nèi)容和技術(shù)選型進(jìn)行一下說(shuō)明:
負(fù)載均衡
可選方案: SLB, Nginx.
SLB要收錢,但是比較便宜,有保證,不會(huì)掛。 但是可配置的很少,不能根據(jù)域名做ip映射
Nginx, 沒(méi)啥缺點(diǎn),需要一定的知識(shí)。
建議: SLB + Nginx, SLB綁定域名作為統(tǒng)一的入口,然后每個(gè)服務(wù)器上再搭建Nginx.
CDN
用于緩存靜態(tài)文件等等。 七牛和阿里的都還可以。
七牛要做的久一點(diǎn), 各種圖片處理的接口要完善一些
阿里的CDN要稍微好一點(diǎn)點(diǎn), 但是沒(méi)有不安全的訪問(wèn)方式,訪問(wèn)稍微沒(méi)有那么靈活。 圖片處理功能弱一點(diǎn)。
分布式調(diào)用框架
目前可選的有ZK + dubbo. ZK + Motan, ZK + dubbox, edas。
dubbo, 阿里的服務(wù)治理框架,已經(jīng)不維護(hù)了,切換反應(yīng)有點(diǎn)慢
dubboX, 當(dāng)當(dāng)基于dubbo搞的,還在維護(hù)可以一用,推薦。
Motan, 微博的服務(wù)治理礦建, 剛開源,需要學(xué)習(xí)一下, 推薦。
Edas, 阿里云服務(wù),要收錢,侵入型很強(qiáng),不推薦
MQ
可選的有: ActiveMQ, rocketMQ, robbitMQ,Kafka
各有好處, 但是考慮到運(yùn)維的難度,推薦rocketMQ。
Redis
用來(lái)做緩存, 自建成本有點(diǎn)高,需要Codis, 分片,集群,主從等等,很麻煩。 建議直接用阿里的
數(shù)據(jù)庫(kù)
主要基于讀寫分離和主從復(fù)制考慮,目前可以自建和選用阿里的DRDS。
DRDS 要花錢,成本較高,沒(méi)有必要
自建, 不用中間件,直接1寫2只讀, 然后配置讀寫分離的數(shù)據(jù)源,內(nèi)網(wǎng)SLB進(jìn)行讀集群。解決之。
搜索
建議ELK, 可以自動(dòng)同步數(shù)據(jù)庫(kù),除了搜索引擎的功能外,還可以做日志搜索,監(jiān)控系統(tǒng)。
一些典型的業(yè)務(wù)場(chǎng)景說(shuō)明
把業(yè)務(wù)底層做成SOA模塊,通過(guò)分布式調(diào)用框架對(duì)外提供服務(wù)。
后期進(jìn)行SOA到微服務(wù)的改造都會(huì)涉及。
單獨(dú)做一個(gè)小的系統(tǒng)來(lái)運(yùn)行定時(shí)任務(wù)
熱點(diǎn)數(shù)據(jù)放緩存,然后通過(guò)MQ來(lái)更新緩存
日志等數(shù)據(jù)有必要可以考慮上個(gè)Mongo