嘉賓 | 呂亞霖

編輯 | 張誠(chéng)

本文整理自作業(yè)幫基礎(chǔ)架構(gòu)研發(fā)團(tuán)隊(duì)的負(fù)責(zé)人呂亞霖在WOT2024大會(huì)上的主題分享。

2024年6月21日-22日，以“智啟新紀(jì)，慧創(chuàng)萬(wàn)物”為主題的“WOT全球技術(shù)創(chuàng)新大會(huì)2024·北京站”正式召開。在《云原生時(shí)代的成本優(yōu)化》專場(chǎng)，來(lái)自作業(yè)幫基礎(chǔ)架構(gòu)研發(fā)團(tuán)隊(duì)的負(fù)責(zé)人呂亞霖帶來(lái)了《作業(yè)幫基于云原生的降本之路》的主題分享，詳細(xì)介紹了作業(yè)幫基礎(chǔ)架構(gòu)如何基于云原生技術(shù)，在滿足業(yè)務(wù)快速迭代和穩(wěn)定性基礎(chǔ)上，實(shí)現(xiàn)系統(tǒng)化周期性的成本降低。

以下內(nèi)容，根據(jù)呂亞霖老師的演講實(shí)錄整理而來(lái)。

一、云原生降本背景和目標(biāo)

在實(shí)現(xiàn)降本的過程中，大家普遍面臨來(lái)自于三種場(chǎng)景的挑戰(zhàn)：

場(chǎng)景一：短期運(yùn)動(dòng)化降低了成本，一年后成本反彈反而更高了；

場(chǎng)景二：通過舍棄穩(wěn)定性來(lái)降低成本，遇到了大的事故，得不償失；

場(chǎng)景三：在大型復(fù)雜系統(tǒng)內(nèi)，各個(gè)團(tuán)隊(duì)降本往往聚焦自身一點(diǎn)，無(wú)法整體統(tǒng)籌，甚至把成本轉(zhuǎn)移給其他部門。

呂亞霖認(rèn)為，通過合理的云原生架構(gòu)來(lái)找到一條體系化持續(xù)的降低成本路線，這就是云原生降本的目標(biāo)。

作業(yè)幫的技術(shù)現(xiàn)狀主要分為以下四個(gè)方面。

• 服務(wù)模塊：數(shù)千個(gè)業(yè)務(wù)模塊，數(shù)十萬(wàn)計(jì)算核心，全球多云多地域多活；
• 多語(yǔ)言棧：golang、C++、python、node、java等；
• 場(chǎng)景多樣：工具化服務(wù)、教育類應(yīng)用、智能硬件場(chǎng)景、AIGC場(chǎng)景；
• 團(tuán)隊(duì)規(guī)模：擁有上千人的產(chǎn)研團(tuán)隊(duì)。

呂亞霖表示，這四個(gè)方面是大多數(shù)具備相同體量公司目前的主要技術(shù)現(xiàn)狀，因此作業(yè)幫的云原生降本路線對(duì)大多數(shù)具有相同體量的公司有著一定的參考意義。

呂亞霖強(qiáng)調(diào)，云原生降本路線的關(guān)鍵點(diǎn)有兩點(diǎn)。一是要熟練掌握業(yè)務(wù)特征以及技術(shù)組件的各種特征，通過云原生架構(gòu)來(lái)適配底層的基礎(chǔ)設(shè)施；二是基礎(chǔ)設(shè)施要向上反饋架構(gòu)的適配性，盡量能夠滿足云原生架構(gòu)，即業(yè)務(wù)、中間件和基礎(chǔ)設(shè)施都向云原生架構(gòu)靠攏，實(shí)現(xiàn)雙向奔赴。

二、應(yīng)用：流媒體和serverless的最佳組合

作業(yè)幫有一個(gè)比較典型的業(yè)務(wù)場(chǎng)景是流量的時(shí)間周期特別明顯，例如主要集中在下午3點(diǎn)、4點(diǎn)、5點(diǎn)這幾個(gè)小時(shí)內(nèi)。開始的一瞬間，流量達(dá)到峰值，之后幾乎沒有流量。

呂亞霖表示，針對(duì)作業(yè)幫的業(yè)務(wù)特點(diǎn)，我們使用了Serverless的VNode節(jié)點(diǎn)開源方案進(jìn)行了改造，在一個(gè) Service中包括很多Node物理節(jié)點(diǎn)和虛擬節(jié)點(diǎn)，虛擬節(jié)點(diǎn)VNode可以看成是一個(gè)無(wú)限擴(kuò)展的物理節(jié)點(diǎn)，這樣的方案使得在上層業(yè)務(wù)中看不到任何差異。因此，我們可以把VNode當(dāng)成一個(gè)無(wú)限的擴(kuò)展節(jié)點(diǎn)，它的Pod會(huì)橫向擴(kuò)容到VNode上，當(dāng)流量高峰到來(lái)時(shí)。正常的服務(wù)也能夠正常調(diào)用。

呂亞霖通過一組數(shù)據(jù)，展示了流媒體服務(wù)serverless架構(gòu)成本優(yōu)勢(shì)。

假設(shè)：包年包月服務(wù)器每小時(shí)成本為C，使用serverless每小時(shí)成本為1.5C。全部使用包年包月服務(wù)器的總成本為 C * 24 = 24C，serverless成本為1.5C * 5 + 10% * C* 19 = 8.4C。

最終得出的結(jié)論是，使用serverless可降低成本：(24C – 8.4C) / 24C = 65%。

雖然serverless能夠顯著降低成本，但在技術(shù)架構(gòu)的改造過程中，也會(huì)面臨如下幾個(gè)方面的挑戰(zhàn)。

1.穩(wěn)定性挑戰(zhàn)

作業(yè)幫采用了調(diào)度器和分流機(jī)制來(lái)解決這一挑戰(zhàn)。

在調(diào)度器方面，一是采用預(yù)測(cè)式擴(kuò)縮容YHPA，預(yù)測(cè)業(yè)務(wù)流量高峰來(lái)臨前半個(gè)小時(shí)提前調(diào)度擴(kuò)容；二是兜底擴(kuò)縮機(jī)制DHPA，當(dāng)預(yù)警流量進(jìn)入，全量急速拉起全容量服務(wù)。

在資源保證方面，一是通過與廠商商談資源的預(yù)留，讓我們想要的資源不要快速釋放，確保一定的資源預(yù)留量。二是就近地域IDC分流，比如北京IDC需要一萬(wàn)核，廠商只能提供八千核，差的兩千核容量就要分流給河北的IDC，這就需要直接在端上進(jìn)行分流。當(dāng)然，也可以通過直接采購(gòu)云上SaaS產(chǎn)品，在端上進(jìn)行自研和Saas產(chǎn)品分流。

2.觀測(cè)性挑戰(zhàn)

主要通過日志采集組件DS注入POD、追蹤組件上報(bào)collector、監(jiān)控支持Prometheus、支持與kubelet通信，獲取運(yùn)行POD的信息等技術(shù)來(lái)解決這一挑戰(zhàn)。

對(duì)于網(wǎng)絡(luò)挑戰(zhàn)，作業(yè)幫通過Serverless支持指定公網(wǎng)EIP進(jìn)行解決。在安全挑戰(zhàn)上，作業(yè)幫通過注解的方式把安全組下放，快速啟動(dòng)并通過底層sanbox復(fù)用進(jìn)行解決。

三、基礎(chǔ)組件：服務(wù)觀測(cè)基礎(chǔ)組件的云原生架構(gòu)改造

呂亞霖以日志服務(wù)為例，介紹了基礎(chǔ)服務(wù)成本之殤。

“假設(shè)每日產(chǎn)生1PB日志，存儲(chǔ)&檢索一個(gè)月的日志，需要多少成本。” 呂亞霖以一道數(shù)字題，介紹了日志服務(wù)的成本。他表示，如果使用ELK，只算ES的話，按照官方介紹測(cè)算寫入和查詢需要的算力，大概需要上百臺(tái)96C物理機(jī)器。在極端計(jì)算下只算磁盤成本，1TB磁盤需要350元/月，30PB則需要350*1000*30 = 1000萬(wàn)/月。監(jiān)控、日志追蹤同理。

呂亞霖表示，大部分互聯(lián)網(wǎng)企業(yè)，服務(wù)觀測(cè)成本占在線業(yè)務(wù)總體成本（不包含大數(shù)據(jù)）的15%，甚至更高。但是，只有在5%以下才是合理區(qū)間，因此有大量的優(yōu)化空間。

在觀測(cè)體系的改造上，作業(yè)幫采用將容器產(chǎn)生的日志，通過輸出到logagent傳輸給Kafka，最終通過日志的存儲(chǔ)和檢索、日志監(jiān)控、日志追蹤分發(fā)給大數(shù)據(jù)。大多數(shù)觀測(cè)數(shù)據(jù)來(lái)自于服務(wù)網(wǎng)格上報(bào)，例如每次過網(wǎng)格時(shí)就會(huì)把分布式追蹤的上下文報(bào)下來(lái)，但實(shí)際上網(wǎng)格是沒有覆蓋到底下的各種存儲(chǔ)、MySQL、Redis或者其他存儲(chǔ)，這類數(shù)據(jù)是通過解析日志上報(bào)上來(lái)的。

在檢索存儲(chǔ)系統(tǒng)的改造上，由于Ingester是一個(gè)訂閱Kafka系統(tǒng)，它會(huì)以塊（一個(gè)塊大概幾十兆）的形式寫到本地化存儲(chǔ)中，并且對(duì)塊上的pod信息、日期、服務(wù)建立索引。這時(shí)，它就會(huì)自動(dòng)進(jìn)行冷熱沉降，例如本地有一個(gè)7T存儲(chǔ)盤，它將預(yù)留80%，如果超過7T容量，就自動(dòng)開始往對(duì)象存儲(chǔ)上沉降，并把最熱的數(shù)據(jù)放在本地，歷史數(shù)據(jù)放到對(duì)象存儲(chǔ)中。然后，在對(duì)象存儲(chǔ)中把超過30天的數(shù)據(jù)歸檔到冷存儲(chǔ)中。當(dāng)需要查詢數(shù)據(jù)時(shí)，就會(huì)對(duì)下邊所屬的集群同樣發(fā)出Query請(qǐng)求，并通過數(shù)據(jù)找到這個(gè)塊所在的位置，對(duì)塊進(jìn)行查詢。

呂亞霖表示，這并不是一個(gè)檢索系統(tǒng)，而是分布式計(jì)算系統(tǒng)。其優(yōu)勢(shì)在于按塊存儲(chǔ)當(dāng)數(shù)據(jù)寫入時(shí)吞吐量非常高，因此我們并不需要建立索引，只需要建立一個(gè)簡(jiǎn)單的基于塊的索引信息就可以了。另外，由于采用了歸檔沉降，將超過30天的數(shù)據(jù)進(jìn)行三級(jí)歸檔后進(jìn)入冷存儲(chǔ)，冷存儲(chǔ)的成本就會(huì)比較低。進(jìn)行數(shù)據(jù)查詢時(shí)，采用了全量的并發(fā)查詢，只需要通過簡(jiǎn)單的命令就能夠能夠拿到結(jié)果。

通過日志云原生改造，作業(yè)幫將1%的數(shù)據(jù)存儲(chǔ)在本地盤，實(shí)現(xiàn)了0.35元/GB/月；5%的數(shù)據(jù)經(jīng)過90%的壓縮后存儲(chǔ)在對(duì)象存儲(chǔ)中，實(shí)現(xiàn)了0.12元/GB/月；94%的數(shù)據(jù)經(jīng)過90%的壓縮后存儲(chǔ)在深度歸檔存儲(chǔ)中，實(shí)現(xiàn)了0.03元/GB/月，參考自騰訊云廠商目錄價(jià)。

在監(jiān)控云原生改造上，作業(yè)幫采用了Prometheus體系，通過將VictoriaMetrics替換到Prometheus內(nèi)部的TSDB。除此之外，還在VictoriaMetrics之前加上了Remote-write組件，支持所有Prometheus遠(yuǎn)程寫入，同時(shí)通過寫入一個(gè)VM標(biāo)準(zhǔn)集群和降準(zhǔn)集群來(lái)進(jìn)一步降低成本。通過改造，標(biāo)準(zhǔn)集群的高精度只會(huì)保留半年，降準(zhǔn)可以保留到三年以上。

在分布式追蹤云原創(chuàng)改造過程中，作業(yè)幫使用CK替代ES，寫入提升了40%，CPU下降了80%，磁盤下降了50%。另外，還實(shí)現(xiàn)了服務(wù)網(wǎng)格、日志分析上報(bào)，業(yè)務(wù)無(wú)感全覆蓋全采集。

四、基礎(chǔ)設(shè)施多云多地域融合

在IT基礎(chǔ)設(shè)施中，使用GPU算力所帶來(lái)的成本非常高。呂亞霖以GPT-4為例，通過一組數(shù)據(jù)詳細(xì)介紹了GPU帶來(lái)的高算力成本。

以GPT-4當(dāng)前的價(jià)格做一個(gè)簡(jiǎn)單的估算，假設(shè)日活躍用戶達(dá)到1000萬(wàn)DAU，5000token / DAU，并且不考慮其他的費(fèi)用，每天產(chǎn)生的費(fèi)用為：10M * 5000 tokens * $15 / 1M tokens = $75萬(wàn)，非常昂貴。

另外，受用于大模型的GPU價(jià)格昂貴、以LLM為代表的大模型參數(shù)規(guī)模變大、業(yè)務(wù)場(chǎng)景下的推理算力利用率不足三個(gè)方面因素的影響，使用自有服務(wù)器的成本也比較高。

呂亞霖認(rèn)為，容器化是解決高算力成本的基石。他表示，容器化能夠使資源透明地、快速地部署到各個(gè)IDC，打平計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等IaaS底層資源，實(shí)現(xiàn)資源的透明部署，并同時(shí)支持服務(wù)觀測(cè)、服務(wù)網(wǎng)格、服務(wù)注冊(cè)發(fā)現(xiàn)等上層服務(wù)的治理。

為了解決GPU高算力所帶來(lái)的成本問題，作業(yè)幫進(jìn)行了GPU推理容器化的改造，并通過GPU算力網(wǎng)絡(luò)多地域的融合，實(shí)現(xiàn)了動(dòng)態(tài)流量調(diào)度、傳輸協(xié)議自動(dòng)切換、超高壓縮率、動(dòng)態(tài)容量調(diào)度和密集部署，算力和顯存使用率提升30%。

演講最后，呂亞霖指出，在云原生成本優(yōu)化中，要首先發(fā)現(xiàn)浪費(fèi)，然后再制訂合理的成本優(yōu)化方案。在成本優(yōu)化時(shí)，要堅(jiān)持自上而下，先易后難的原則。此外，要從平臺(tái)系統(tǒng)化、面向應(yīng)用服務(wù)的成本中心、面向基礎(chǔ)架構(gòu)的成本中心三個(gè)方面出發(fā)，要持續(xù)進(jìn)行優(yōu)化，才能更好地降低成本。

嘉賓介紹

呂亞霖，2019年加入作業(yè)幫，作業(yè)幫基礎(chǔ)架構(gòu)-架構(gòu)研發(fā)團(tuán)隊(duì)負(fù)責(zé)人，主導(dǎo)了作業(yè)幫多云云原生架構(gòu)演進(jìn)，負(fù)責(zé)作業(yè)幫容器化建設(shè)、服務(wù)治理體系建設(shè)、多云建設(shè)、應(yīng)用框架&中間件升級(jí)適配、服務(wù)穩(wěn)定性保障。對(duì)容器化、微服務(wù)框架、服務(wù)治理、DevOps等有大量一線實(shí)踐。