數(shù)字經(jīng)濟(jì)時(shí)代下，云計(jì)算已成為推動(dòng)企業(yè)數(shù)字化轉(zhuǎn)型的重要引擎。越來越多的企業(yè)開始借助云計(jì)算提高業(yè)務(wù)效率并減少運(yùn)營成本。然而，云計(jì)算也面臨著很多挑戰(zhàn)與難題，比如云服務(wù)的選擇、成本、安全性、可用性、擴(kuò)展性等。如何在云時(shí)代，構(gòu)建一個(gè)高性能、低成本、安全可靠的技術(shù)體系，是眾多企業(yè)和開發(fā)者關(guān)注的重點(diǎn)話題。

在11月10日-24日舉辦的火山引擎公共云·城市分享會上，火山引擎以“字節(jié)跳動(dòng)基礎(chǔ)設(shè)施云化實(shí)踐”為題，介紹了字節(jié)跳動(dòng)的基礎(chǔ)架構(gòu)技術(shù)體系和大規(guī)模實(shí)踐，以及字節(jié)跳動(dòng)和火山引擎的“內(nèi)外統(tǒng)一”研發(fā)體系，展示了字節(jié)跳動(dòng)在云原生領(lǐng)域的探索和創(chuàng)新。這些技術(shù)體系，不僅支撐了字節(jié)跳動(dòng)內(nèi)部的海量業(yè)務(wù)和高峰流量，也為外部的客戶和合作伙伴提供了云服務(wù)能力，共享云時(shí)代的紅利。

以下為演講實(shí)錄：

字節(jié)跳動(dòng)的基礎(chǔ)架構(gòu)技術(shù)體系

字節(jié)跳動(dòng)生于云、長于云，是一家云原生公司，也是云時(shí)代的原住民。自2012年成立以來，字節(jié)跳動(dòng)始終堅(jiān)持擁抱云計(jì)算。為什么說字節(jié)跳動(dòng)是一個(gè)云時(shí)代的原住民呢？因?yàn)樽止?jié)跳動(dòng)廣泛使用過各種云服務(wù)。

字節(jié)跳動(dòng)認(rèn)為多云是一個(gè)必然的趨勢，因?yàn)槎嘣瓶梢宰屍髽I(yè)更靈活，更自主，更高效。有人可能會問，云服務(wù)不是很貴嗎？其實(shí)，如果你是一家初創(chuàng)企業(yè)，你需要考慮的不僅是云服務(wù)的費(fèi)用，還有自己購買和維護(hù)服務(wù)器的成本，以及招聘和培訓(xùn)系統(tǒng)管理員的投入。相比之下，云服務(wù)可以讓你節(jié)省大量的時(shí)間和金錢，只需動(dòng)動(dòng)鼠標(biāo)，就可以在云上獲取你需要的資源。而且，你不需要擔(dān)心資金鏈的問題，你可以按需付費(fèi)，根據(jù)業(yè)務(wù)的變化，隨時(shí)調(diào)整資源的規(guī)模。這些都是火山引擎可以為你提供的服務(wù)。

圖片

字節(jié)跳動(dòng)的基礎(chǔ)架構(gòu)技術(shù)體系，是在過去十年的業(yè)務(wù)發(fā)展過程中逐步建立和完善的，它涵蓋了從系統(tǒng)、存儲、數(shù)據(jù)庫等最基本的基礎(chǔ)設(shè)施，到云服務(wù)器、云存儲、云數(shù)據(jù)庫、云原生計(jì)算等高層的服務(wù)，再到研發(fā)體系的各個(gè)方面。字節(jié)跳動(dòng)的基礎(chǔ)架構(gòu)技術(shù)體系，具備實(shí)時(shí)推薦、實(shí)時(shí)計(jì)算等特征，能夠支持海量的業(yè)務(wù)流量和高峰壓力。其中，池化存儲ByteStore、統(tǒng)一資源調(diào)度Godel等，是字節(jié)跳動(dòng)的核心技術(shù)，它們與火山引擎相結(jié)合，形成了業(yè)務(wù)無感、資源融合、技術(shù)一體的“內(nèi)外統(tǒng)一”研發(fā)體系，更好地承載了字節(jié)跳動(dòng)內(nèi)外的業(yè)務(wù)發(fā)展。

字節(jié)跳動(dòng)基礎(chǔ)架構(gòu)核心技術(shù)體系 - 池化存儲 ByteStore

圖片

火山引擎的核心技術(shù)是基于ByteStore的池化存儲存儲，這種存儲的好處是它提供了一個(gè)底層的存儲機(jī)制，讓上層可以根據(jù)自己的需求來設(shè)計(jì)存儲策略。基于ByteStore，可以實(shí)現(xiàn)數(shù)據(jù)庫、文件系統(tǒng)、對象存儲等多種應(yīng)用，統(tǒng)一存儲在一個(gè)地方?；鹕揭娴脑O(shè)計(jì)初衷是通過這樣一個(gè)底層的存儲基礎(chǔ)設(shè)施，來滿足性能、成本、安全性等各方面的要求。

當(dāng)然，這并不容易，火山引擎也參考了很多業(yè)界的實(shí)踐和開源的方案，但是發(fā)現(xiàn)它們都存在各種各樣的問題，比如調(diào)度問題、容錯(cuò)問題、一致性問題等，這些問題在開源的方案中都不能很好地解決?；鹕揭娴乃械耐度牒透倪M(jìn)都是為了提高系統(tǒng)的可用性，讓系統(tǒng)能夠穩(wěn)定地運(yùn)行，支持字節(jié)跳動(dòng)的各種業(yè)務(wù)，服務(wù)廣大的用戶。不管是底層的存儲結(jié)構(gòu)，還是上層的一致性協(xié)議，其實(shí)都是非常復(fù)雜的，沒有經(jīng)過大規(guī)模系統(tǒng)的考驗(yàn)，是無法滿足業(yè)務(wù)的需求的。

池化存儲 ByteStore這項(xiàng)技術(shù)的發(fā)展歷程也是非常驚人的，它從2018年之前開始立項(xiàng)研發(fā)，到2020年，這套系統(tǒng)只有26臺服務(wù)器，2000多個(gè)PD的使用空間，但是隨著業(yè)務(wù)的增長，這個(gè)規(guī)模也迅速擴(kuò)大，到了2023年8月，線上的服務(wù)器已經(jīng)接近十萬。這既是字節(jié)跳動(dòng)業(yè)務(wù)帶來的壓力和挑戰(zhàn)，也是火山引擎技術(shù)成熟的動(dòng)力。正是因?yàn)樽止?jié)跳動(dòng)的海量業(yè)務(wù)和高峰流量，讓火山引擎或者字節(jié)跳動(dòng)的基礎(chǔ)設(shè)施，能夠展現(xiàn)出它們的價(jià)值和優(yōu)勢。

字節(jié)跳動(dòng)基礎(chǔ)架構(gòu)核心技術(shù)體系 - 統(tǒng)一資源調(diào)度 Godel

圖片

Godel是一個(gè)基于ByteStore存儲架構(gòu)的資源調(diào)度系統(tǒng)，可以實(shí)現(xiàn)離線和在線的混合調(diào)度，支持海量的業(yè)務(wù)和算力需求。Godel的設(shè)計(jì)參考了業(yè)界的先進(jìn)經(jīng)驗(yàn)，比如谷歌的Borg等，但是也克服了開源方案的諸多局限，比如K8S的可用性、擴(kuò)展性等問題。   

Godel的一個(gè)重要特點(diǎn)是，可以同時(shí)調(diào)度離線和在線的任務(wù)，而不會互相影響。這是一個(gè)非常困難的問題，很多公司都嘗試過，但是效果不理想。而Godel可以做到完全的資源動(dòng)態(tài)調(diào)度，根據(jù)業(yè)務(wù)的歷史情況和預(yù)測，可以在30分鐘內(nèi)，把集團(tuán)的算力彈出100萬，或者在白天壓縮到最小，實(shí)現(xiàn)真正的彈性。

Godel的另一個(gè)優(yōu)勢是，可以和火山引擎無縫對接，更好地承載字節(jié)跳動(dòng)內(nèi)外的業(yè)務(wù)發(fā)展。字節(jié)跳動(dòng)擁有上百萬臺服務(wù)器，白天時(shí)間不需要大規(guī)模計(jì)算時(shí)，可以把這部分資源作為彈性資源，供給給客戶。這樣，客戶就可以享受到更低的成本，更高的性能，更好的體驗(yàn)。當(dāng)然，這里面還有很多挑戰(zhàn)，比如資源的分配、優(yōu)化、隔離等，這些都是Godel需要不斷探索和解決的問題。

字節(jié)跳動(dòng)基礎(chǔ)架構(gòu)核心技術(shù)體系 - 實(shí)時(shí)推薦特征&實(shí)時(shí)計(jì)算規(guī)模

字節(jié)跳動(dòng)在計(jì)算機(jī)領(lǐng)域，經(jīng)歷了很多的探索和實(shí)踐，也走過了很多的彎路，才能夠形成今天的技術(shù)體系和能力。其中，實(shí)時(shí)推薦特征是一個(gè)典型的案例，它是字節(jié)跳動(dòng)的核心業(yè)務(wù)之一，也是火山引擎的重要應(yīng)用場景之一。實(shí)時(shí)推薦特征，是一個(gè)涵蓋了從數(shù)據(jù)采集、處理、分析，到特征提取、存儲、服務(wù)的完整的標(biāo)簽體系，可以根據(jù)用戶的行為和偏好，實(shí)時(shí)地給用戶推薦最合適的內(nèi)容。

實(shí)時(shí)推薦特征的背后，是海量的數(shù)據(jù)和算力的支撐。實(shí)時(shí)推薦特征產(chǎn)生的實(shí)時(shí)計(jì)算規(guī)模十分龐大，有超過10萬臺服務(wù)器，有2萬個(gè)CheckPoint作業(yè)數(shù)量，6萬多個(gè)Flink作業(yè)，超過900萬個(gè)Flink作業(yè)CPU總數(shù)，消息處理峰值超過120億，這些都運(yùn)行在字節(jié)跳動(dòng)的原生基礎(chǔ)設(shè)施上，是實(shí)時(shí)計(jì)算規(guī)模能力的體現(xiàn)。

字節(jié)跳動(dòng)基礎(chǔ)架構(gòu)大規(guī)模實(shí)踐    

圖片

字節(jié)上云的大規(guī)模實(shí)踐也是很“痛苦”的，基本上很難找到完全無損的上云方案。但是我們能做的是把上云過程中對業(yè)務(wù)的干擾盡量降低，同時(shí)把這個(gè)過程盡可能變得無縫。上云業(yè)務(wù)的必要性是什么？我們對云提出了三個(gè)最基本的要求：

• 第一是高可用。概括來說，就是動(dòng)態(tài)調(diào)度能力、容災(zāi)能力以及多機(jī)房切流。
• 第二是資源與成本。這個(gè)一般是上云最首先要考慮的問題。當(dāng)前環(huán)境資源不足，難以滿足業(yè)務(wù)高速發(fā)展的需求，資源問題已經(jīng)變成業(yè)務(wù)發(fā)展和技術(shù)架構(gòu)演進(jìn)的主要瓶頸問題之一。應(yīng)對資源的峰值利用需要堆更多資源，其余時(shí)間空閑造成業(yè)務(wù)成本高。
• 第三是對研發(fā)體驗(yàn)的要求。要盡可能讓業(yè)務(wù)少配合、少改造，更快適配云上的資源。所以，從做云計(jì)算的第一天開始，火山引擎的所有云產(chǎn)品就遵守了“不做我的客戶”原則，意思是我們提供的所有能力都是標(biāo)準(zhǔn)的、通用的。比如，MySQL數(shù)據(jù)庫是標(biāo)準(zhǔn)的MySQL數(shù)據(jù)庫，你從火山引擎官網(wǎng)上下載的MySQL跟字節(jié)自用的是一樣的。

那么為什么要上云？首先，業(yè)務(wù)降本。上云可以優(yōu)化人力資源，讓研發(fā)專注于業(yè)務(wù)創(chuàng)新，而非基礎(chǔ)運(yùn)維和架構(gòu)。IT降本的關(guān)鍵是實(shí)現(xiàn)資源的動(dòng)態(tài)彈性分配，減輕業(yè)務(wù)的成本壓力，提高資源的利用率。其次，業(yè)務(wù)提效。傳統(tǒng)數(shù)據(jù)庫利用率一般不應(yīng)該超過10%，但是在云上的數(shù)據(jù)庫在調(diào)度平臺的加持下，利用率可以到非常高而不影響業(yè)務(wù)。此外，各家組件非常復(fù)雜，一個(gè)中型業(yè)務(wù)便涉及數(shù)據(jù)庫、操作系統(tǒng)、IDC資源、中間件、各種調(diào)度平臺，而人的能力是有限的，因此，需要云服務(wù)商實(shí)現(xiàn)統(tǒng)一管理并簡化兼容及迭代策略。  

上云之后可以解決哪些問題呢？上云后將統(tǒng)一由火山引擎提供服務(wù)?；鹕揭嫣峁?biāo)準(zhǔn)公有云IaaS、PaaS組件，且保障資源量、SLA；每日峰值流量使用彈性云資源，不需要為空閑付出成本；賬戶間強(qiáng)資源隔離，通過火山引擎的資源調(diào)度能力，杜絕爭搶問題。

通常我們建議業(yè)務(wù)在遷移過程中做流量回放，提前發(fā)現(xiàn)和解決問題，而不是等到上線后才發(fā)現(xiàn)。然而，哪怕我們做了那么多準(zhǔn)備工作，在云下切換到云上的過程中仍然遇到了很多不可預(yù)知的問題。比如存儲組件失誤，業(yè)務(wù)監(jiān)控劣化，上云同步組件BUG等。我們不是要給大家展示一個(gè)完美的火山引擎，而是要給大家提供一個(gè)足夠好的系統(tǒng)，提供基礎(chǔ)的業(yè)務(wù)能力，承諾不綁定、開放接口和業(yè)務(wù)共同成長。

上云的短期收益是顯而易見的，主要體現(xiàn)在三個(gè)方面：

• 業(yè)務(wù)穩(wěn)定性：火山引擎的業(yè)務(wù)架構(gòu)設(shè)計(jì)避免了單點(diǎn)故障的風(fēng)險(xiǎn)，提高了系統(tǒng)的可靠性和可用性。同時(shí)，火山引擎售后保障體系支持得更及時(shí)，響應(yīng)速度更快。
• 研發(fā)體驗(yàn)：火山引擎的開源組件保持了與線下一致的接口和功能，讓研發(fā)人員無需做額外的適配和定制，即可享受到云上的靈活資源調(diào)撥和穩(wěn)定可靠的開源環(huán)境。
• 性能收益：云上資源充足且隔離，容器平臺和調(diào)度系統(tǒng)保證了業(yè)務(wù)之間的高效協(xié)作，降低了故障的發(fā)生概率。pod穩(wěn)定性提升，單實(shí)例問題明顯減少。 

圖片

長期收益是可以預(yù)估的，從基礎(chǔ)設(shè)施的角度來看，主要體現(xiàn)在三個(gè)方面：

• 研發(fā)更專注于業(yè)務(wù)：云上組件快速迭代，不會出現(xiàn)線下的“孤兒產(chǎn)品”和版本不一致的問題，讓研發(fā)人員始終使用最新的技術(shù)和功能。云上組件無需運(yùn)維，讓研發(fā)人員不需要關(guān)心底層組件和基礎(chǔ)設(shè)施的事情，可以更專注于業(yè)務(wù)的開發(fā)和創(chuàng)新。
• 云上穩(wěn)定性更好：云上產(chǎn)品提供了非常好的高可用保障，無論是單機(jī)房還是多機(jī)房，都可以實(shí)現(xiàn)靈活的故障轉(zhuǎn)移和恢復(fù)。云上提供租戶維度的管理，隔離性更好，資源調(diào)度更加靈活。云上產(chǎn)品可以實(shí)現(xiàn)細(xì)粒度的運(yùn)維，可以針對單個(gè)容器進(jìn)行監(jiān)控、調(diào)試和優(yōu)化，提高了運(yùn)維的效率和質(zhì)量。
• 長期綜合成本下降：通過云上的彈性資源、組件能力、運(yùn)維保障體系，可以節(jié)省20%左右的綜合成本。

圖片

字節(jié)跳動(dòng)&火山引擎“內(nèi)外統(tǒng)一”

字節(jié)云和火山引擎都是基于字節(jié)跳動(dòng)的原生基礎(chǔ)設(shè)施和技術(shù)體系，為內(nèi)外部的業(yè)務(wù)提供云服務(wù)和云能力。字節(jié)云是一個(gè)整合了多個(gè)云平臺的基礎(chǔ)設(shè)施層，可以讓業(yè)務(wù)無感地切換和使用不同的云資源，實(shí)現(xiàn)真正的多云。火山引擎則希望把字節(jié)跳動(dòng)沉淀的技術(shù)和最佳實(shí)踐，進(jìn)行外溢輸出，分享給更多的客戶和合作伙伴，讓他們也能夠受益于云時(shí)代的紅利。火山引擎秉承開放、共生、共贏的理念，希望所有客戶都是云時(shí)代的原住民，用云原生的方式來重新構(gòu)建技術(shù)體系，通過多云管理的能力讓業(yè)務(wù)享受到彈性、高效、安全的云服務(wù)，實(shí)現(xiàn)真正的云原生。

圖片

字節(jié)跳動(dòng)的研發(fā)體系正在構(gòu)建一個(gè)內(nèi)部的PaaS平臺，可以融合容器服務(wù)VKE、ECS等不同的資源，實(shí)現(xiàn)業(yè)務(wù)的無感切換?；鹕揭媸腔谧止?jié)跳動(dòng)的基礎(chǔ)設(shè)施開發(fā)的云服務(wù)，與字節(jié)跳動(dòng)的技術(shù)體系完全一致，可以為用戶提供云上的最佳實(shí)踐。我們的目標(biāo)是建立一個(gè)統(tǒng)一的技術(shù)棧，通過火山引擎的接口，開放各種各樣的能力。我們希望能夠承接所有業(yè)務(wù)，包括自己的和外部的，隨時(shí)提供海量的限制CPU的能力。

在火山引擎看來，云原生是一條剛剛開始的路，還有很多的探索和創(chuàng)新的空間。很多業(yè)務(wù)，只是把傳統(tǒng)的基礎(chǔ)設(shè)施搬到了云上，而沒有充分利用云的特性和優(yōu)勢，導(dǎo)致了低效和高成本的問題?；鹕揭嫦Ｍ軌蛲ㄟ^自己的技術(shù)和平臺，引領(lǐng)和推動(dòng)云原生的發(fā)展，讓業(yè)務(wù)能夠以云原生的方式，重新考慮和構(gòu)建自己的架構(gòu)和服務(wù)，同時(shí)也希望能夠和客戶及合作伙伴，一起走在云原生的路上，共同探索和創(chuàng)造未來。