【51CTO.com原創(chuàng)稿件】4月17日下午，以《大規(guī)模應(yīng)用下的計算技術(shù)實踐》為主題的2021 騰訊云Techo Hub技術(shù)巡回活動首站在深圳灣科技生態(tài)園盛大開啟。

[[394120]]

在深圳，高速發(fā)展的互聯(lián)網(wǎng)帶來了終端應(yīng)用井噴式的發(fā)展，企業(yè)需要強有力的計算能力作為支撐?；顒又?，來自騰訊云、虎牙和云集的八位專家與現(xiàn)場開發(fā)者分享了云計算、邊緣計算、大數(shù)據(jù)計算等計算形態(tài)是如何支撐大規(guī)模應(yīng)用的。

多樣化的計算形態(tài)，滿足多樣化的需求

騰訊云計算高級產(chǎn)品經(jīng)理鄒弘宇首先帶來了題為《多樣化的計算形態(tài)》的演講。

人們常把云計算比作社會發(fā)展的水和電，鄒弘宇認為，用戶對于計算的需求更加多樣化，“有的需要咖啡，有的需要茶，還有的需要東鵬特飲”。

云計算服務(wù)的初衷就是解決用戶自建機房、購買服務(wù)器帶來的資源浪費、運營成本高居不下的痛點。騰訊云也是如此。起初，騰訊云利用富余資源，通過自研的系統(tǒng)，實現(xiàn)了彈性擴容、按秒計費。到目前，騰訊云已經(jīng)在全球27個地域建立了61個可用區(qū)，覆蓋北美、東南亞、歐洲等區(qū)域。在國內(nèi)，除了各大城市的主要節(jié)點，騰訊云還在各大省會城市設(shè)置了節(jié)點，來滿足客戶就近接入的需求。

在IaaS層面，騰訊云擁有多樣化的計算形態(tài)：面對通用的標準型、高主頻計算、大內(nèi)存應(yīng)用、高IO、大容量存儲數(shù)據(jù)場景，騰訊云都有可以提供對應(yīng)的服務(wù)器實例。面對異構(gòu)算力場景，騰訊云有GPU、NPU、ASIC等專用場景的計算芯片，還有面對超高性能計算場景的RDMA高速互聯(lián)的計算集群，星星海高性能服務(wù)器；以及ARM架構(gòu)下服務(wù)器。    

鄒弘宇對此進行了詳細的介紹。GPU依托并行計算架構(gòu)，具備非常強的浮點運算能力，數(shù)據(jù)吞吐量大，在高性能計算場景下變得不可替代。騰訊云以GPU為主的異構(gòu)算力，通過PCI直通的技術(shù)，以及vGPU的虛擬化技術(shù)，讓機器內(nèi)部使用異構(gòu)算力資源。

在高性能計算方面，為了提升單機縱向的性能提，騰訊首推自研的星星海AMD云服務(wù)器，CPU核數(shù)具有208核，約700G的大內(nèi)存，更大的內(nèi)存帶寬，可以提供整機高達2倍的性能提升，性價比提升35%以上。在集群橫向上的提升方面，基于黑石物理服務(wù)器2.0推出的高性能計算集群，GPU算力通過RDMA高速網(wǎng)絡(luò)，不再遵從tcp/ip的網(wǎng)絡(luò)協(xié)議棧，減少內(nèi)核協(xié)議棧開銷，實現(xiàn)0內(nèi)存拷貝。   

這些多樣化的計算形態(tài)的快速上線，離不開騰訊云統(tǒng)一算力底座：自主研發(fā)的水杉平臺系統(tǒng)。  

通過水杉平臺系統(tǒng)，網(wǎng)絡(luò)存儲已經(jīng)全卸載，同時大部分虛擬化組件也卸載到硬件芯片上，無論物理機或虛擬機，都可以更加快速地適配各式各樣的CPU、GPU的變化，讓多樣化的計算資源可以更快地提供給云上的客戶進行使用。

從中心到邊緣，從公有到私有的算力延展

接下來，騰訊云計算專家工程師陳遠帶來了題為《全網(wǎng)調(diào)度：無處不在的算力》的演講。

隨著5G互聯(lián)網(wǎng)浪潮的到來，智慧城市、工業(yè)互聯(lián)、車聯(lián)網(wǎng)等產(chǎn)業(yè)在快速發(fā)展，大量的邊緣數(shù)據(jù)隨之而來。通過邊緣計算，可以進行實時和短周期的數(shù)據(jù)處理并進行決策，進而推動產(chǎn)業(yè)轉(zhuǎn)型。

騰訊云通過把可用區(qū)的能力向邊緣延展，建立EdgeZone，以此在邊緣提供就近計算服務(wù)。通過CDC一體機承載云服務(wù)，然后將其輸送到運營商機房，解決邊緣計算最后一公里的傳輸問題。同時CDC一體機還能直接放在客戶的機房，實現(xiàn)客戶數(shù)據(jù)本地化存儲和處理。陳遠指出，無論是通過可用區(qū)延展的方式，還是通過CDC一體機進行延展的方式，其管控都是就近接入騰訊公有云區(qū)域的。

當涉及敏感性客戶需要管控、數(shù)據(jù)全面私有化部署的時候，企業(yè)可以通過騰訊云TCE解決方案來解決，騰訊云TCE對外提供的是全私有化部署解決方案，是把騰訊公有云的能力進行打包之后1：1的方式完全輸出到企業(yè)內(nèi)部。  

從公有云到私有云的輸出，從云計算到邊緣計算的延伸，都離不開騰訊云全網(wǎng)調(diào)度的能力。在此，陳遠介紹了騰訊云最新的產(chǎn)品：騰訊云本地專用集群CDC。CDC是騰訊云全新推出的基礎(chǔ)設(shè)施類產(chǎn)品，目的是將中心化的公有云服務(wù)，延伸為可在客戶機房落地的近場服務(wù)，融合公有云與本地 IDC 的雙重優(yōu)勢，用戶可以以本地化的時延和數(shù)據(jù)安全來使用公有云的豐富能力。CDC 通過一體化機柜的形式在用戶機房部署本地化算力，資源就近接入臨近公有云地域?qū)崿F(xiàn)統(tǒng)一管理，用戶可通過公有云現(xiàn)有工具（控制臺、API 等）來管理 CDC 資源。  

陳遠將CDC的優(yōu)勢總結(jié)為：標準化快速交付，開箱即用；極致混合云體驗，云上能力無縫延展；就近提供計算能力，低延時低帶寬成本；數(shù)據(jù)本地化存儲和處理；設(shè)備托管運維。

高并發(fā)系統(tǒng)架構(gòu)的實踐

接下來，云集基礎(chǔ)服務(wù)負責人&高級經(jīng)理張強帶來了題為《高并發(fā)下的系統(tǒng)架構(gòu)&踩坑》的主題演講。

云集是一家電商公司，于2015年成立，總部在杭州，研發(fā)中心設(shè)在深圳。通過短短幾年的發(fā)展，云集獲得了單品單日最高銷售額2.78億，全球精選狂歡周總銷售額破25.9億，單日頁面訪問量破10.82億，單日發(fā)出包裹量超386萬，單日銷售額超10.8億等亮眼的成績。

這些成績離不開云集系統(tǒng)架構(gòu)的支撐。在2015年的萌芽期，云集僅有一個程序員，一臺ECS+一臺RDS，解決問題完全依靠工單系統(tǒng)。隨著業(yè)務(wù)發(fā)展越來越快，單機系統(tǒng)逐漸無法支撐，云集的系統(tǒng)架構(gòu)進入了V2.0時期。

在V2.0架構(gòu)中，云集將買家和賣家APP分開，安卓和IOS各一個版本。接入層通過云計算服務(wù)的高訪問量路由到NG到接入層，再到BD，數(shù)據(jù)庫做了讀寫分離。然而這套架構(gòu)系統(tǒng)與業(yè)務(wù)不解耦，數(shù)據(jù)庫雖然讀寫分離但是在線上業(yè)務(wù)場景中，一個數(shù)據(jù)庫掛了，業(yè)務(wù)就中斷了。所以云集開始了系統(tǒng)架構(gòu)V3.0的改造。

V3.0首先是對架構(gòu)進行了微服務(wù)化，把所有的H5、小程序等路由到接入層，從接入層開始做服務(wù)化。V3.0架構(gòu)分為五層：接入層、業(yè)務(wù)層、中臺服務(wù)層、基礎(chǔ)層、數(shù)據(jù)層。張強將這套架構(gòu)體系的亮點總結(jié)為：多地緩存、多極限流、降級開關(guān)等。通過這套架構(gòu)，云集最高撐了一百多萬QBS（不包含直播）。 

張強將云集的并發(fā)系統(tǒng)總結(jié)為三套方案：一是緩存，以空間換時間；二是限流，即形成部分的用戶體驗，保證平臺不會整體癱瘓；三是降級，以最小的閉環(huán)，完成整個交易鏈路的正常進行。對于一些非核心服務(wù)，如果影響到主業(yè)務(wù)，會毫不猶豫關(guān)掉。

在系統(tǒng)架構(gòu)的演進過程中，云集不可避免地踩過一些“坑”。張強對緩存穿透問題、DB主從延時問題、黑產(chǎn)風控問題、中間件踩坑進行了詳細解讀。對于未來，云集將專注于通過技術(shù)中臺、業(yè)務(wù)中臺、SaaS等實現(xiàn)效能提升；緊跟低代碼趨勢，從平臺化到Serverless等前沿技術(shù)趨勢；借助騰訊云，實現(xiàn)精準營銷和價值最大化；通過業(yè)務(wù)、技術(shù)能夠反推產(chǎn)品形態(tài)。

詳解騰訊云提升可靠性背后的技術(shù)

騰訊云星星海實驗室副總監(jiān)李志高，騰訊云服務(wù)器運營中心專家工程師牛犇共同帶來《騰訊云可靠性提升背后的技術(shù)應(yīng)用》的演講分享。

騰訊云專家工程師牛犇介紹，隨著磁存儲技術(shù)和工藝制程的發(fā)展，硬盤容量越來越大，故障率和故障恢復(fù)時長也隨之變長，這會對云上開發(fā)帶來很大的穩(wěn)定性挑戰(zhàn)。為了給開發(fā)者提供更為穩(wěn)健的云服務(wù)，騰訊云通過對硬盤來料質(zhì)量，運營監(jiān)控和技術(shù)創(chuàng)新等手段進行智能化運營。

在來料質(zhì)量方面，騰訊云采取基于業(yè)務(wù)模型的來料篩選機制，通過云業(yè)務(wù)模型與硬盤底層參數(shù)建模，分析參數(shù)統(tǒng)計分布，定制化篩選標準，使得硬盤年化故障率顯著降低至1/5。在運營監(jiān)控方面，騰訊云的硬盤智能監(jiān)控系統(tǒng)通過多維度硬盤健康評分和AI 故障預(yù)測，可使硬盤故障提前識別率提升至80%。

在談到對數(shù)據(jù)中心硬盤運營的未來展望，牛犇提出希望能夠利用騰訊云百萬級服務(wù)器的運營經(jīng)驗以及依托騰訊云強大的服務(wù)器智能監(jiān)控平臺，對新介質(zhì)、新技術(shù)提前進行現(xiàn)網(wǎng)應(yīng)用評估，和合作伙伴一起構(gòu)建開放透明的云服務(wù)生態(tài)體系，為云上的用戶和開發(fā)者提供最優(yōu)質(zhì)、穩(wěn)健的云服務(wù)。

李志高則對如何提高服務(wù)器內(nèi)存可靠性進行了深入介紹。因為云服務(wù)器是基于物理服務(wù)器，提供的高可用性是基于物理機高可靠性和軟件優(yōu)化的結(jié)果。所以物理機宕機會影響部署在云服務(wù)器上的業(yè)務(wù)，可能導(dǎo)致客訴甚至賠償。持續(xù)降低服務(wù)器宕機率，讓云服務(wù)不中斷，改善用戶體驗，是騰訊云的重要課題。降低宕機機率的措施主要有兩種：由于內(nèi)存是降低服務(wù)器宕機率的關(guān)鍵要素，但是內(nèi)存故障又是不可避免的，所以盡量降低內(nèi)存故障率，并減少內(nèi)存故障導(dǎo)致的宕機，是達成目標的關(guān)鍵路徑！騰訊云通過生產(chǎn)導(dǎo)入騰訊壓測算法、跟內(nèi)存廠家合作導(dǎo)入SMART PPR及落地和優(yōu)化多條RAS特性來實現(xiàn)降低內(nèi)存故障率。

接下來，李志高詳細介紹了MCA Recovery的技術(shù)。 

現(xiàn)在，騰訊云是業(yè)界第一個大規(guī)模部署MCA Recovery技術(shù)的廠家，已經(jīng)能夠降低40%以上內(nèi)存故障導(dǎo)致的宕機。騰訊云還與Intel 聯(lián)合推出了白皮書，并推動MCA Recovery成為標準特性。

虎牙直播Web網(wǎng)關(guān)的云演進之路

茶歇過后，虎牙直播底層計算技術(shù)和中間件技術(shù)負責人張波帶來了題為《虎牙直播Web網(wǎng)關(guān)的云演進之路》的演講。

張波從網(wǎng)關(guān)的作用、網(wǎng)關(guān)的云原生演進之路、及未來的展望三個方面進行了闡述。

網(wǎng)關(guān)的主要作用有三個：統(tǒng)一接入、網(wǎng)絡(luò)加速、通用功能offload，如認證、白名單、日志等通用功能，以及審計的功能。

對于虎牙的網(wǎng)關(guān)來說，統(tǒng)一接入的作用主要有五個：動靜分離、HTTPS加速&證書管理、入口流量的限流、智能流量轉(zhuǎn)發(fā)策略、邏輯分流與容災(zāi)等。在網(wǎng)絡(luò)加速方面，虎牙的主要技術(shù)是通過端線做到更快的流量回源。通用功能則包括流量控制、調(diào)用審計、服務(wù)治理等。

虎牙從2017年開始做網(wǎng)關(guān)的自建，主要經(jīng)過了四個階段：包括YY剝離，混合云的建設(shè)，云原生的演進和全球化改造。目前，虎牙正在進行網(wǎng)關(guān)2.0的建設(shè)。

虎牙最新的網(wǎng)關(guān)2.0解決方案解決的主要問題有跨洋訪問網(wǎng)絡(luò)質(zhì)量差、跨洋專線不可靠，Reload頻繁、流量負載不均衡、接入點太多導(dǎo)致的勾選復(fù)雜、負載均衡功能迭代升級慢?；⒀谰W(wǎng)關(guān)2.0的演進思路，首先是為了解決全球加速的問題，在負載均衡之上引入了網(wǎng)絡(luò)加速層，網(wǎng)絡(luò)加速點和業(yè)務(wù)所在點通過專線打通，實現(xiàn)網(wǎng)絡(luò)加速?；⒀谰W(wǎng)關(guān)2.0還引入了Apisix網(wǎng)關(guān)解決方案。Apisix基于 OpenResty 和 etcd 來實現(xiàn)，和傳統(tǒng) API 網(wǎng)關(guān)相比，APISIX 具備動態(tài)路由和插件熱加載，特別適合微服務(wù)體系下的 API 管理。

虎牙網(wǎng)關(guān)2.0的網(wǎng)絡(luò)加速產(chǎn)品比同類云產(chǎn)品的延時低了15%左右；對開發(fā)可以做到后端無需關(guān)心接入點的選擇，配置更新的時候不需要Reload，同時，模塊化帶來了開發(fā)效率的提升。

談到對未來的展望，張波認為Service Mesh是微服務(wù)治理與業(yè)務(wù)邏輯的解耦，異構(gòu)系統(tǒng)的統(tǒng)一治理。一些重量級組件增加了鏈路與運維的復(fù)雜度，需要更專業(yè)的運維技能。而微網(wǎng)關(guān)是把網(wǎng)關(guān)做小，甚至可以做到一個微服務(wù)一個網(wǎng)關(guān)，甚至一個節(jié)點一個網(wǎng)關(guān)，從而實現(xiàn)網(wǎng)關(guān)的彈性。

海量規(guī)模實時計算平臺解密

接下來，騰訊云大數(shù)據(jù)流計算產(chǎn)品負責人鄭燦彬帶來了題為《騰訊云海量規(guī)模實時計算平臺解密》的分享。

鄭燦彬首先介紹了騰訊第三代實時計算引擎Flink。Flink的四大優(yōu)勢可以總結(jié)為：豐富的實時計算的語義表達、有效的狀態(tài)管理支持、提供了Exactly-Once的容錯語義、出色的執(zhí)行性能。

Flink的性能雖好，但是在上線一個任務(wù)的時候，需要經(jīng)過開發(fā)、測試、部署、運維四個階段，每個階段需要用不同的工具與環(huán)境，開發(fā)效率較低。為了持續(xù)提高用戶整體的開發(fā)效率，做持續(xù)的發(fā)布和集成，騰訊云產(chǎn)品中心在2018年下半年，推出了云端的一站式全托管實時流計算平臺Oceanus。Oceanus集開發(fā)、測試、部署、運維于一體，同時打通了API管理、監(jiān)控、日志等周邊服務(wù)，為用戶提供了一套完整的Flink作業(yè)全生命周期管理的工具平臺。

Oceanus特點如下：

開發(fā)測試：用戶可在線進行業(yè)務(wù)開發(fā)及業(yè)務(wù)邏輯調(diào)試
部署管理：用戶可在線進行作業(yè)的啟動、停止、發(fā)布、暫停、恢復(fù)及刪除等操作
運維監(jiān)控：豐富的在線指標、快速診斷和自動調(diào)優(yōu)能力
權(quán)限管理：用戶可進行多租戶、細粒度作業(yè)權(quán)限管理，保障生產(chǎn)環(huán)境安全
開放API：生命周期管理均有云API接口支持，支持作業(yè)批量管理、混合云調(diào)度訴求

Oceanus提供 Web 端多種應(yīng)用構(gòu)建方式，鄭燦彬詳細展示了Oceanus允許用戶快速進行業(yè)務(wù)生產(chǎn)，分鐘級上線新業(yè)務(wù)；提供細粒度運行指標，以便于精細化運營；允許用戶快速診斷線上故障，快速解決問題；實時根據(jù)業(yè)務(wù)負載進行在線參數(shù)調(diào)優(yōu)，動態(tài)調(diào)整作業(yè)資源等特點，并詳細介紹了Oceanus基于 Kubernetes + 容器的資源管理和調(diào)度。

Oceanus 對 Flink 內(nèi)核進行了大量的改進來提高其可用性，包括穩(wěn)定性優(yōu)化，如云原生容器化，無感知 Master Failover；豐富了 SQL 能力，如 Windowing Table-valued Function，內(nèi)聯(lián)函數(shù)，增強窗口，補數(shù)窗口；性能提升，如回撤流優(yōu)化。在此期間，騰訊云也將大量的內(nèi)部優(yōu)化貢獻到Apache Flink 開源社區(qū)，累計commit數(shù)超過400個。

在案例介紹部分，鄭燦彬以國內(nèi)頂級游戲廠商的使用場景為例，介紹了其多數(shù)據(jù)源的數(shù)據(jù)同步和ETL、實時數(shù)倉-數(shù)據(jù)湖分析系統(tǒng)。 

 

關(guān)于未來規(guī)劃，鄭燦彬表示騰訊云首先考慮的是產(chǎn)品規(guī)劃，包括元數(shù)據(jù)庫表管理、血緣管理、變量管理、多語言支持，異構(gòu)資源支持，跨可用區(qū)容災(zāi)調(diào)度；以及SaaS化的實時ETL工具。第二方面是內(nèi)核規(guī)劃，包括支持更多的 SQL 算子、在容錯方面支持單 task 故障的快速恢復(fù)、在性能方面繼續(xù)增強，如Checkpoint 小文件處理等的優(yōu)化。

邊緣計算助力行業(yè)應(yīng)用

最后，騰訊云邊緣計算高級產(chǎn)品經(jīng)理朱祥艷帶來了題為《騰訊云邊緣計算助力行業(yè)應(yīng)用》的分享。

朱祥艷從騰訊云邊緣計算的布局、ECM和ECP產(chǎn)品介紹、行業(yè)應(yīng)用三個方面進行了闡述。

騰訊云邊緣計算基礎(chǔ)設(shè)施的優(yōu)勢主要包括：龐大的oc基礎(chǔ)設(shè)施支撐；騰訊龐大的2B2C業(yè)務(wù)，可以幫助騰訊云撐起邊緣計算建設(shè)規(guī)模；有強大的AI能力等賦能邊緣計算。騰訊云邊緣計算基礎(chǔ)設(shè)施產(chǎn)品相較于競品，率先提供了三通節(jié)點，且有邊緣LB服務(wù)，同時，其邊緣計算源于中心云技術(shù)方案，所以云邊協(xié)同更方便。

接下來，朱祥艷重點介紹了邊緣計算機器ECM和邊緣計算平臺ECP產(chǎn)品。

騰訊云ECM達到了省內(nèi)覆蓋單向10ms左右的時延，5G UPF分流進一步降低了時延。通過ECM構(gòu)建了高性價比分布式的應(yīng)用。同時，同源技術(shù)，實現(xiàn)了云邊協(xié)同及無縫遷移和對接。目前，ECM在工業(yè)云、在線教育、云渲染等場景都有了較為成熟的應(yīng)用。 

 

邊緣計算平臺ECP配合邊緣網(wǎng)關(guān)盒子，可以覆蓋1-2ms場景?；贒ocker管理和編排應(yīng)用，一次編譯隨處運行，實現(xiàn)了高便捷特性。同時，ECP與云結(jié)合，把中心能力下放到邊緣，實現(xiàn)了云邊協(xié)同。ECP產(chǎn)品目前在智慧水利行業(yè)也有了廣泛的應(yīng)用。  

Techo Hub的大幕開啟，更多精彩值得期待

騰訊云一向高度重視開發(fā)者的需求，全面助力開發(fā)者的個人成長和創(chuàng)造價值。繼去年Techo Park開發(fā)者大會之后，今年，騰訊云全新推出Techo Hub技術(shù)巡回活動，旨在更好的和全國不同地區(qū)的開發(fā)者連接，讓更多的開發(fā)者獲得學(xué)習(xí)、交流的機會。

以“大規(guī)模應(yīng)用下的計算技術(shù)實踐”為主題深圳站巡回活動拉開了2021 騰訊云Techo Hub的大幕，接下來，巡回活動還將走進西安、長沙、武漢、北京、上海、成都、杭州七座城市，持續(xù)與全國開發(fā)者分享熱點技術(shù)、主流應(yīng)用、開源生態(tài)和產(chǎn)品革新，與廣大開發(fā)者共同成長！

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】