無(wú)論是數(shù)據(jù)通訊技術(shù)的演進(jìn)、互聯(lián)網(wǎng)技術(shù)的革新、還是視覺(jué)呈現(xiàn)的升級(jí)，都是得益于更強(qiáng)大的計(jì)算、更大容量更安全的存儲(chǔ)以及更高效的網(wǎng)絡(luò)。 英偉達(dá)網(wǎng)絡(luò)結(jié)合客戶需求，提出了基于InfiniBand網(wǎng)絡(luò)為基礎(chǔ)的集群架構(gòu)方案，不僅可以提供更高帶寬的網(wǎng)絡(luò)服務(wù)，同時(shí)也降低了網(wǎng)絡(luò)傳輸負(fù)載對(duì)計(jì)算資源的消耗，降低了延時(shí)，又完美地將HPC與數(shù)據(jù)中心融合，構(gòu)建了元宇宙發(fā)展的基石。

近日，在由51CTO主辦的MetaCon元宇宙技術(shù)大會(huì)《人機(jī)交互與高性能網(wǎng)絡(luò)》分會(huì)場(chǎng)上，英偉達(dá)網(wǎng)絡(luò)高級(jí)產(chǎn)品經(jīng)理陳龍老師聚焦Meta集群的高性能網(wǎng)絡(luò)方案做了整體介紹，為元宇宙技術(shù)愛(ài)好者深度揭秘了什么是InfiniBand以及InfiniBand加速計(jì)算和存儲(chǔ)等精彩內(nèi)容！

一、InfiniBand網(wǎng)絡(luò)集群架構(gòu)產(chǎn)生的背景

眾所周知，我們現(xiàn)在是處于一個(gè)信息化的時(shí)代，一切信息都是以數(shù)字化為基礎(chǔ)的。5G、IoT的普及為我們構(gòu)建了數(shù)以億萬(wàn)的終端，打開(kāi)了數(shù)字化的終端。每時(shí)每刻數(shù)以億計(jì)的數(shù)據(jù)源源不斷地生成，匯入云端，而大數(shù)據(jù)、AI、區(qū)塊鏈為代表的技術(shù)可以在數(shù)據(jù)中心構(gòu)建的云端高效的數(shù)據(jù)存儲(chǔ)同時(shí)，不斷地分析、提煉數(shù)據(jù)，挖掘潛在的數(shù)據(jù)，反饋給終端，服務(wù)社會(huì)。

近年來(lái)，隨著web3.0和VR、AR技術(shù)的不斷完善，互聯(lián)網(wǎng)的邊界不斷被打破，在Meta的帶領(lǐng)下，元宇宙的時(shí)代正在悄然來(lái)臨。技術(shù)革命在豐富我們生活的同時(shí)，支持信息化時(shí)代的基石仍然沒(méi)有改變，計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)仍是其技術(shù)發(fā)展的主旋律。

無(wú)論是從2G到5G的數(shù)據(jù)通訊技術(shù)的演進(jìn)，還是web1.0、web2.0、web3.0互聯(lián)網(wǎng)技術(shù)的不斷革新，還有視覺(jué)呈現(xiàn)從圖片到視頻到VR、AR的過(guò)渡，支持其發(fā)展的無(wú)非是以下三點(diǎn)。

第 一，要更強(qiáng)大的計(jì)算：1.更多的核心做并行計(jì)算；2.異構(gòu)計(jì)算，突破X86 CPU架構(gòu)的限制。RISC-V、ARM、GPU、FPGA等計(jì)算單元的出現(xiàn)，滿足專業(yè)計(jì)算的需求。

第二，容量更大、更安全的存儲(chǔ)。容量從TB到EB級(jí)的存儲(chǔ)，存儲(chǔ)架構(gòu)也更加豐富，集中，分布式存儲(chǔ)、并行存儲(chǔ)滿足大容量、高性能數(shù)據(jù)存儲(chǔ)的需求。

第三，作為數(shù)據(jù)、計(jì)算和存儲(chǔ)的橋梁，網(wǎng)絡(luò)在計(jì)算存儲(chǔ)演進(jìn)的同時(shí)，自身的發(fā)展也極其迅速，從100G、200G、400G不斷發(fā)展，同時(shí)也從原有的TCP、UDP的網(wǎng)絡(luò)連接向RDMA擴(kuò)展，不斷地提升網(wǎng)絡(luò)傳輸?shù)男阅堋?/p>

另一方面，作為數(shù)據(jù)服務(wù)的提供商，為了應(yīng)對(duì)云化部署的大潮，紛紛提出了云原生的概念，從應(yīng)用的角度重新設(shè)計(jì)架構(gòu)，讓服務(wù)可以變得更加高效。與此同時(shí)，設(shè)計(jì)中心也在面臨著另外一項(xiàng)變革，云化不僅在傳統(tǒng)的數(shù)據(jù)中心的業(yè)務(wù)內(nèi)發(fā)生改變，也對(duì)HPC類的需求發(fā)生實(shí)質(zhì)性的影響，越來(lái)越多的HPC的應(yīng)用類似像仿真建模、圖形渲染、AI訓(xùn)練、數(shù)字孿生都部署在云端，滿足各行各業(yè)發(fā)展的需求。

在此背景之下，英偉達(dá)網(wǎng)絡(luò)結(jié)合客戶需求提出基于InfiniBand網(wǎng)絡(luò)為基礎(chǔ)的集群架構(gòu)方案，高效能地來(lái)完成客戶需求。相對(duì)于傳統(tǒng)的網(wǎng)絡(luò)方案，InfiniBand不僅提出了更高帶寬的網(wǎng)絡(luò)服務(wù)，也降低了網(wǎng)絡(luò)傳輸負(fù)載對(duì)計(jì)算資源的消耗，降低了延時(shí)，也完美地將HPC與數(shù)據(jù)中心融合在一起，構(gòu)建了元宇宙發(fā)展的基石。

二、Meta集群到底是什么？

元宇宙旗艦公司Meta和圖形圖像AI領(lǐng)域公司英偉達(dá)，共同高調(diào)發(fā)布了基于DGX SuperPOD架構(gòu)的Meta專用集群架構(gòu)，用于實(shí)現(xiàn)Meta搶占元宇宙時(shí)代技術(shù)制高點(diǎn)的主要武器，負(fù)責(zé)AI算法、數(shù)據(jù)計(jì)算場(chǎng)景的應(yīng)用。這次公布已經(jīng)上線的一期集群規(guī)模是搭載了6080塊的A100的760臺(tái)DGX服務(wù)器，所有GPU采用了200Gbps的InfiniBand HDR網(wǎng)卡，實(shí)現(xiàn)了高效的數(shù)據(jù)傳輸，整體集群性能達(dá)到1.89億TF32精度的計(jì)算能力。

如此之高的計(jì)算，使得Meta成為AI領(lǐng)域內(nèi)業(yè)界性能最高的集群，而如此規(guī)模之大的集群僅僅是Meta構(gòu)建元宇宙時(shí)代霸主雄心的開(kāi)始，后期的二期擴(kuò)建將達(dá)到16000塊GPU，整體集群的能力將高達(dá)5億，存儲(chǔ)的數(shù)據(jù)帶寬將達(dá)到16TB。

      再來(lái)看一下Meta公布的集群架構(gòu)圖。這么龐大的集群，將采用20臺(tái)800口的InfiniBand柜式交換機(jī)作為網(wǎng)絡(luò)的骨干層，下面連接100個(gè)Pod，每個(gè)Pod內(nèi)部署8臺(tái)40口InfiniBand HDR的交換機(jī)，實(shí)現(xiàn)全網(wǎng)絡(luò)無(wú)阻塞的CLOS架構(gòu)，從而達(dá)到相比之前Facebook AI集群20倍性能計(jì)算的提升、9倍NCCL并行計(jì)算的能力、3倍AI模型建模的參數(shù)訓(xùn)練。除此之外，集群還部署了10PB的NFS的集中數(shù)據(jù)存儲(chǔ)，46PB的塊存儲(chǔ)，提供內(nèi)存數(shù)據(jù)恢復(fù)，175PB的塊存儲(chǔ)，而這一切都是以InfiniBand的網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)傳輸?shù)目焖賯鬏斀鉀Q方案。

是什么原因讓InfiniBand成為Meta集群的首要方案呢？從InfiniBand的網(wǎng)絡(luò)發(fā)展歷程來(lái)看，網(wǎng)卡會(huì)跟以太卡有所不同，其實(shí)我們現(xiàn)在熟知的以太網(wǎng)絡(luò)的網(wǎng)卡的很多設(shè)計(jì)都是從InfiniBand這里借鑒過(guò)來(lái)的。從圖上可以看出，早在20年前InfiniBand就發(fā)展出了萬(wàn)兆卡，2008年已經(jīng)演進(jìn)到了40Gbps，隨后平均每三年左右就會(huì)發(fā)展出新的產(chǎn)品。今年已經(jīng)量產(chǎn)了400G的NDL網(wǎng)卡，所以這InfiniBand成為GPU集群的首選方案，代際演進(jìn)也將會(huì)變成兩年一代，2023年英偉達(dá)會(huì)發(fā)布800G的XDR網(wǎng)卡，2025年將發(fā)布1.6TB的GDL網(wǎng)卡，為消除數(shù)據(jù)傳輸之間的鴻溝奠定了堅(jiān)實(shí)的基礎(chǔ)。

三、InfiniBand 網(wǎng)絡(luò)架構(gòu)的奧秘

從InfiniBand解決方案的全景圖中，我們會(huì)看到有網(wǎng)卡、交換機(jī)、線纜、網(wǎng)絡(luò)端到端的硬件設(shè)備，還有DPU、網(wǎng)關(guān)設(shè)備，從而不僅構(gòu)建了完備的數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)備，而且還打通了與廣域網(wǎng)同城應(yīng)用的節(jié)點(diǎn)，實(shí)現(xiàn)了硬件完備的網(wǎng)絡(luò)傳輸解決方案，有兩點(diǎn)值得一提：

一是盒式交換機(jī)，我們提供的是1U 40口的200G交換機(jī)，相比同級(jí)別競(jìng)爭(zhēng)對(duì)手提升了20%的交換能力。而且針對(duì)像Meta這樣的大型客戶，單獨(dú)提供了業(yè)界唯一20U超大型的柜式交換機(jī)，實(shí)現(xiàn)高達(dá)800個(gè)端口的超大規(guī)模的交換。      

二是InfiniBand提供了業(yè)界新概念的DPU網(wǎng)卡，實(shí)現(xiàn)在業(yè)務(wù)負(fù)載上的卸載和隔離，做到了端到端的網(wǎng)絡(luò)管理與維護(hù)，最大化兼容老舊設(shè)備，可以讓設(shè)備無(wú)縫連接到高性能的InfiniBand的網(wǎng)絡(luò)。而這些硬件的基礎(chǔ)之上，我們還開(kāi)創(chuàng)性的構(gòu)建了網(wǎng)絡(luò)計(jì)算這一新興概念，實(shí)現(xiàn)在交換機(jī)上做計(jì)算，同時(shí)結(jié)合SHIELD、SHARP、GPU RDMADirect等功能之后，使得我們的網(wǎng)絡(luò)更加的智能和高效。

四、InfiniBand 是如何實(shí)現(xiàn)加速計(jì)算的？

講到計(jì)算，不太了解RDMA的應(yīng)用的人們可能會(huì)疑惑，一個(gè)負(fù)責(zé)傳輸?shù)木W(wǎng)絡(luò)是如何實(shí)現(xiàn)對(duì)計(jì)算的加速呢？問(wèn)題就在于真實(shí)的數(shù)據(jù)傳輸不僅僅是網(wǎng)絡(luò)設(shè)備的事情，以我們熟知的TCP報(bào)文轉(zhuǎn)發(fā)為例，大量的數(shù)據(jù)、協(xié)議報(bào)文處理都需要CPU的深度介入，類似像報(bào)文的封裝、轉(zhuǎn)發(fā)、上下文切換，都需要大量的CPU的開(kāi)銷才能實(shí)現(xiàn)。在這樣的機(jī)制下，10G帶寬以下的數(shù)據(jù)流量不大的情況下，CPU的資源占用不太明顯。但是在流量上升到100G以上的時(shí)候，我們就會(huì)發(fā)現(xiàn)整個(gè)CPU的開(kāi)銷就會(huì)顯著增加。在某些場(chǎng)景下，CPU的消耗會(huì)達(dá)到20多個(gè)核，來(lái)實(shí)現(xiàn)100G的數(shù)據(jù)傳輸。因此，在普遍服務(wù)器進(jìn)入到100G傳輸?shù)谋尘跋拢牡魝鬏數(shù)腃PU的資源的代價(jià)就是在幫助計(jì)算加速。

RDMA就是這樣一種技術(shù)，在通信兩端的服務(wù)器內(nèi)實(shí)現(xiàn)數(shù)據(jù)的直接傳輸，整個(gè)數(shù)據(jù)的操作CPU是完全不會(huì)介入，不僅降低了CPU的開(kāi)銷，而且也使得CPU不會(huì)成為數(shù)據(jù)傳輸?shù)钠款i，使得我們的數(shù)據(jù)傳輸可以向200G、400G乃至1TB的數(shù)據(jù)的演進(jìn)。

從圖上我們可以看出，對(duì)于一個(gè)普通的服務(wù)器當(dāng)沒(méi)有使用RDMA技術(shù)的時(shí)候，由于CPU要負(fù)責(zé)大量的協(xié)議的開(kāi)銷處理，使得有47%的資源工作在Kernel態(tài)下，而只有大概50%的資源用于程序的計(jì)算，限制了整個(gè)服務(wù)器的應(yīng)用擴(kuò)展。當(dāng)如果我們使用RDMA技術(shù)之后，使得大量的消耗CPU資源的數(shù)據(jù)面完全被卸載在網(wǎng)卡上，我們就可以能夠控制在Kernel的資源在CPU的12%，將用戶態(tài)的CPU資源實(shí)現(xiàn)翻倍。這樣不僅將整個(gè)傳輸?shù)男阅芴岣?，同時(shí)騰出來(lái)的CPU的資源又可以能夠部署更多的計(jì)算的負(fù)載，實(shí)現(xiàn)了整個(gè)帶寬的提升的同時(shí)，又增加了業(yè)務(wù)的部署，提高了整個(gè)服務(wù)器的利用效率。

 另外，如何對(duì)GPU實(shí)現(xiàn)加速呢？

現(xiàn)在隨著AI技術(shù)的快速普及，GPU的應(yīng)用也變得越來(lái)越重要，而且在GPU上由于有成千上萬(wàn)的核要做計(jì)算，對(duì)數(shù)據(jù)傳輸?shù)男枨缶蜁?huì)更大。在CPU服務(wù)器正在普遍向100G過(guò)渡的時(shí)候，GPU的服務(wù)器200G的網(wǎng)絡(luò)已經(jīng)成為標(biāo)配，并且我們正在向400G乃至800G的網(wǎng)絡(luò)過(guò)渡。因此GPU對(duì)網(wǎng)絡(luò)傳輸?shù)男枨髸?huì)更為迫切。

解決方案除了需要像RDMA這樣的技術(shù)之外，還需要進(jìn)一步擴(kuò)展在網(wǎng)絡(luò)數(shù)據(jù)面上的制約，讓GPU全速運(yùn)行。在標(biāo)準(zhǔn)的GPU服務(wù)器的架構(gòu)上，我們知道GPU是以PCIe的方式和CPU進(jìn)行互聯(lián)的，在這種架構(gòu)下就決定了GPU在服務(wù)器數(shù)據(jù)傳輸時(shí)，所有的數(shù)據(jù)都要經(jīng)過(guò)CPU。

從上圖能夠了解到，如果是這樣的這種傳輸方式，跨服務(wù)器之間的GPU的數(shù)據(jù)傳輸需要實(shí)現(xiàn)五步的數(shù)據(jù)拷貝。首先，服務(wù)器內(nèi)部的GPU的顯存要把自己的數(shù)據(jù)通過(guò)PCIe總線傳輸?shù)奖镜氐腃PU的內(nèi)存上，然后再由本地的CPU內(nèi)存實(shí)現(xiàn)數(shù)據(jù)拷貝，拷貝到專門的RDMA傳輸?shù)墓艿赖膬?nèi)存上。然后再通過(guò)RDMA的技術(shù)，使得這個(gè)數(shù)據(jù)從本臺(tái)服務(wù)器的內(nèi)存?zhèn)鬏數(shù)搅硗庖慌_(tái)服務(wù)器的內(nèi)存，之后再由另一臺(tái)服務(wù)器的內(nèi)存實(shí)現(xiàn)拷貝，拷貝到和本地GPU顯存交互的內(nèi)存上。最后再由這部分的數(shù)據(jù)拷貝到GPU的顯存上。五步的數(shù)據(jù)拷貝，我們會(huì)看到這個(gè)操作會(huì)變得非常的復(fù)雜，而且中間的CPU內(nèi)存等等都會(huì)成為數(shù)據(jù)轉(zhuǎn)發(fā)的瓶頸。

要解決這個(gè)問(wèn)題，需要GPU Direct RDMA的技術(shù)，該技術(shù)可以實(shí)現(xiàn)讓GPU和網(wǎng)卡直接bypass掉CPU，實(shí)現(xiàn)網(wǎng)卡和GPU之間的數(shù)據(jù)直連。這樣只需要一步的數(shù)據(jù)拷貝，就可以讓處于發(fā)送端GPU的數(shù)據(jù)從它的顯存中直接一步跳到目的端的GPU的顯存內(nèi)，實(shí)現(xiàn)數(shù)據(jù)的快速拷貝。簡(jiǎn)化了流程，降低了時(shí)延，實(shí)現(xiàn)對(duì)GPU應(yīng)用的加速的效果。

使用了GPU Direct RDMA技術(shù)之后，其對(duì)AI集群可以實(shí)現(xiàn)90%的時(shí)延的節(jié)省，4K以上報(bào)文大小的message傳輸?shù)腎/O帶寬實(shí)現(xiàn)了十倍的性能的提升。同時(shí)在這樣網(wǎng)絡(luò)性能大幅提升的前提下，對(duì)AI集群的并行計(jì)算的任務(wù)實(shí)現(xiàn)了一倍以上的性能改進(jìn)的效果，大幅提高了AI集群的效能，改善了投入產(chǎn)出比。也正是這個(gè)原因，導(dǎo)致了Meta在元宇宙時(shí)代堅(jiān)定地要使用InfiniBand的網(wǎng)絡(luò)作為業(yè)界最大規(guī)模AI集群的網(wǎng)絡(luò)方案，從而證實(shí)了InfiniBand的網(wǎng)絡(luò)加速GPU計(jì)算的效果。

以上我們從網(wǎng)卡的角度上闡述了InfiniBand如何機(jī)遇性的加速CPU和GPU計(jì)算，當(dāng)然，那作為網(wǎng)絡(luò)中最為關(guān)鍵的交換機(jī)，InfiniBand是如何加速網(wǎng)絡(luò)計(jì)算的？這里需要提到InfiniBand的應(yīng)用SHARP了。

我們知道AI訓(xùn)練過(guò)程中有著大量的AllReduce的操作，直白地講，就是負(fù)責(zé)分布式計(jì)算的GPU要同時(shí)更新自己的數(shù)據(jù)到不同的計(jì)算GPU上，這樣的話在這種框架下就決定了數(shù)據(jù)要反復(fù)地進(jìn)行網(wǎng)絡(luò)，保持?jǐn)?shù)據(jù)在各個(gè)GPU上的同步。并且AllReduce的計(jì)算類型無(wú)非是求和異或求最值等簡(jiǎn)單但是計(jì)算頻繁的操作。我們知道了這樣的計(jì)算模式之后，就可以設(shè)想把交換機(jī)變成一個(gè)計(jì)算節(jié)點(diǎn)，將所有的GPU的數(shù)據(jù)統(tǒng)一匯集到交換機(jī)上進(jìn)行計(jì)算，并且統(tǒng)一分發(fā)到各個(gè)GPU上。這樣由于交換機(jī)的轉(zhuǎn)發(fā)帶寬遠(yuǎn)大于服務(wù)器，如此的架構(gòu)不僅沒(méi)有數(shù)據(jù)傳輸?shù)钠款i，而且在數(shù)據(jù)網(wǎng)絡(luò)中的流轉(zhuǎn)只需要一次就可以完成所有的計(jì)算過(guò)程，大大簡(jiǎn)化了計(jì)算過(guò)程，降低了時(shí)延，消除了瓶頸。

從上面的圖例可以看出，在幾十臺(tái)DGX的服務(wù)器集群規(guī)模上使用了網(wǎng)絡(luò)計(jì)算功能之后，整體集群完成訓(xùn)練的任務(wù)的性能提升了18%，這就意味著當(dāng)使用了InfiniBand網(wǎng)絡(luò)的集群的時(shí)候，交換機(jī)不僅完成了高性能的數(shù)據(jù)傳輸，同時(shí)還完成了近兩成的計(jì)算任務(wù)，為客戶提高了性能的同時(shí)，節(jié)省了大量的服務(wù)器投入成本。

五、InfiniBand 是如何實(shí)現(xiàn)加速存儲(chǔ)的？

眾所周知，計(jì)算和存儲(chǔ)是任何集群中最重要的兩個(gè)組成部分。雖然在一個(gè)集群的物理形態(tài)下，存儲(chǔ)服務(wù)器的數(shù)量明顯少于計(jì)算服務(wù)器，但從本質(zhì)上看，從事于存儲(chǔ)的服務(wù)器其實(shí)只是負(fù)責(zé)數(shù)據(jù)存儲(chǔ)的一小部分。而在廣義上的存儲(chǔ)，其實(shí)遍布了集群中的每一個(gè)角落。    

在這里，我們按照以下四個(gè)維度對(duì)這幾種常見(jiàn)的存儲(chǔ)器件進(jìn)行歸類和排布。 

1.數(shù)據(jù)存儲(chǔ)的帶寬

2.數(shù)據(jù)訪問(wèn)的時(shí)延

3.存儲(chǔ)器件的容量

4.單位容量下存儲(chǔ)的成本

不難看出IRAM內(nèi)存SSD資源池、硬盤資源池和磁帶資源池，剛好能夠按照對(duì)角線進(jìn)行排布。這就意味著在這樣的組成的集群內(nèi)存儲(chǔ)的性價(jià)比是最高，配置最為合理的存儲(chǔ)方案。

但是如果機(jī)械硬盤、固態(tài)硬盤以單個(gè)器件存在，那存儲(chǔ)方案就不能實(shí)現(xiàn)對(duì)角線的排布。原因其實(shí)很簡(jiǎn)單，以機(jī)械硬盤為例，受限于存儲(chǔ)帶寬的限制，單個(gè)硬盤不能夠提供更高的I/O、更大的容量，所以分布式存儲(chǔ)興起的時(shí)候，通過(guò)池化方案，完美地解決了這個(gè)問(wèn)題，使得硬盤落盤的帶寬大幅提升，同時(shí)容量也變得更大。而今天固態(tài)硬盤的興起，雖然帶寬有了一兩個(gè)數(shù)量級(jí)的提升，但是相對(duì)于內(nèi)存來(lái)說(shuō)，仍然不夠快，同時(shí)存儲(chǔ)的容量也不夠大。所以通過(guò)網(wǎng)絡(luò)方案池化，將成為固態(tài)硬盤必然的一個(gè)趨勢(shì)，而此時(shí)對(duì)網(wǎng)絡(luò)承擔(dān)數(shù)百G的流量壓力。

因此，對(duì)于存儲(chǔ)，InfiniBand的加速本質(zhì)上就是通過(guò)存儲(chǔ)器件的并行之后的池化，實(shí)現(xiàn)了數(shù)據(jù)性能的提升，而實(shí)現(xiàn)加速效果的。

通過(guò)InfiniBand的網(wǎng)絡(luò)重新解構(gòu)集群，將計(jì)算單元、存儲(chǔ)單元立化成池，用InfiniBand作為整個(gè)集群的背板總線，高效地將其互聯(lián)起來(lái)，為軟件定義集群奠定了硬件的基礎(chǔ)。這樣，高性能集群就變成了一臺(tái)超高性能的服務(wù)器，可以根據(jù)各種任務(wù)的負(fù)載特性的不同，靈活配置計(jì)算與存儲(chǔ)資源，最大限度地滿足效率的同時(shí)，還能有更高的性能表現(xiàn)。并且在未來(lái)集群擴(kuò)容時(shí)，可以根據(jù)真實(shí)的情況需要，定向擴(kuò)容所需的資源，提高集群的彈性。而這一切，都需要建立在高可靠、高帶寬、低延時(shí)的網(wǎng)絡(luò)上。

要想了解更多元宇宙網(wǎng)絡(luò)及運(yùn)算相關(guān)內(nèi)容信息，可查看MetaCon元宇宙技術(shù)大會(huì)官網(wǎng)，地址：https://metacon.51cto.com/