1. 全球的網(wǎng)絡(luò)規(guī)劃

很多面向全球的多區(qū)域基礎(chǔ)設(shè)施，在設(shè)計之初并沒有在網(wǎng)絡(luò)規(guī)劃上花費太多心思。當(dāng)業(yè)務(wù)復(fù)雜到一定程度時，又被逼著進行網(wǎng)絡(luò)調(diào)整和優(yōu)化。而任何網(wǎng)絡(luò)上的大調(diào)整，都將對業(yè)務(wù)產(chǎn)生巨大影響。最終會陷入進退兩難之地，只能投入更多人力，背上歷史包袱，一次又一次行走于懸崖之顛。

如下圖是我認為比較理想的一種網(wǎng)絡(luò)拓撲:

網(wǎng)絡(luò)規(guī)劃主要有如下幾點:

• 網(wǎng)段劃分

在面向全球的業(yè)務(wù)形態(tài)下，網(wǎng)絡(luò)被割裂為兩部分: 海外和中國內(nèi)地。我更傾向于建立兩個中心，國內(nèi)的核心節(jié)點設(shè)置在北京，主要面向國內(nèi)業(yè)務(wù);海外的核心節(jié)點設(shè)置在新加坡，主要面向海外業(yè)務(wù)。

因此將 10.128.0.0/16 及以上網(wǎng)段劃分給海外，10.127.0.0/16 及以下劃分給國內(nèi)。同時，每個區(qū)的網(wǎng)段之間相隔 8，預(yù)留一定的擴展空間。

• 實現(xiàn)連通

如果是同一個 VPC，那么內(nèi)網(wǎng)是可達的。但是如果是不同 VPC、不同的廠商、不同的區(qū)域之間，我們通常會借助一定的方法實現(xiàn)連通：公網(wǎng)或者專線。

公網(wǎng)是比較普適的一種方法。我們可以基于公網(wǎng)，搭建 VPN 內(nèi)網(wǎng)，實現(xiàn)網(wǎng)絡(luò)連通。但是，公網(wǎng)的連通質(zhì)量不能得到保障，因此還有一種方式就是專線。

專線能夠?qū)崿F(xiàn)跨區(qū)域的網(wǎng)絡(luò)連通，但是云專線通常限于同一家云廠商。也就是說，華為云北京的云專線只能連通華為云新加坡，而不能連通 AWS 新加坡。

• 配置路由

實現(xiàn)連通只是相當(dāng)于插上了網(wǎng)線，但是轉(zhuǎn)發(fā)數(shù)據(jù)包時，并不清楚 IP 包的下一跳是哪里，因此還需要配置路由。

由于設(shè)置有兩個網(wǎng)絡(luò)核心，海外的區(qū)域與海外的核心節(jié)點需要互通，國內(nèi)的區(qū)域與國內(nèi)的核心節(jié)點需要互通。至于其他各區(qū)域是否互通，需要看是否有需求。比如，我們需要在內(nèi)網(wǎng)進行鏡像數(shù)據(jù)的 P2P 分發(fā)，那么就需要各區(qū)域也互通。

2. 建設(shè)全球鏡像分發(fā)能力

全球的鏡像分發(fā)能力是建立在全球 IDC 內(nèi)網(wǎng)互通的前提下的。我們不能讓基礎(chǔ)設(shè)施暴露于公網(wǎng)之上，全部的鏡像數(shù)據(jù)都是通過內(nèi)網(wǎng)流量進行傳輸?shù)摹?/p>

如下圖是一個全球鏡像分發(fā)系統(tǒng):

我們的研發(fā)部門在國內(nèi)，而部署的服務(wù)遍布全球。鏡像數(shù)據(jù)的流轉(zhuǎn)會經(jīng)過以下流程:

• 國內(nèi)構(gòu)建鏡像并推送到國內(nèi)的 Habor 中。
• 國內(nèi) Habor 同步鏡像到海外的 Habor 中。
• 在某個區(qū)域，部署海外的應(yīng)用，拉取鏡像。
• 由于每個 Docker 中都配置了 Dget 的地址作為 registry-mirrors，應(yīng)用鏡像被緩存到 Dget 中。
• 在同一個區(qū)域，多個副本部署時，都將直接拉取 Dget 中的鏡像。

3. Habor 的部署與高可用

3.1 部署 Habor

Harbor 部署主要有兩種方式 Helm Chart 和 Docker Compose。這里推薦的是 Docker Compose，因為作為一個不會頻繁變更、穩(wěn)定性要求高的服務(wù)，VM 比 Kubernetes 更適合作為 Habor 的基礎(chǔ)設(shè)施。

3.2 高可用 Harbor

Harbor 的高可用主要有兩種方式:

• 共享存儲。一致性高，需要部署雙活\主備的存儲后端。
• 多 Harbor 之間同步。一致性不高，鏡像同步需要時間。

我建議采用的方案是共享存儲，不想等待 Harbor 同步完成，推送完的鏡像即可用。如下圖，共享存儲方案下，需要以雙活\主備的形式部署存儲組件:

這里需要共享的組件有:

• 共享 PGSQL

可以直接購買云廠商的服務(wù)，然后初始化創(chuàng)建表。

CREATE DATABASE notary_server;
CREATE DATABASE notary_signer;
CREATE DATABASE harbor ENCODING 'UTF8';

CREATE USER harbor;
ALTER USER harbor WITH ENCRYPTED PASSWORD '123456';
GRANT ALL PRIVILEGES ON DATABASE notary_server TO harbor;
GRANT ALL PRIVILEGES ON DATABASE notary_signer TO harbor;
GRANT ALL PRIVILEGES ON DATABASE registry TO harbor;

GRANT ALL PRIVILEGES ON DATABASE harbor TO harbor;
GRANT ALL PRIVILEGES ON DATABASE clair TO harbor;

external_database:
  harbor:
    host: 1.1.1.1
    port: 5432
    db_name: harbor
    username: harbor
    password: 123456
    ssl_mode: disable
    max_idle_conns: 10
    max_open_conns: 100
  notary_server:
    host: 1.1.1.1
    port: 5432
    db_name: notary_server
    username: harbor
    password: 123456
    ssl_mode: disable
    max_idle_conns: 10
    max_open_conns: 30
  notary_signer:
    host: 1.1.1.1
    port: 5432
    db_name: notary_signer
    username: harbor
    password: 123456
    ssl_mode: disable
    max_idle_conns: 10
    max_open_conns: 30

• 共享 Redis

Harbor 的 Redis 主要存儲的是會話 Session 信息，會影響到 Harbor UI 頁面的登錄。如果對可用性要求不太高，可以使用自建的 Redis 實例，因為即使 Redis 的存儲數(shù)據(jù)丟失，對 Harbor 的數(shù)據(jù)完整性沒有影響。

• 共享 S3 對象存儲

我使用的是華為 OBS 對象存儲，這里的 AKSK 需要給 full 權(quán)限。

storage_service:
  s3:
    accesskey: xxx
    secretkey: xxx
    region: ap-southeast-3
    regionendpoint: https://obs.ap-southeast-3.myhuaweicloud.com
    bucket: xxx
    encrypt: false
    secure: true
    v4auth: true
    chunksize: 5242880
    multipartcopychunksize: 33554432
    multipartcopymaxconcurrency: 100
    multipartcopythresholdsize: 33554432
    rootdirectory: /registry/

如果擔(dān)心 S3 的單點問題，可以購買兩個 Bucket，相互同步鏡像數(shù)據(jù)。這樣，當(dāng)其中一個 Bucket 有異常時，可以迅速切換到另外一個 Bucket 恢復(fù)服務(wù)。

4. 利用 Dragonfly 節(jié)省帶寬

為什么需要 Dragonfly 分發(fā)鏡像? 其中很大的一個原因在于節(jié)省帶寬，還有就是避免 Habor 的負載過大。

如果不使用 Dragonfly 鏡像分發(fā)，那么每次拉取鏡像都會向 Habor 請求數(shù)據(jù)。如下圖:

而采用 Dragonfly 之后，同一個區(qū)域只需要請求一次 Harbor，其他請求都可以通過區(qū)域內(nèi)的流量完成。這種方式大大加快了鏡像拉取過程，節(jié)省了跨區(qū)域的帶寬，減輕了 Habor 的負載壓力。

5. 總結(jié)

最近在給業(yè)務(wù)重新規(guī)劃部署一套鏡像管理系統(tǒng)，本篇是相關(guān)思考和實踐的一些總結(jié)。

本文主要從網(wǎng)絡(luò)規(guī)劃開始，聊到全球鏡像的分發(fā)。網(wǎng)絡(luò)規(guī)劃主要涉及網(wǎng)段規(guī)劃、實現(xiàn)連通、配置路由三個部分。而鏡像分發(fā)主要采用的是 Habor + Dragonfly 的方案。同時，推薦的是采用共享存儲的方式部署高可用的 Harbor。

實際上，在部署完 Habor 之后，我還對各區(qū)域拉取鏡像的速度進行了測試。另外，還需要將影響 Habor 服務(wù)的依賴項配置監(jiān)控，持續(xù)的改進，才能打造好的鏡像倉庫及分發(fā)系統(tǒng)。

6. 參考

• https://github.com/dragonflyoss/Dragonfly2
• https://github.com/goharbor/harbor