自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

排查構(gòu)建鏡像時 IO 慢問題

作者：陳少文
存儲 數(shù)據(jù)管理
通過設(shè)計各種測試案例排查問題，對各個要素進(jìn)行一一驗證，需要極大耐心，也特別容易走錯方向，得出錯誤結(jié)論。

?1. 遇到的問題

項目介紹:

  • 文件大小 5.6 GB
  • 文件數(shù)量 529352

Dockerfile

FROM golang:1.13

COPY ./ /go/src/code

構(gòu)建命令及輸入如下:

time DOCKER_BUILDKIT=1 docker build --no-cache -t test:v3 -f Dockerfile .  --progress=plain

#1 [internal] load build definition from Dockerfile
#1 sha256:2a154d4ad813d1ef3355d055345ad0e7c5e14923755cea703d980ecc1c576ce7
#1 transferring dockerfile: 37B done
#1 DONE 0.1s

#2 [internal] load .dockerignore
#2 sha256:9598c0ddacf682f2cac2be6caedf6786888ec68f009c197523f8b1c2b5257b34
#2 transferring context: 2B done
#2 DONE 0.2s

#3 [internal] load metadata for golang:1.13
#3 sha256:0c7952f0b4e5d57d371191fa036da65d51f4c4195e1f4e1b080eb561c3930497
#3 DONE 0.0s

#4 [1/2] FROM golang:1.13
#4 sha256:692ef5b58e708635d7cbe3bf133ba934336d80cde9e2fdf24f6d1af56d5469ed
#4 CACHED

#5 [internal] load build context
#5 sha256:f87f36fa1dc9c0557ebc53645f7ffe404ed3cfa3332535260e5a4a1d7285be3c
#5 transferring context: 18.73MB 4.8s
#5 transferring context: 38.21MB 9.8s done
#5 DONE 10.5s

#6 [2/2] COPY ./ /go/src/code
#6 sha256:2c63806741b84767def3d7cebea3872b91d7ef00bd3d524f48976077cce3849a
#6 DONE 26.8s

#7 exporting to image
#7 sha256:e8c613e07b0b7ff33893b694f7759a10d42e180f2b4dc349fb57dc6b71dcab00
#7 exporting layers
#7 exporting layers 67.5s done
#7 writing image sha256:03b278543ab0f920f5af0540d93c5e5340f5e1f0de2d389ec21a2dc82af96754 done
#7 naming to docker.io/library/test:v3 done
#7 DONE 67.6s

real    1m45.411s
user    0m18.374s
sys     0m7.344s

其中比較花時間的是:

  • 10s，load build context
  • 26s，執(zhí)行 COPY 操作
  • 67s，導(dǎo)出鏡像，鏡像大小 5.79GB

以下也是按照這個思路進(jìn)行逐一排查，測試驗證，尋找構(gòu)建時的 IO 瓶頸。

2. 自制 go client 直接提交給 Dockerd 構(gòu)建效果不佳

工程 https://github.com/shaowenchen/demo/tree/master/buidl-cli 實現(xiàn)的功能就是將本地的 Dockerfile 及上下文提交給 Dockerd 進(jìn)行構(gòu)建，從而測試 Docker CLI 是否有提交文件上的瓶頸。

2.1 編譯生成二進(jìn)制文件

GOOS=linux GOARCH=amd64 go build  -o build main.go

2.2 自制二進(jìn)制提交構(gòu)建任務(wù)

time ./build ./ test:v3

real    5m12.758s
user    0m2.182s
sys     0m14.169s

使用 Go 寫的 cli 工具，將構(gòu)建上下文提交給 Dockerd 進(jìn)行構(gòu)建，時長急劇增加；與此同時，構(gòu)建機的負(fù)載飆升。

也可能還有其他優(yōu)化點，需要慢慢調(diào)試。而 Docker CLI 其實也有相關(guān)的參數(shù)可以用于減少 IO 占用時間。

3. 構(gòu)建參數(shù) compress、stream 參數(shù)優(yōu)化效果不佳

compress 會將上下文壓縮為 gzip 格式進(jìn)行傳輸，而 stream 會以流的形式傳輸上下文。

3.1 使用 compress 優(yōu)化

time DOCKER_BUILDKIT=1 docker build --no-cache -t test:v3 -f Dockerfile . --compress

real    1m46.117s
user    0m18.551s
sys     0m7.803s

3.2 使用 stream 優(yōu)化

time DOCKER_BUILDKIT=1 docker build --no-cache -t test:v3 -f Dockerfile . --stream

real    1m51.825s
user    0m19.399s
sys     0m7.657s

這兩個參數(shù)對縮短構(gòu)建時間，并沒有什么效果。但需要注意的是測試項目的文件大而且數(shù)量多，如果測試用例發(fā)生變化，可能產(chǎn)生不同的效果。接著，我們一起看看文件數(shù)量、文件大小對 Dockerd 構(gòu)建鏡像的影響。

4. 文件數(shù)量對 COPY 影響遠(yuǎn)不及文件大小

4.1 準(zhǔn)備測試文件

du -h --max-depth=1

119M    ./data
119M    .

在 data 目錄下放置了一個 119MB 的文件，通過復(fù)制該文件不斷增加 build context 的大小。

4.2 測試 Dockerfile

FROM golang:1.13

COPY ./ /go/src/code

4.3 構(gòu)建命令

DOCKER_BUILDKIT=1 docker build --no-cache -t test:v3 -f Dockerfile .

4.4 測試文件大小對 COPY 影響明顯

文件大小

構(gòu)建時長

文件個數(shù)

119M

0.3s

1個

237M

0.4s

2個

355M

0.5s

3個

473M

0.6s

4個

1.3G

3.7s

11個

2.6G

9.0s

22個

文件大小對 COPY 影響明顯，接近線性增長。

4.5 測試文件數(shù)量對 COPY 影響甚微

文件大小

構(gòu)建時長

文件個數(shù)

2.9G

13.8s

264724個

5.6G

37.1s

529341個

文件數(shù)量對 COPY 影響不大。這是由于在 Docker CLI 將 build context 發(fā)送給 Dockerd 時，會對 context 進(jìn)行 tar 打包，并不是一個一個文件傳輸。

4.6 構(gòu)建并發(fā)數(shù)的瓶頸在磁盤IO

5.6G 529341個

并發(fā)量

構(gòu)建時長

1

37.1s

2

46s

3

81s

通過 iotop 可以實時觀測到磁盤寫速度，最快能達(dá)到 200MB/s，與文件系統(tǒng) 4K 隨機寫速度最接近。

Rand_Write_Testing: (groupid=0, jobs=1): err= 0: pid=30436
  write: IOPS=37.9k, BW=148MiB/s (155MB/s)(3072MiB/20752msec); 0 zone resets

由于公用一個 Dockerd，并發(fā)時 Dockerd 吞吐會有瓶頸，系統(tǒng)磁盤 IO 也會成為瓶頸。

5. 不清理 Buildkit 緩存對新的構(gòu)建影響甚微

如果提示找不到 docker build?，則需要開啟EXPERIMENTAL? 或者沒有 buildx，需要下載 docker-buildx? 到 /usr/libexec/docker/cli-plugins/ 目錄。

  • 查看 build 緩存
docker system df  -v
  • 清理全部 build 緩存
DOCKER_BUILDKIT=1 docker builder prune -f

僅當(dāng)開啟 BuildKit 時，才會產(chǎn)生 Build cache。生產(chǎn)環(huán)境的緩存大小達(dá)到 1.408TB，但比較清理前后，對于新項目的構(gòu)建并沒有發(fā)現(xiàn)明顯構(gòu)建速度變化；對于老項目，如果沒有變動，命中緩存后速度很快?？赡艿脑蚴蔷彺骐m大但條目不多，查詢是否有緩存的時間開銷很小。

但定期定理緩存，有利于預(yù)防磁盤被占滿的風(fēng)險。

  • 定時清理遠(yuǎn)期的構(gòu)建緩存

清理掉 72h 之前的緩存

DOCKER_CLI_EXPERIMENTAL=enabled docker buildx prune --filter "until=72h" -f

6. 構(gòu)建不會限制 CPU 但 IO 速度很慢

6.1 測試 CPU 限制

Dockerfile 文件

FROM ubuntu
RUN apt-get update -y
RUN apt-get install -y stress
RUN stress -c 40
DOCKER_BUILDKIT=1 docker build --no-cache -t test:v3 -f Dockerfile .

構(gòu)建機有 40C，構(gòu)建時機器 CPU 負(fù)載能達(dá)到 95%，說明構(gòu)建時，Dockerd 默認(rèn)不會對 CPU 消耗進(jìn)行限制。在生產(chǎn)環(huán)境下，出現(xiàn)過 npm run build 占用 十幾個 GB 內(nèi)存的場景，因此我判斷 Dockerd 默認(rèn)也不會對內(nèi)存消耗進(jìn)行限制。

6.2 在 Dockerfile 中測試 IO

Dockerfile 文件

FROM ubuntu
RUN apt-get update -y
RUN apt-get install -y fio
RUN fio -direct=1 -iodepth=128 -rw=randwrite -ioengine=libaio -bs=4k -size=3G -numjobs=1 -runtime=1000 -group_reporting -filename=/tmp/test.file --allow_mounted_write=1 -name=Rand_Write_Testing
DOCKER_BUILDKIT=1 docker build --no-cache -t test:v3 -f Dockerfile . 

Rand_Write_Testing: (groupid=0, jobs=1): err= 0
   write: IOPS=17.4k, BW=67.9MiB/s (71.2MB/s)(3072MiB/45241msec); 0 zone resets

6.3 在容器中測試 IO

docker run -it shaowenchen/demo-fio bash
Rand_Write_Testing: (groupid=0, jobs=1): err= 0
  write: IOPS=17.4k, BW=68.1MiB/s (71.4MB/s)(3072MiB/45091msec); 0 zone resets

6.4 在容器的存儲卷中測試 IO

docker run -v /tmp:/tmp -it shaowenchen/demo-fio bash
Rand_Write_Testing: (groupid=0, jobs=1): err= 0
  write: IOPS=39.0k, BW=152MiB/s (160MB/s)(3072MiB/20162msec); 0 zone resets

6.5 在主機上試 IO

Rand_Write_Testing: (groupid=0, jobs=1): err= 0
  write: IOPS=38.6k, BW=151MiB/s (158MB/s)(3072MiB/20366msec); 0 zone resets

Dockerd 在構(gòu)建 Dockerfile 時，遇到 Run 命令會啟動一個容器運行，然后提交鏡像。從測試結(jié)果，可以看到 Dockerfile 中的 IO 速度遠(yuǎn)達(dá)不到主機的，與容器中的 IO 速度一致；主機存儲卷的 IO 速度與主機的 IO 速度一致。

7. 直接使用 buildkitd 構(gòu)建效果不佳

雖然可以通過 DOCKER_BUILDKIT=1 開啟 Buildkit 構(gòu)建，但如果直接使用 buildkitd 效果不錯，用于替換 Dockerd 構(gòu)建也是一個不錯的選擇。

7.1 安裝 buildkit

wget https://github.com/moby/buildkit/releases/download/v0.11.2/buildkit-v0.11.2.linux-amd64.tar.gz
tar xvf buildkit-v0.11.2.linux-amd64.tar.gz
mv bin/* /usr/local/bin/

7.2 部署 buildkitd

cat > /usr/lib/systemd/system/buildkitd.service <<EOF
[Unit]
Description=/usr/local/bin/buildkitd
ConditionPathExists=/usr/local/bin/buildkitd
After=containerd.service

[Service]
Type=simple
ExecStart=/usr/local/bin/buildkitd
User=root
Restart=on-failure
RestartSec=1500ms

[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl restart buildkitd
systemctl enable buildkitd
systemctl status buildkitd

查看到 buildkitd 正常運行即可。

7.3 測試 buildctl 提交構(gòu)建

buildctl build --frontend=dockerfile.v0 --local context=. --local dockerfile=. --no-cache --output type=docker,name=test:v4 | docker load

[+] Building 240.8s (7/7) FINISHED

使用 buildctl 提交給 buildkitd 進(jìn)行構(gòu)建，需要的時間更多，達(dá)到 4min，較之前增加一倍。

8. 當(dāng)前存儲驅(qū)動下讀寫鏡像有瓶頸

8.1 查看 Dockerd 處理邏輯

在代碼 https://github.com/moby/moby/blob/8d193d81af9cbbe800475d4bb8c529d67a6d8f14/builder/dockerfile/dispatchers.go 可以找到處理 Dockerfile 的邏輯。

1，Add 和 Copy 都是調(diào)用 performCopy 函數(shù) 2，performCopy 中調(diào)用 NewRWLayer() 新建層，調(diào)用 exportImage 寫入數(shù)據(jù)

因此，懷疑的是 Dockerd 寫鏡像層速度慢。

8.2 測試鏡像層寫入速度

準(zhǔn)備一個鏡像，大小 16GB，一共 18 層。

  • 導(dǎo)入鏡像
time docker load < /tmp/16GB.tar

real    2m43.288s
  • 保存鏡像
time docker save 0d08de176b9f > /tmp/16GB.tar

real    2m48.497s

docker load? 和 docker save 速度差不多，對鏡像層的處理速度大約為 100 MB/s。這個速度比磁盤 4K 隨機寫速度少了近 30%。在我看來，如果是個人使用勉強接受；如果用于對外提供構(gòu)建服務(wù)的平臺產(chǎn)品，這塊磁盤顯然是不合適的。

8.3 存儲驅(qū)動怎么選

下面是從 https://docs.docker.com/storage/storagedriver/select-storage-driver/ 整理得出的一個比較表格:

存儲驅(qū)動

文件系統(tǒng)要求

高頻寫入性能

穩(wěn)定性

其他

overlay2

xfs、ext4

差

好

當(dāng)前首選

fuse-overlayfs

無限制

-

-

適用 rootless 場景

btrfs

btrfs

好

-

-

zfs

zfs

好

-

-

vfs

無限制

-

-

不建議生產(chǎn)

aufs

xfs、ext4

-

好

Docker 18.06 及之前版本首選，不維護(hù)

devicemapper

direct-lvm

好

好

不維護(hù)

overlay

xfs、ext4

差，但好于 overlay2

-

不維護(hù)

排除不維護(hù)和非生產(chǎn)適用的，可選項其實沒幾個。正好有一臺機器，前段時間初始化時，將磁盤格式化成 Btrfs 文件格式，可以用于測試。zfs 存儲驅(qū)動推薦用于高密度 PaaS 系統(tǒng)。

8.4 測試 Btrfs 存儲驅(qū)動

  • 在主機上
Rand_Write_Testing: (groupid=0, jobs=1): err= 0
  write: IOPS=40.0k, BW=160MiB/s (168MB/s)(3072MiB/19191msec); 0 zone resets
  • 容器下的測試命令

運行容器

docker run -it shaowenchen/demo-fio bash

執(zhí)行測試

fio -direct=1 -iodepth=128 -rw=randwrite -ioengine=libaio -bs=4k -size=3G -numjobs=1 -runtime=1000 -group_reporting -filename=/data/test.file --allow_mounted_write=1 -name=Rand_Write_Testing
  • 測試 overlay2 存儲驅(qū)動
docker info

Server Version: 20.10.12
Storage Driver: overlay2
  Backing Filesystem: btrfs
Rand_Write_Testing: (groupid=0, jobs=1): err= 0: pid=78: Thu Feb  2 02:41:48 2023
  write: IOPS=21.5k, BW=84.1MiB/s (88.2MB/s)(3072MiB/36512msec); 0 zone resets
  • 測試 btrfs 存儲驅(qū)動
docker info

Server Version: 20.10.12
Storage Driver: btrfs
  Build Version: Btrfs v5.4.1
Rand_Write_Testing: (groupid=0, jobs=1): err= 0
  write: IOPS=39.8k, BW=156MiB/s (163MB/s)(3072MiB/19750msec); 0 zone resets

可以明顯看到 btrfs 存儲驅(qū)動在速度上優(yōu)于 overlay2。

9. 總結(jié)

本篇主要是記錄在生產(chǎn)環(huán)境下碰到的 Dockerfile 構(gòu)建 IO 慢問題排查過程。

通過設(shè)計各種測試案例排查問題，對各個要素進(jìn)行一一驗證，需要極大耐心，也特別容易走錯方向，得出錯誤結(jié)論。

本篇主要觀點如下:

  • compress、stream 參數(shù)對構(gòu)建速度不一定有效
  • 減少構(gòu)建上下文大小，有利于緩解構(gòu)建 IO 壓力
  • Buildkit 的緩存可以不用頻繁清理
  • 構(gòu)建 Dockerfile 執(zhí)行命令時，CPU、Mem 不會受到限制，但 IO 速度慢
  • 使用 buildkitd 構(gòu)建速度不如 Dockerd 開啟 DOCKER_BUILDKIT
  • 使用 Btrfs 存儲有利于獲得更好的 IO 速度

但最簡單的還是使用 4K 隨機讀寫快的磁盤，在拿到新的環(huán)境用于生產(chǎn)之前，務(wù)必先進(jìn)行測試，僅當(dāng)滿足需求時，再執(zhí)行后續(xù)計劃。

10. 參考

  • https://docs.docker.com/engine/reference/commandline/build/
  • https://docs.docker.com/build/install-buildx/
  • https://flyer103.com/2022/08/20220806-buildkitd-usage/
  • https://pepa.holla.cz/2019/11/18/how-build-own-docker-image-in-golang/
責(zé)任編輯：武曉燕 來源： 陳少文
IO測試磁盤
相關(guān)推薦

2022-03-11 10:21:30

IO系統(tǒng)日志

2021-07-15 23:16:09

IO異常排查

2023-10-20 13:30:36

代碼接口

2019-11-25 15:32:30

虛擬化IO故障

2023-07-10 09:48:30

Nginx反向代理

2025-03-18 08:10:00

iodump開源I/O

2024-08-14 14:20:00

2024-01-15 08:59:31

Docker優(yōu)化

2024-09-25 14:25:47

API接口

2022-01-26 19:42:05

MySQL亂碼排查

2021-11-14 05:00:56

排查Sdk方式

2021-06-01 07:55:42

DockerEOFk8s

2021-12-01 15:03:56

Java開發(fā)代碼

2019-09-10 13:34:30

Linux操作系統(tǒng)軟件

2021-03-25 16:15:24

SQL工具慢查詢

2024-12-02 09:10:15

Redis性能優(yōu)化

2022-11-30 21:32:23

開源buildah工具

2021-10-14 07:28:03

Kubernetes通用排查

2021-06-28 08:00:00

Python開發(fā)編程語言

2023-07-26 07:18:54

死鎖線程池
點贊
收藏

51CTO技術(shù)棧公眾號