理解Docker的多階段鏡像構(gòu)建
Docker技術(shù)從 2013年誕生 到目前已經(jīng)4年有余了。對(duì)于已經(jīng)接納和使用 Docker技術(shù) 在日常開(kāi)發(fā)工作中的開(kāi)發(fā)者而言,構(gòu)建 Docker鏡像 已經(jīng)是家常便飯。但這是否意味著Docker的image構(gòu)建機(jī)制已經(jīng)相對(duì)完美了呢?不是的,Docker官方依舊在持續(xù)優(yōu)化鏡像構(gòu)建機(jī)制。這不,從今年發(fā)布的 Docker 17.05版本 起,Docker開(kāi)始支持容器鏡像的 多階段構(gòu)建(multi-stage build) 了。
什么是 鏡像多階段構(gòu)建 呢?直接給出概念定義太突兀,這里先賣(mài)個(gè)關(guān)子,我們先從日常開(kāi)發(fā)中用到的鏡像構(gòu)建的方式和所遇到的鏡像構(gòu)建的問(wèn)題說(shuō)起。
一、同構(gòu)的鏡像構(gòu)建
我們?cè)谧鲧R像構(gòu)建時(shí)的一個(gè)常見(jiàn)的場(chǎng)景就是:應(yīng)用在開(kāi)發(fā)者自己的開(kāi)發(fā)機(jī)或服務(wù)器上直接編譯,編譯出的二進(jìn)制程序再打入鏡像。這種情況一般要求編譯環(huán)境與鏡像所使用的base image是兼容的,比如說(shuō):我在 Ubuntu 14.04 上編譯應(yīng)用,并將應(yīng)用打入基于 ubuntu系列base image 的鏡像。這種構(gòu)建我稱之為“同構(gòu)的鏡像構(gòu)建”,因?yàn)閼?yīng)用的編譯環(huán)境與其部署運(yùn)行的環(huán)境是兼容的:我在Ubuntu 14.04下編譯出來(lái)的應(yīng)用,可以基本無(wú)縫地在基于ubuntu:14.04及以后版本base image鏡像(比如:16.04、16.10、17.10等)中運(yùn)行;但在不完全兼容的base image中,比如 centos 中就可能會(huì)運(yùn)行失敗。
1、同構(gòu)鏡像構(gòu)建舉例
這里舉個(gè)同構(gòu)鏡像構(gòu)建的例子(后續(xù)的章節(jié)也是基于這個(gè)例子的),注意:我們的編譯環(huán)境為 Ubuntu 16.04 x86_64虛擬機(jī)、Go 1.8.3和docker 17.09.0-ce 。
我們用一個(gè)Go語(yǔ)言中最常見(jiàn)的http server作為例子:
- // github.com/bigwhite/experiments/multi_stage_image_build/isomorphism/httpserver.go
- package main
- import (
- "net/http"
- "log"
- "fmt"
- )
- func home(w http.ResponseWriter, req *http.Request) {
- w.Write([]byte("Welcome to this website!\n"))
- }
- func main() {
- http.HandleFunc("/", home)
- fmt.Println("Webserver start")
- fmt.Println(" -> listen on port:1111")
- err := http.ListenAndServe(":1111", nil)
- if err != nil {
- log.Fatal("ListenAndServe:", err)
- }
- }
編譯這個(gè)程序:
- # go build -o myhttpserver httpserver.go
- # ./myhttpserver
- Webserver start
- -> listen on port:1111
這個(gè)例子看起來(lái)很簡(jiǎn)單,也沒(méi)幾行代碼,但背后Go net/http包在底層做了大量的事情,包括很多系統(tǒng)調(diào)用,能夠反映出應(yīng)用與操作系統(tǒng)的“耦合”,這在后續(xù)的講解中會(huì)體現(xiàn)出來(lái)。接下來(lái)我們就來(lái)為這個(gè)程序構(gòu)建一個(gè)docker image,并基于這個(gè)image來(lái)啟動(dòng)一個(gè)myhttpserver容器。我們選擇ubuntu:14.04作為base image:
- // github.com/bigwhite/experiments/multi_stage_image_build/isomorphism/Dockerfile
- From ubuntu:14.04
- COPY ./myhttpserver /root/myhttpserver
- RUN chmod +x /root/myhttpserver
- WORKDIR /root
- ENTRYPOINT ["/root/myhttpserver"]
執(zhí)行構(gòu)建:
- # docker build -t myrepo/myhttpserver:latest .
- Sending build context to Docker daemon 5.894MB
- Step 1/5 : FROM ubuntu:14.04
- ---> dea1945146b9
- Step 2/5 : COPY ./myhttpserver /root/myhttpserver
- ---> 993e5129c081
- Step 3/5 : RUN chmod +x /root/myhttpserver
- ---> Running in 104d84838ab2
- ---> ebaeca006490
- Removing intermediate container 104d84838ab2
- Step 4/5 : WORKDIR /root
- ---> 7afdc2356149
- Removing intermediate container 450ccfb09ffd
- Step 5/5 : ENTRYPOINT /root/myhttpserver
- ---> Running in 3182766e2a68
- ---> 77f315e15f14
- Removing intermediate container 3182766e2a68
- Successfully built 77f315e15f14
- Successfully tagged myrepo/myhttpserver:latest
- # docker images
- REPOSITORY TAG IMAGE ID CREATED SIZE
- myrepo/myhttpserver latest 77f315e15f14 18 seconds ago 200MB
- # docker run myrepo/myhttpserver
- Webserver start
- -> listen on port:1111
以上是最基本的image build方法。
接下來(lái),我們可能會(huì)遇到如下需求:
* 搭建一個(gè)Go程序的構(gòu)建環(huán)境有時(shí)候是很耗時(shí)的,尤其是對(duì)那些依賴很多第三方開(kāi)源包的Go應(yīng)用來(lái)說(shuō),下載包就需要很長(zhǎng)時(shí)間。我們最好將這些易變的東西統(tǒng)統(tǒng)打包到一個(gè)用于Go程序構(gòu)建的builder image中;
* 我們看到上面我們構(gòu)建出的myrepo/myhttpserver image的SIZE是200MB,這似乎有些過(guò)于“龐大”了。雖然每個(gè)主機(jī)node上的docker有cache image layer的能力,但我們還是希望能build出更加精簡(jiǎn)短小的image。
2、借助golang builder image
Docker Hub上提供了一個(gè)帶有g(shù)o dev環(huán)境的官方 golang image repository ,我們可以直接使用這個(gè)golang builder image來(lái)輔助構(gòu)建我們的應(yīng)用image;對(duì)于一些對(duì)第三方包依賴較多的Go應(yīng)用,我們也可以以這個(gè)golang image為base image定制我們自己的專(zhuān)用builder image。
我們基于golang:latest這個(gè)base image構(gòu)建我們的golang-builder image,我們編寫(xiě)一個(gè)Dockerfile.build用于build golang-builder image:
- // github.com/bigwhite/experiments/multi_stage_image_build/isomorphism/Dockerfile.build
- FROM golang:latest
- WORKDIR /go/src
- COPY httpserver.go .
- RUN go build -o myhttpserver ./httpserver.go
在同目錄下構(gòu)建golang-builder image:
- # docker build -t myrepo/golang-builder:latest -f Dockerfile.build .
- Sending build context to Docker daemon 5.895MB
- Step 1/4 : FROM golang:latest
- ---> 1a34fad76b34
- Step 2/4 : WORKDIR /go/src
- ---> 2361824677d3
- Removing intermediate container 01d8f4e9f0c4
- Step 3/4 : COPY httpserver.go .
- ---> 1ff14bb0bc56
- Step 4/4 : RUN go build -o myhttpserver ./httpserver.go
- ---> Running in 37a1b76b7b9e
- ---> 2ac5347bb923
- Removing intermediate container 37a1b76b7b9e
- Successfully built 2ac5347bb923
- Successfully tagged myrepo/golang-builder:latest
- REPOSITORY TAG IMAGE ID CREATED SIZE
- myrepo/golang-builder latest 2ac5347bb923 3 minutes ago 739MB
接下來(lái),我們就基于golang-builder中已經(jīng)build完畢的myhttpserver來(lái)構(gòu)建我們最終的應(yīng)用image:
- # docker create --name appsource myrepo/golang-builder:latest
- # docker cp appsource:/go/src/myhttpserver ./
- # docker rm -f appsource
- # docker rmi myrepo/golang-builder:latest
- # docker build -t myrepo/myhttpserver:latest .
這段命令的邏輯就是從基于golang-builder image啟動(dòng)的容器appsource中將已經(jīng)構(gòu)建完畢的myhttpserver拷貝到主機(jī)當(dāng)前目錄中,然后刪除臨時(shí)的container appsource以及上面構(gòu)建的那個(gè)golang-builder image;最后的步驟和第一個(gè)例子一樣,基于本地目錄中的已經(jīng)構(gòu)建完的myhttpserver構(gòu)建出最終的image。為了方便,你也可以將這一系列命令放到一個(gè)Makefile中去。
3、使用size更小的alpine image
builder image并不能幫助我們?yōu)樽罱K的應(yīng)用image“減重”,myhttpserver image的Size依舊停留在200MB。要想“減重”,我們需要更小的base image,我們選擇了 alpine 。 Alpine image 的size不到4M,再加上應(yīng)用的size,最終應(yīng)用Image的Size估計(jì)可以縮減到20M以下。
結(jié)合builder image,我們只需將Dockerfile的base image改為alpine:latest:
- // github.com/bigwhite/experiments/multi_stage_image_build/isomorphism/Dockerfile.alpine
- From alpine:latest
- COPY ./myhttpserver /root/myhttpserver
- RUN chmod +x /root/myhttpserver
- WORKDIR /root
- ENTRYPOINT ["/root/myhttpserver"]
構(gòu)建alpine版應(yīng)用image:
- # docker build -t myrepo/myhttpserver-alpine:latest -f Dockerfile.alpine .
- Sending build context to Docker daemon 6.151MB
- Step 1/5 : FROM alpine:latest
- ---> 053cde6e8953
- Step 2/5 : COPY ./myhttpserver /root/myhttpserver
- ---> ca0527a62d39
- Step 3/5 : RUN chmod +x /root/myhttpserver
- ---> Running in 28d0a8a577b2
- ---> a3833af97b5e
- Removing intermediate container 28d0a8a577b2
- Step 4/5 : WORKDIR /root
- ---> 667345b78570
- Removing intermediate container fa59883e9fdb
- Step 5/5 : ENTRYPOINT /root/myhttpserver
- ---> Running in adcb5b976ca3
- ---> 582fa2aedc64
- Removing intermediate container adcb5b976ca3
- Successfully built 582fa2aedc64
- Successfully tagged myrepo/myhttpserver-alpine:latest
- # docker images
- REPOSITORY TAG IMAGE ID CREATED SIZE
- myrepo/myhttpserver-alpine latest 582fa2aedc64 4 minutes ago 16.3MB
16.3MB,Size的確降下來(lái)了!我們基于該image啟動(dòng)一個(gè)容器,看應(yīng)用運(yùn)行是否有什么問(wèn)題:
- # docker run myrepo/myhttpserver-alpine:latest
- standard_init_linux.go:185: exec user process caused "no such file or directory"
容器啟動(dòng)失敗了!為什么呢?因?yàn)閍lpine image并非ubuntu環(huán)境的同構(gòu)image。我們?cè)谙旅嬖敿?xì)說(shuō)明。
二、異構(gòu)的鏡像構(gòu)建
我們的image builder: myrepo/golang-builder:latest是基于golang:latest這個(gè)image。 golang base image 有兩個(gè)模板:Dockerfile-debain.template和Dockerfile-alpine.template。而golang:latest是基于debian模板的,與ubuntu兼容。構(gòu)建出來(lái)的myhttpserver對(duì)動(dòng)態(tài)共享鏈接庫(kù)的情況如下:
- # ldd myhttpserver
- linux-vdso.so.1 => (0x00007ffd0c355000)
- libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007ffa8b36f000)
- libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007ffa8afa5000)
- /lib64/ld-linux-x86-64.so.2 (0x000055605ea5d000)
debian 系的linux distribution使用了glibc。但alpine則不同, alpine 使用的是 musl libc 的實(shí)現(xiàn),因此當(dāng)我們運(yùn)行上面的那個(gè)容器時(shí),加載器因找不到myhttpserver依賴的libc.so.6而失敗退出。
這種構(gòu)建環(huán)境與運(yùn)行環(huán)境不兼容的情況我這里稱之為“異構(gòu)的鏡像構(gòu)建”。那么如何解決這個(gè)問(wèn)題呢?我們繼續(xù)看:
1、靜態(tài)構(gòu)建
在主流編程語(yǔ)言中,Go的移植性已經(jīng)是數(shù)一數(shù)二的了,尤其是Go 1.5之后,Go將runtime中的C代碼都用Go重寫(xiě)了,對(duì)libc的依賴已經(jīng)降到最低了,但仍有一些feature提供了兩個(gè)版本的實(shí)現(xiàn):C實(shí)現(xiàn)和Go實(shí)現(xiàn)。并且默認(rèn)情況下,即在CGO_ENABLED=1的情況下,程序和預(yù)編譯的標(biāo)準(zhǔn)庫(kù)都采用了C的實(shí)現(xiàn)。關(guān)于這方面的詳細(xì)論述請(qǐng)參見(jiàn)我之前寫(xiě)的《也談Go的可移植性》一文,這里就不贅述了。于是采用了不同libc實(shí)現(xiàn)的debian系和alpine系自然存在不兼容的情況。要解決這個(gè)問(wèn)題,我們首先考慮對(duì)Go程序進(jìn)行靜態(tài)構(gòu)建,然后將靜態(tài)構(gòu)建后的Go應(yīng)用放入alpine image中。
我們修改一下Dockerfile.build,在編譯Go源文件時(shí)加上CGO_ENABLED=0:
- // github.com/bigwhite/experiments/multi_stage_image_build/heterogeneous/Dockerfile.build
- FROM golang:latest
- WORKDIR /go/src
- COPY httpserver.go .
- RUN CGO_ENABLED=0 go build -o myhttpserver ./httpserver.go
構(gòu)建這個(gè)builder image:
- # docker build -t myrepo/golang-static-builder:latest -f Dockerfile.build .
- Sending build context to Docker daemon 4.096kB
- Step 1/4 : FROM golang:latest
- ---> 1a34fad76b34
- Step 2/4 : WORKDIR /go/src
- ---> 593cd9692019
- Removing intermediate container ee005d487ad5
- Step 3/4 : COPY httpserver.go .
- ---> a095eb69e716
- Step 4/4 : RUN CGO_ENABLED=0 go build -o myhttpserver ./httpserver.go
- ---> Running in d9f3b3a6c36c
- ---> c06fe8dccbad
- Removing intermediate container d9f3b3a6c36c
- Successfully built c06fe8dccbad
- Successfully tagged myrepo/golang-static-builder:latest
- # docker images
- REPOSITORY TAG IMAGE ID CREATED SIZE
- myrepo/golang-static-builder latest c06fe8dccbad 31 seconds ago 739MB
接下來(lái),我們?cè)倩趃olang-static-builder中已經(jīng)build完畢的靜態(tài)連接的myhttpserver來(lái)構(gòu)建我們最終的應(yīng)用image:
- # docker create --name appsource myrepo/golang-static-builder:latest
- # docker cp appsource:/go/src/myhttpserver ./
- # ldd myhttpserver
- not a dynamic executable
- # docker rm -f appsource
- # docker rmi myrepo/golang-static-builder:latest
- # docker build -t myrepo/myhttpserver-alpine:latest -f Dockerfile.alpine .
運(yùn)行新image:
- # docker run myrepo/myhttpserver-alpine:latest
- Webserver start
- -> listen on port:1111
Note: 我們可以用strace來(lái)證明靜態(tài)連接時(shí)Go只使用的是Go自己的runtime實(shí)現(xiàn),而并未使用到libc.a中的代碼:
- # CGO_ENABLED=0 strace -f go build httpserver.go 2>&1 | grep open | grep -o '/.*\.a' > go-static-build-strace-file-open.txt
打開(kāi) go-static-build-strace-file-open.txt 文件查看文件內(nèi)容,你不會(huì)找到libc.a這個(gè)文件(在Ubuntu下,一般libc.a躺在/usr/lib/x86_64-linux-gnu/下面),這說(shuō)明go build根本沒(méi)有嘗試去open libc.a文件并獲取其中的符號(hào)定義。
2、使用alpine golang builder
我們的Go應(yīng)用運(yùn)行在alpine based的container中,我們可以使用alpine golang builder來(lái)構(gòu)建我們的應(yīng)用(無(wú)需靜態(tài)鏈接)。前面提到過(guò)golang有alpine模板:
- REPOSITORY TAG IMAGE ID CREATED SIZE
- golang alpine 9e3f14138abd 7 days ago 269MB
alpine版golang builder的Dockerfile內(nèi)容如下:
- //github.com/bigwhite/experiments/multi_stage_image_build/heterogeneous/Dockerfile.alpine.build
- FROM golang:alpine
- WORKDIR /go/src
- COPY httpserver.go .
- RUN go build -o myhttpserver ./httpserver.go
后續(xù)的操作與前面golang builder的操作并不二致:利用alpine golang builder構(gòu)建我們的應(yīng)用,并將其打入alpine image,這里就不贅述了。
三、多階段鏡像構(gòu)建:提升開(kāi)發(fā)者體驗(yàn)
在Docker 17.05以前,我們都是像上面那樣構(gòu)建鏡像的。你會(huì)發(fā)現(xiàn)即便采用異構(gòu)image builder模式,我們也要維護(hù)兩個(gè)Dockerfile,并且還要在docker build命令之外執(zhí)行一些諸如從容器內(nèi)copy應(yīng)用程序、清理build container和build image等的操作。Docker社區(qū)看到了這個(gè)問(wèn)題,于是實(shí)現(xiàn)了 多階段鏡像構(gòu)建機(jī)制 (multi-stage)。
我們先來(lái)看一下針對(duì)上面例子,multi-stage build所使用Dockerfile:
- //github.com/bigwhite/experiments/multi_stage_image_build/multi_stages/Dockerfile
- FROM golang:alpine as builder
- WORKDIR /go/src
- COPY httpserver.go .
- RUN go build -o myhttpserver ./httpserver.go
- From alpine:latest
- WORKDIR /root/
- COPY --from=builder /go/src/myhttpserver .
- RUN chmod +x /root/myhttpserver
- ENTRYPOINT ["/root/myhttpserver"]
看完這個(gè)Dockerfile的內(nèi)容,你的第一趕腳是不是把之前的兩個(gè)Dockerfile合并在一塊兒了,每個(gè)Dockerfile單獨(dú)作為一個(gè)“階段”!事實(shí)也是這樣,但這個(gè)Docker也多了一些新的語(yǔ)法形式,用于建立各個(gè)“階段”之間的聯(lián)系。針對(duì)這樣一個(gè)Dockerfile,我們應(yīng)該知道以下幾點(diǎn):
- 支持Multi-stage build的Dockerfile在以往的多個(gè)build階段之間建立內(nèi)在連接,讓后一個(gè)階段構(gòu)建可以使用前一個(gè)階段構(gòu)建的產(chǎn)物,形成一條構(gòu)建階段的chain;
- Multi-stages build的最終結(jié)果僅產(chǎn)生一個(gè)image,避免產(chǎn)生冗余的多個(gè)臨時(shí)images或臨時(shí)容器對(duì)象,這正是我們所需要的:我們只要結(jié)果。
我們來(lái)使用multi-stage來(lái)build一下上述例子:
- # docker build -t myrepo/myhttserver-multi-stage:latest .
- Sending build context to Docker daemon 3.072kB
- Step 1/9 : FROM golang:alpine as builder
- ---> 9e3f14138abd
- Step 2/9 : WORKDIR /go/src
- ---> Using cache
- ---> 7a99431d1be6
- Step 3/9 : COPY httpserver.go .
- ---> 43a196658e09
- Step 4/9 : RUN go build -o myhttpserver ./httpserver.go
- ---> Running in 9e7b46f68e88
- ---> 90dc73912803
- Removing intermediate container 9e7b46f68e88
- Step 5/9 : FROM alpine:latest
- ---> 053cde6e8953
- Step 6/9 : WORKDIR /root/
- ---> Using cache
- ---> 30d95027ee6a
- Step 7/9 : COPY --from=builder /go/src/myhttpserver .
- ---> f1620b64c1ba
- Step 8/9 : RUN chmod +x /root/myhttpserver
- ---> Running in e62809993a22
- ---> 6be6c28f5fd6
- Removing intermediate container e62809993a22
- Step 9/9 : ENTRYPOINT /root/myhttpserver
- ---> Running in e4000d1dde3d
- ---> 639cec396c96
- Removing intermediate container e4000d1dde3d
- Successfully built 639cec396c96
- Successfully tagged myrepo/myhttserver-multi-stage:latest
- # docker images
- REPOSITORY TAG IMAGE ID CREATED SIZE
- myrepo/myhttserver-multi-stage latest 639cec396c96 About an hour ago 16.3MB
我們來(lái)Run一下這個(gè)image:
- # docker run myrepo/myhttserver-multi-stage:latest
- Webserver start
- -> listen on port:1111
四、小結(jié)
多階段鏡像構(gòu)建可以讓開(kāi)發(fā)者通過(guò)一個(gè)Dockerfile,一次性地、更容易地構(gòu)建出size較小的image,體驗(yàn)良好并且更容易接入CI/CD等自動(dòng)化系統(tǒng)。不過(guò)當(dāng)前多階段構(gòu)建僅是在Docker 17.05及之后的版本中才能得到支持。如果想學(xué)習(xí)和實(shí)踐這方面功能,但又沒(méi)有環(huán)境,可以使用 play-with-docker 提供的實(shí)驗(yàn)環(huán)境。