成功優(yōu)化!Java 基礎(chǔ) Docker 鏡像從 674MB 縮減到 58MB 的經(jīng)驗分享
在當(dāng)今的軟件開發(fā)領(lǐng)域,微服務(wù)架構(gòu)和容器化應(yīng)用已成為常態(tài)。隨著應(yīng)用程序的復(fù)雜性和規(guī)模不斷增加,開發(fā)者們面臨的一個主要挑戰(zhàn)是如何有效管理和優(yōu)化應(yīng)用程序的體積。尤其是在使用 Java 進行開發(fā)時,生成的 Docker 鏡像往往會相對較大,這不僅影響了部署速度,還增加了網(wǎng)絡(luò)傳輸?shù)呢摀?dān)和存儲成本。因此,如何精簡鏡像大小成為了每個開發(fā)者亟待解決的問題。
本文將深入探討如何通過 jlink 工具生成更小的 Java 運行時環(huán)境(JRE)鏡像,并自動化整個過程。我們將分析不同模塊的依賴關(guān)系,確保僅包括運行應(yīng)用程序所需的最小模塊。通過這樣的方法,不僅可以提高應(yīng)用程序的效率,還能優(yōu)化資源的使用,讓我們的微服務(wù)更加輕量、靈活。
我們將使用之前文章中構(gòu)建的Spring Web應(yīng)用來演示這些技巧,該文章是關(guān)于使用RFC-9457規(guī)范進行錯誤處理。我們的應(yīng)用僅包含兩個端點:
GET /users/
: 根據(jù)ID獲取用戶POST /users : 創(chuàng)建新用戶
@RestController
@RequestMapping("/api/users")
@RequiredArgsConstructor
public class UserController {
private final UserService userService;
@GetMapping("{id}")
public User getUser(@PathVariable Long id) {
return userService.getUserById(id)
.orElseThrow(() -> new UserNotFoundException(id, "/api/users"));
}
@PostMapping
public User createUser(@Valid @RequestBody User user) {
return userService.createUser(user);
}
}
看起來沒什么吧?但正如你將看到的,即使是最簡單的Docker鏡像(不進行任何優(yōu)化)大小也可能相當(dāng)大。
我們?yōu)槭裁匆P(guān)心鏡像大小?
鏡像大小對你作為開發(fā)者或組織的性能有顯著影響。特別是在處理多個服務(wù)的大型項目時,鏡像的大小可能會相當(dāng)龐大,這可能會讓你花費大量的金錢和時間。
一些避免大型鏡像的原因包括:
- 磁盤空間:你在Docker注冊表和生產(chǎn)服務(wù)器上浪費了磁盤空間。
- 構(gòu)建時間延長:鏡像越大,構(gòu)建和推送鏡像所需的時間越長。
- 安全性:鏡像越大,依賴項越多,攻擊面也越大。
- 帶寬:鏡像越大,從注冊表拉取和推送鏡像時的帶寬消耗越高。
使用簡單明了的Dockerfile
基礎(chǔ)鏡像 Matter ??? : 選擇合適的基礎(chǔ)鏡像
在考慮優(yōu)化之前,你應(yīng)該始終注意用于打包應(yīng)用的基礎(chǔ)鏡像。你選擇的基礎(chǔ)鏡像可能對最終鏡像的大小產(chǎn)生顯著影響。
可以用來打包Java應(yīng)用的基礎(chǔ)鏡像有幾種,包括:
- JDK Alpine基礎(chǔ)鏡像:這些鏡像體積較小,但不適合所有應(yīng)用,因此可能會面臨一些庫的兼容性問題。
- JDK Slim基礎(chǔ)鏡像:這些鏡像基于Debian或Ubuntu,相較于完整的JDK鏡像來說體積較小,但仍然比較大。
- JDK完整基礎(chǔ)鏡像:這些鏡像體積較大,包含運行應(yīng)用所需的所有模塊和依賴項。
為了給你一個基礎(chǔ)鏡像大小的概念,以下是openjdk:17-jdk-slim(瘦身版)和eclipse-temurin:17-jdk-alpine鏡像大小的比較:
已知應(yīng)用程序(jar)的大小約為20MB。
圖片
為了在Docker鏡像中打包我們的工件,我們需要在應(yīng)用根目錄中定義一個Dockerfile,如下所示:
FROM openjdk:17-jdk-slim
# 設(shè)置容器中的工作目錄
WORKDIR /app
# 創(chuàng)建用戶
RUN addgroup --system spring && adduser --system spring --ingroup spring
# 切換到用戶
USER spring:spring
COPY target/*.jar app.jar
EXPOSE 8080
CMD ["java", "-jar", "app.jar"]
定義好Dockerfile后,可以使用以下命令構(gòu)建鏡像:
docker build -t user-service .
完成后,你應(yīng)該會有一個名為user-service的Docker鏡像,正如你所看到的,與應(yīng)用程序工件的大小相比,鏡像的大小相當(dāng)大,約為674MB。
圖片
等等,這只是一個只有兩個端點的小項目,沒有任何依賴項,那么對于一個有數(shù)十個依賴項和文件的應(yīng)用來說,情況會如何呢?
使用 eclipse-temurin:17-jdk-alpine 作為基礎(chǔ)鏡像。
Dockerfile.base-temurin
FROM eclipse-temurin:17-jdk-alpine
ARG APPLICATION_USER=spring
# 創(chuàng)建一個用戶來運行應(yīng)用,不以root用戶運行
RUN addgroup --system $APPLICATION_USER && adduser --system $APPLICATION_USER --ingroup $APPLICATION_USER
# 創(chuàng)建應(yīng)用目錄
RUN mkdir /app && chown -R $APPLICATION_USER /app
# 設(shè)置運行應(yīng)用的用戶
USER $APPLICATION_USER
# 將jar文件復(fù)制到容器中
COPY --chown=$APPLICATION_USER:$APPLICATION_USER target/*.jar /app/app.jar
# 設(shè)置工作目錄
WORKDIR /app
# 暴露端口
EXPOSE 8080
# 運行應(yīng)用
ENTRYPOINT ["java", "-jar", "/app/app.jar"]
在使用以下命令構(gòu)建鏡像后:
docker build -t user-service:alpine -f Dockerfile.base-alpine . --platform=linux/amd64
?? 附注
重要提示:如果你在Apple Silicon的MAC上構(gòu)建鏡像,可能會遇到以下問題:
> [internal] load metadata for docker.io/library/eclipse-temurin:17-jdk-alpine:
Dockerfile:2
1 | # First stage, build the custom JRE
2 | >>> FROM eclipse-temurin:17-jdk-alpine AS jre-builder
3 |
4 | # Install binutils, required by jlink
ERROR: failed to solve: eclipse-temurin:17-jdk-alpine: no match for platform in manifest: not found
要解決此問題,你可以在Docker構(gòu)建命令中添加:
--platform=linux/amd64
或者通過運行以下命令將默認平臺設(shè)置為 linux/amd64:
export DOCKER_DEFAULT_PLATFORM=linux/amd64
使用 eclipse-temurin:17-jdk-alpine 作為基礎(chǔ)鏡像構(gòu)建完鏡像后,我們得到了這個結(jié)果:
看看兩個鏡像的大小,使用 eclipse-temurin:17-jdk-alpine 作為基礎(chǔ)鏡像的鏡像大小為180MB,比使用 openjdk:17-jdk-slim 作為基礎(chǔ)鏡像的674MB小73%。
實際優(yōu)化
等一下,為什么我們不能使用JRE鏡像而使用JDK鏡像呢?
好問題!這是因為從Java 11開始,JRE不再可用。
最重要的注意事項是“用戶可以使用jlink創(chuàng)建更小的自定義運行時”。
圖片
使用 jlink 構(gòu)建自定義 JRE 鏡像
jlink 是一個工具,可用于創(chuàng)建僅包含運行應(yīng)用所需模塊的自定義運行時鏡像。
?? 如果你的應(yīng)用不與數(shù)據(jù)庫交互,則無需在鏡像中包含 java.sql 模塊。如果你不與桌面GUI交互,則無需在鏡像中包含 java.desktop 模塊,等等。
這有點像JRE鏡像的替代品,但可以更好地控制你想要在鏡像中使用的模塊。
因此,使用 jlink,我們的Dockerfile應(yīng)該如下所示:
# 第一階段,構(gòu)建自定義JRE
FROM eclipse-temurin:17-jdk-alpine AS jre-builder
# 安裝binutils,jlink所需
RUN apk update && apk add binutils
# 構(gòu)建小型JRE鏡像
RUN $JAVA_HOME/bin/jlink \
--verbose \
--add-modules ALL-MODULE-PATH \
--strip-debug \
--no-man-pages \
--no-header-files \
--compress=2 \
--output /optimized-jdk-17
# 第二階段,使用自定義JRE并構(gòu)建應(yīng)用鏡像
FROM alpine:latest
ENV JAVA_HOME=/opt/jdk/jdk-17
ENV PATH="${JAVA_HOME}/bin:${PATH}"
# 從基礎(chǔ)鏡像中復(fù)制JRE
COPY --from=jre-builder /optimized-jdk-17 $JAVA_HOME
# 添加應(yīng)用用戶
ARG APPLICATION_USER=spring
# 創(chuàng)建一個用戶來運行應(yīng)用,不以root用戶運行
RUN addgroup --system $APPLICATION_USER && adduser --system $APPLICATION_USER --ingroup $APPLICATION_USER
# 創(chuàng)建應(yīng)用目錄
RUN mkdir /app && chown -R $APPLICATION_USER /app
COPY --chown=$APPLICATION_USER:$APPLICATION_USER target/*.jar /app/app.jar
WORKDIR /app
USER $APPLICATION_USER
EXPOSE 8080
ENTRYPOINT [ "java", "-jar", "/app/app.jar" ]
讓我們解釋一下我們在這里所做的事情:
我們有兩個階段,第一階段用于使用 jlink 構(gòu)建自定義JRE鏡像,第二階段用于將應(yīng)用打包在一個精簡的Alpine鏡像中。
在第一階段,我們使用 eclipse-temurin:17-jdk-alpine 鏡像來使用 jlink 構(gòu)建自定義JRE鏡像。然后,我們安裝 binutils,這是 jlink 所需的,然后運行 jlink 來構(gòu)建一個小型JRE鏡像,使用 --add-modules ALL-MODULE-PATH(目前)包含運行應(yīng)用所需的所有模塊。
在第二階段,我們使用Alpine鏡像(其大小約為3MB)作為基礎(chǔ)鏡像來打包我們的應(yīng)用,然后從第一階段獲取自定義JRE并將其用作 JAVA_HOME。
Dockerfile的其余部分與之前的相同,只是復(fù)制工件并使用自定義用戶(而不是root)設(shè)置入口點。
然后我們可以使用以下命令構(gòu)建鏡像:
docker build -t user-service:jlink-all-modules-temurin -f Dockerfile.jlink-all-modules.temurin .
如果你運行命令:
docker images user-service
你會看到新Docker鏡像的大小現(xiàn)在為85.3MB,比基礎(chǔ)鏡像小約95MB ????
圖片
為了確保鏡像按預(yù)期工作,你可以運行以下命令:
docker run -p 8080:8080 user-service:jlink-all-modules-temurin
你應(yīng)該會看到應(yīng)用按預(yù)期運行。
圖片
這還不夠 ????作為優(yōu)秀的開發(fā)者,我們總是希望改進我們的工作,讓我們看看如何進一步減少鏡像的大小。
目前鏡像的大小依然較大,這是因為在 jlink 命令中使用 --add-modules ALL-MODULE-PATH 時,我們包含了運行應(yīng)用程序所需的所有模塊,但我們并不需要所有模塊。讓我們看看如何僅包含運行應(yīng)用程序所需的模塊,從而獲得更小的鏡像大小。
如何確定運行應(yīng)用程序所需的模塊?我們可以使用 JDK 附帶的 jdeps 工具。jdeps 是一個可以分析 jar 文件依賴關(guān)系并生成所需模塊列表的工具。
為此,我們可以在項目根目錄下運行以下命令:
jdeps --ignore-missing-deps -q \
--recursive \
--multi-release 17 \
--print-module-deps \
--class-path BOOT-INF/lib/* \
target/spring-error-handling-rfc-9457-0.0.1-SNAPSHOT.jar
這將打印出運行應(yīng)用程序所需的模塊列表,在我們的案例中為:
java.base,java.compiler,java.desktop,java.instrument,java.management,java.naming,java.net.http,java.prefs,java.rmi,java.scripting,java.security.jgss,java.sql,jdk.jfr,jdk.unsupported
我們可以簡單地將這些模塊替代 ALL-MODULE-PATH,修改 jlink 命令如下:
Dockerfile.jlink-known-modules.temurin
# 第一階段,構(gòu)建自定義 JRE
FROM openjdk:17-jdk-slim AS jre-builder
# 安裝 jlink 所需的 binutils
RUN apt-get update -y && \
apt-get install -y binutils
# 構(gòu)建小型 JRE 鏡像
RUN $JAVA_HOME/bin/jlink \
--verbose \
--add-modules java.base,java.compiler,java.desktop,java.instrument,java.management,java.naming,java.net.http,java.prefs,java.rmi,java.scripting,java.security.jgss,java.sql,jdk.jfr,jdk.unsupported \
--strip-debug \
--no-man-pages \
--no-header-files \
--compress=2 \
--output /optimized-jdk-17
# 第二階段,使用自定義 JRE 并構(gòu)建應(yīng)用鏡像
FROM alpine:latest
ENV JAVA_HOME=/opt/jdk/jdk-17
ENV PATH="${JAVA_HOME}/bin:${PATH}"
# 從基礎(chǔ)鏡像復(fù)制 JRE
COPY --from=jre-builder /optimized-jdk-17 $JAVA_HOME
# 添加應(yīng)用用戶
ARG APPLICATION_USER=spring
# 創(chuàng)建用戶以運行應(yīng)用程序,不以 root 身份運行
RUN addgroup --system $APPLICATION_USER && adduser --system $APPLICATION_USER --ingroup $APPLICATION_USER
# 創(chuàng)建應(yīng)用程序目錄
RUN mkdir /app && chown -R $APPLICATION_USER /app
COPY --chown=$APPLICATION_USER:$APPLICATION_USER target/*.jar /app/app.jar
WORKDIR /app
USER $APPLICATION_USER
EXPOSE 8080
ENTRYPOINT [ "java", "-jar", "/app/app.jar" ]
然后我們可以使用以下命令構(gòu)建鏡像:
docker build -t user-service:jlink-known-modules-temurin -f Dockerfile.jlink-known-modules.temurin .
這里是構(gòu)建后的鏡像大?。?/p>
圖片
我們得到了一個較小的鏡像,大小為 57.8MB,而不是 85.3MB。
這很好,但我們能否自動化這個過程,而不是手動運行 jdeps 命令然后將模塊復(fù)制到 jlink 命令中?
在 Dockerfile 中自動化該過程
Dockerfile.jlink-with-jdeps.temurin
# 第一階段,構(gòu)建自定義 JRE
FROM eclipse-temurin:17-jdk-alpine AS jre-builder
RUN mkdir /opt/app
COPY . /opt/app
WORKDIR /opt/app
ENV MAVEN_VERSION 3.5.4
ENV MAVEN_HOME /usr/lib/mvn
ENV PATH $MAVEN_HOME/bin:$PATH
RUN apk update && \
apk add --no-cache tar binutils
RUN wget http://archive.apache.org/dist/maven/maven-3/$MAVEN_VERSION/binaries/apache-maven-$MAVEN_VERSION-bin.tar.gz && \
tar -zxvf apache-maven-$MAVEN_VERSION-bin.tar.gz && \
rm apache-maven-$MAVEN_VERSION-bin.tar.gz && \
mv apache-maven-$MAVEN_VERSION /usr/lib/mvn
RUN mvn package -DskipTests
RUN jar xvf target/spring-error-handling-rfc-9457-0.0.1-SNAPSHOT.jar
RUN jdeps --ignore-missing-deps -q \
--recursive \
--multi-release 17 \
--print-module-deps \
--class-path 'BOOT-INF/lib/*' \
target/spring-error-handling-rfc-9457-0.0.1-SNAPSHOT.jar > modules.txt
# 構(gòu)建小型 JRE 鏡像
RUN $JAVA_HOME/bin/jlink \
--verbose \
--add-modules $(cat modules.txt) \
--strip-debug \
--no-man-pages \
--no-header-files \
--compress=2 \
--output /optimized-jdk-17
# 第二階段,使用自定義 JRE 并構(gòu)建應(yīng)用鏡像
FROM alpine:latest
ENV JAVA_HOME=/opt/jdk/jdk-17
ENV PATH="${JAVA_HOME}/bin:${PATH}"
# 從基礎(chǔ)鏡像復(fù)制 JRE
COPY --from=jre-builder /optimized-jdk-17 $JAVA_HOME
# 添加應(yīng)用用戶
ARG APPLICATION_USER=spring
# 創(chuàng)建用戶以運行應(yīng)用程序,不以 root 身份運行
RUN addgroup --system $APPLICATION_USER && adduser --system $APPLICATION_USER --ingroup $APPLICATION_USER
# 創(chuàng)建應(yīng)用程序目錄
RUN mkdir /app && chown -R $APPLICATION_USER /app
COPY --chown=$APPLICATION_USER:$APPLICATION_USER target/*.jar /app/app.jar
WORKDIR /app
USER $APPLICATION_USER
EXPOSE 8080
ENTRYPOINT [ "java", "-jar", "/app/app.jar" ]
然后我們可以使用以下命令構(gòu)建鏡像:
docker build -t user-service:jlink-with-jdeps.temurin -f Dockerfile.jlink-with-jdeps.temurin . --platform=linux/amd64
圖片
額外提示在結(jié)束之前,請注意,您可以使用 .dockerignore 文件排除某些文件和目錄,以減少鏡像在中間階段的大小。
您還應(yīng)該注意,選擇小型基礎(chǔ)鏡像是好的,但請確保它具備良好的安全策略,并與您的應(yīng)用程序兼容。
結(jié)論
通過本文的探討,我們成功展示了如何利用 jlink 工具和 jdeps 工具來生成更加精簡的 Java 鏡像。我們不僅減少了鏡像的體積,從 85.3MB 降至 57.8MB,節(jié)省了大量的存儲和傳輸資源,而且還引入了自動化的過程,進一步提升了開發(fā)效率。
在持續(xù)追求優(yōu)化的過程中,自動化工具和最佳實踐是每個開發(fā)者的得力助手。通過使用 .dockerignore 文件來排除不必要的文件和目錄,我們還可以在構(gòu)建鏡像的中間階段進一步減少體積。選擇一個適合的基礎(chǔ)鏡像并確保其安全性和兼容性,也同樣重要。
最后,優(yōu)化鏡像不僅能提升應(yīng)用程序的性能,更能增強整體系統(tǒng)的可維護性和可擴展性。希望大家能夠在實際項目中應(yīng)用這些技術(shù),進一步推動軟件開發(fā)的高效化和現(xiàn)代化。