自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

遠程熱部署的落地與思考-動態(tài)編譯篇

開發(fā)
遠程熱部署是參考美團Sonic并結(jié)合轉(zhuǎn)轉(zhuǎn)的業(yè)務(wù)場景研發(fā)的一款熱部署組件,由Java Agent與IDEA插件組成。整個熱部署全流程涉及知識范圍廣泛,三言兩語無法描述清楚,全流程會拆分成專題的形式進行分享。本文主要選講在落地過程中遇到的一些Sonic未提及的問題與自己的思考感悟。

遠程熱部署(代號名稱Mark42、Jarvis)是參考美團Sonic并結(jié)合轉(zhuǎn)轉(zhuǎn)的業(yè)務(wù)場景研發(fā)的一款熱部署組件,由Java Agent與IDEA插件組成。

整個熱部署全流程涉及知識范圍廣泛,三言兩語無法描述清楚,全流程會拆分成專題的形式進行分享。本文主要選講在落地過程中遇到的一些Sonic未提及的問題與自己的思考感悟。

通讀前建議閱讀美團原文:遠程熱部署在美團的落地實踐,原文講述到相關(guān)技術(shù)介紹、原理、實現(xiàn)方案等不再贅述。

1、背景

1.1 、真實工作場景

某次前后端聯(lián)調(diào)時的對話(部分內(nèi)容存在虛構(gòu)):

H師傅:果子果子,你這接口返回的結(jié)果好像不太對啊,是不是寫反了啊~

:啊,不能吧,稍等我看看哈~

H師傅:你看一下~

:woc,大于等于寫反了,我改一下~

H師傅:好小子,抓緊抓緊~

:改完了,就一個符號,已經(jīng)在編譯部署了~

??五分鐘后......

:部署完了,你再看一下~

H師傅:好了,沒問題了~

H師傅:果子,這里返回的文案要不要把最后一句刪掉,不太通順~

:有道理,PM同意了,我刪一下~

??又過了五分鐘......

:編譯部署完了,你在看一下~

H師傅:可以的 可以的~


原本一兩分鐘可以完成的工作,由于代碼的改動、編譯部署等待導(dǎo)致前后端同學(xué)各自浪費了十多分鐘,極大的影響了協(xié)作效率。

如果能擁有一種“魔法”,使得后端的代碼像前端一樣“熱更新”,那該是一件多么幸福的事情!

1.2、項目背景

作為一名業(yè)務(wù)側(cè)的一線開發(fā)同學(xué),一直把高優(yōu)支持業(yè)務(wù)放在首位。由于業(yè)務(wù)系統(tǒng)相對復(fù)雜,且受限于公司架構(gòu)歷史原因,使得開發(fā)者在開發(fā)過程中往往都是“一次性編寫”代碼,等業(yè)務(wù)邏輯實現(xiàn)的差不多,“看”上去沒問題,就部署到Docker容器中進行自測查漏補缺,當遇到極為復(fù)雜的場景,就需要進行遠程Debug協(xié)助,發(fā)現(xiàn)問題后修改代碼,再次部署,反反復(fù)復(fù)。

正因如此我們每天少不了Beetle(公司內(nèi)部編譯管理及發(fā)布管理輕量級效率平臺)多次編譯與部署的循環(huán)反復(fù)的操作,一行小小的代碼改動就需要走完一整個流程才能使得代碼生效,嚴重影響了開發(fā)自測、聯(lián)調(diào)、提測的效率。

圖片

現(xiàn)有流程

面對如此“長”的流程,能否對其進行簡化,盡可能的減少編譯部署次數(shù),使得修改后的代碼快速生效,減少用戶等待時間。

圖片

期望流程

2、預(yù)期目標

日常開發(fā)場景中,最大限度的幫助開發(fā)者減少代碼提交、編譯、部署的次數(shù),節(jié)省因等待而造成的碎片化時間,使得開發(fā)者只需把主要精力放在編碼實現(xiàn),間接提升開發(fā)效率。

3、選講問題分析

“熱部署”簡單講就是在Java程序運行時更新Java類文件,即JVM的字節(jié)碼重載,通過新的字節(jié)碼二進制流和舊的Class對象生成ClassDefinition定義,同時重載或初始化Spring容器以及第三方框架,達到“不停機”狀態(tài)更新

思考一個問題:新的字節(jié)碼二進制流也就是字節(jié)碼文件(.class 文件)從何而來呢?

無非存在兩種解法:

1、本地編譯Java源代碼,將生成的.class文件推到遠端服務(wù)器;

2、直接將Java源代碼推到遠端服務(wù)器,由遠端服務(wù)器進行編譯生成.class文件;

我們來逐一解析兩種方案成本與利弊:

方案1:成本低,易實現(xiàn),用戶在本地先執(zhí)行編譯操作,通過IDEA開發(fā)工具完成,但由于IDEA工具和Maven等構(gòu)建工具之間的兼容性問題,經(jīng)常出現(xiàn)本地編譯不通過的情況,當然也可以通過Maven的Install命令編譯整個服務(wù)文件,但是這種方案操作時間長,不人性化。其次還存在潛在的安全性問題:本地開發(fā)Jdk環(huán)境與服務(wù)器Jdk環(huán)境不一致等。

圖片

本地編譯失敗

方案2:難度系數(shù)高,實現(xiàn)復(fù)雜,但卻是更優(yōu)解。首先由用戶將修改后的Java源代碼推到遠端服務(wù)器,由遠端服務(wù)器進行動態(tài)編譯生成.class文件,整個過程對用戶透明。

問題:

①極多數(shù)服務(wù)都是Springboot - Fat Jar(將一個Jar及其依賴的三方Jar全部打到一個包中,這個包即為FatJar)這種結(jié)構(gòu)方式。想要動態(tài)編譯則需要從ClassLoader中恢復(fù)ClassPath,但Springboot - Fat Jar是一個整體的jar包,恢復(fù)出來的路徑不合法(Url轉(zhuǎn)換成File不存在),這就導(dǎo)致動態(tài)編譯時找不到代碼中引用的各種類。

圖片

Fat-Jar

②LomBok依賴丟失問題:Lombok主要是在編譯.class文件期間,生成Get/Set/Hash/Equals/ToString等方法,使實體對象更簡潔,所以像Lombok這樣的依賴只作用于編譯階段,編譯完成就沒用了,對于有“代碼潔癖”的同學(xué)會選擇從依賴Jar包里排除掉。這樣子可能會導(dǎo)致我們修改、新增實體類時動態(tài)編譯失敗,找不到依賴。

Maven如下配置:

<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <version>1.18.6</version>
    <scope>provided</scope>
</dependency>
 
 
<plugins>
     <plugin>
         <groupId>org.springframework.boot</groupId>
         <artifactId>spring-boot-maven-plugin</artifactId>
         <configuration>
             <excludes>
                 <exclude>
                     <groupId>org.projectlombok</groupId>
                     <artifactId>lombok</artifactId>
                 </exclude>
             </excludes>
         </configuration>
     </plugin>
 </plugins>

③動態(tài)編譯時ClassLoader的處理。美團熱部署作者龍哥說:所有的遠程和本地執(zhí)行不一致的問題,百分之99在ClassLoader的問題上找。動態(tài)編譯需兼容目前公司現(xiàn)有服務(wù)類型以及后續(xù)可能存在類型。

公司內(nèi)部Java服務(wù)類型分為三種:SpringBoot服務(wù)、SCF服務(wù)、ZZJava服務(wù),不同服務(wù)類型打包方式不同。

SpringBoot:Spring Boot服務(wù),LaunchedURLClassLoader加載依賴資源

SCF服務(wù):歷史SCF(內(nèi)部RPC)框架內(nèi)嵌Spring服務(wù)模式,服務(wù)啟動前需解壓服務(wù)所有依賴,得到絕對路徑后作為-classpath參數(shù),通過AppClassLoader加載依賴資源(查看完整啟動命令足有2-3W字符,可怕??)

ZZJava服務(wù):基于SpringBoot自定義的一種項目結(jié)構(gòu)、打包及啟動、停止標準,依舊為Spring Boot服務(wù),通過LaunchedURLClassLoader加載依賴資源

4、方案選擇

方案1:每次打包Docker鏡像時添加Dockerfile命令,解壓服務(wù)Jar包到指定位置,獲得BOOT-INF絕對路徑,并在JVM啟動命令中添加絕對路徑參數(shù),服務(wù)運行時可取得BOOT-INF絕對路徑,并將其作為options -classpath參數(shù)調(diào)用getTask方法編譯代碼。

CompilationTask getTask(Writer out,
                            JavaFileManager fileManager,
                            DiagnosticListener<? super JavaFileObject> diagnosticListener,
                            Iterable<String> options,
                            Iterable<String> classes,
                            Iterable<? extends JavaFileObject> compilationUnits);

實現(xiàn)方案雖簡單,但目前架構(gòu)不支持自定義Dockerfile命令,無法做到通用解壓服務(wù),且依然無法解決像Lombok、Mapstruct等問題,某些情景下編譯還會報錯,可用性低。

方案2:解決Fatjar模式下的動態(tài)編譯

思考一下SpringBoot服務(wù)為什么可以讀取Fatjar的資源

一句話描述可以總結(jié)為SpringBoot自定義了URL Handler處理邏輯,將嵌套的jar轉(zhuǎn)換為URL,通過URLClassLoader的addURL方法添加獲取資源,完整細節(jié)可以翻閱SpringBoot源碼查看。

public URL getUrl() throws MalformedURLException {
        if (this.url == null) {
            String file = this.rootFile.getFile().toURI() + this.pathFromRoot + "!/";
            file = file.replace("file:////", "file://"); // Fix UNC paths
            // 這里返回的時候 new了一個Handler來處理URL
            this.url = new URL("jar", "", -1, file, new Handler(this));
        }
        return this.url;
    }

Handler繼承了URLStreamHandler,重寫了openConnection方法來處理獲取JarURLConnection,最終通過JarURLConnection的getInputStream方法返回字節(jié)流。

@Override
    protected URLConnection openConnection(URL url) throws IOException {
        if (this.jarFile != null && isUrlInJarFile(url, this.jarFile)) {
            return JarURLConnection.get(url, this.jarFile);
        }
        try {
            return JarURLConnection.get(url, getRootJarFileFromUrl(url));
        } catch (Exception ex) {
            return openFallbackConnection(url, ex);
        }
    }

我們回到URLClassLoader,URLClassLoader重寫了findClass方法,通過雙親委托加載資源

protected Class<?> findClass(final String name) throws ClassNotFoundException
    {
        final Class<?> result;
        try {
            result = AccessController.doPrivileged(
                new PrivilegedExceptionAction<Class<?>>() {
                    public Class<?> run() throws ClassNotFoundException {
                        String path = name.replace('.', '/').concat(".class");
                        // 這里調(diào)用URLClassPath的getResource方法
                        Resource res = ucp.getResource(path, false);
                        if (res != null) {
                            try {
                                return defineClass(name, res);
                            } catch (IOException e) {
                                throw new ClassNotFoundException(name, e);
                            } catch (ClassFormatError e2) {
                                if (res.getDataError() != null) {
                                    e2.addSuppressed(res.getDataError());
                                }
                                throw e2;
                            }
                        } else {
                            return null;
                        }
                    }
                }, acc);
        } catch (java.security.PrivilegedActionException pae) {
            throw (ClassNotFoundException) pae.getException();
        }
        if (result == null) {
            throw new ClassNotFoundException(name);
        }
        return result;
    }

最終調(diào)用到URLClassPath的getResource方法

Resource getResource(final String name, boolean check) {
            final URL url;
            try {
                url = new URL(base, ParseUtil.encodePath(name, false));
            } catch (MalformedURLException e) {
                throw new IllegalArgumentException("name");
            }
            final URLConnection uc;
            try {
                if (check) {
                    URLClassPath.check(url);
                }
                // 這里就會調(diào)用到URLStreamHandler的openConnection方法
                uc = url.openConnection();
                InputStream in = uc.getInputStream();
                if (uc instanceof JarURLConnection) {
                    /* Need to remember the jar file so it can be closed
                     * in a hurry.
                     */
                    JarURLConnection juc = (JarURLConnection)uc;

                    boolean firstLoad = jarfile == null;

                    jarfile = JarLoader.checkJar(juc.getJarFile());

                    if (firstLoad && JarLoadEvent.isEnabled()) {
                        Tooling.notifyEvent(JarLoadEvent.jarLoadEvent(url, jarfile));
                    }
                }
            } catch (Exception e) {
                return null;
            }
            return new Resource() {
                public String getName() { return name; }
                public URL getURL() { return url; }
                public URL getCodeSourceURL() { return base; }
                public InputStream getInputStream() throws IOException {
                    //JarURLConnection的getInputStream方法
                    return uc.getInputStream();
                }
                public int getContentLength() throws IOException {
                    return uc.getContentLength();
                }
            };
        }

既然SpringBoot已經(jīng)幫我們處理好Fatjar的資源讀取,我們將直接復(fù)用其能力獲取加載的資源。

5、探索實踐

Agent啟動時,通過字節(jié)碼增強Spring框架。在Spring框架初始化時獲取其ClassLoader并反射存儲到Agent全局靜態(tài)字段(SpringBoot服務(wù)為LaunchedURLClassLoader,SCF服務(wù)為AppClassLoader)。當觸發(fā)動態(tài)編譯時(Agent運行期),針對于SpringBoot服務(wù),我們將復(fù)用SpringBoot解析Fatjar的這個能力,通過LaunchedURLClassLoader獲取完整的URL資源,通過URL解析來得到JavaFileObject,從而完成動態(tài)編譯。

針對于缺失的Lombok、Mapstruct等依賴以及自定義添加的jar包,我們可以手動添加URL資源。

public DynamicCompiler(ClassLoader userClassLoader) {
        if (javaCompiler == null) {
            throw new IllegalStateException("Can not load JavaCompiler from javax.tools.ToolProvider#getSystemJavaCompiler(), please confirm the application running in JDK not JRE.");
        }

        standardFileManager = javaCompiler.getStandardFileManager(null, null, null);

        options.add("-Xlint:unchecked");
        options.add("-g");

        List<URL> urlList = new ArrayList<>();
        //添加自定義jar資源
        urlList.addAll(getCustomJarUrl());
        //獲取userClassLoader加載的資源(SpringBoot服務(wù) LaunchedURLClassLoader)
        urlList.addAll(getClassLoaderUrl(userClassLoader));

        // 向上查找父類
        ClassLoader appClassLoader = getAppClassLoader(userClassLoader);

        //DynamicClassLoader同樣繼承URLClassLoader
        dynamicClassLoader = new DynamicClassLoader(urlList.toArray(new URL[0]), appClassLoader);
    }

解析URL獲取JavaFileObject

private List<JavaFileObject> processJar(URL packageFolderURL) {
        List<JavaFileObject> result = new ArrayList<>();
        try {
            String jarUri = packageFolderURL.toExternalForm().substring(0, packageFolderURL.toExternalForm().lastIndexOf("!/"));

            JarURLConnection jarConn = (JarURLConnection) packageFolderURL.openConnection();
            String rootEntryName = jarConn.getEntryName();
            if (StringUtils.isBlank(rootEntryName)){
                return new ArrayList<>();
            }

            int rootEnd = rootEntryName.length() + 1;

            Enumeration<JarEntry> entryEnum = jarConn.getJarFile().entries();
            while (entryEnum.hasMoreElements()) {
                JarEntry jarEntry = entryEnum.nextElement();
                String name = jarEntry.getName();
                if (name.startsWith(rootEntryName) && name.indexOf('/', rootEnd) == -1 && name.endsWith(CLASS_FILE_EXTENSION)) {
                    URI uri = URI.create(jarUri + "!/" + name);
                    String binaryName = name.replaceAll("/", ".");
                    binaryName = binaryName.replaceAll(CLASS_FILE_EXTENSION + "$", "");

                    result.add(new CustomJavaFileObject(binaryName, uri));
                }
            }
        } catch (Exception e) {
            throw new RuntimeException("Wasn't able to open " + packageFolderURL + " as a jar file", e);
        }
        return result;
    }

動態(tài)編譯獲取字節(jié)碼

public Map<String, byte[]> buildGetByteCodes() {

        errors.clear();
        warnings.clear();

        JavaFileManager fileManager = new DynamicJavaFileManager(standardFileManager, dynamicClassLoader);

        DiagnosticCollector<JavaFileObject> collector = new DiagnosticCollector<>();
        JavaCompiler.CompilationTask task = javaCompiler.getTask(null, fileManager, collector, options, null, compilationUnits);

        try {

            if (!compilationUnits.isEmpty()) {
                boolean result = task.call();

                if (!result || collector.getDiagnostics().size() > 0) {

                    for (Diagnostic<? extends JavaFileObject> diagnostic : collector.getDiagnostics()) {
                        switch (diagnostic.getKind()) {
                            case NOTE:
                            case MANDATORY_WARNING:
                            case WARNING:
                                warnings.add(diagnostic);
                                break;
                            case OTHER:
                            case ERROR:
                            default:
                                errors.add(diagnostic);
                                break;
                        }

                    }
                    if (!errors.isEmpty()) {
                        return new HashMap<>();
                    }
                }
            }

            return dynamicClassLoader.getByteCodes();
        } catch (ClassFormatError e) {
            throw new DynamicCompilerException(e, errors);
        } finally {
            compilationUnits.clear();
        }
    }

Mapstruct編譯過程較為特殊,首先會根據(jù)接口生成接口的實現(xiàn)類,進而生成字節(jié)碼,getJavaFileForOutput方法需要根據(jù)kind類型判斷一下,不能忽略SOURCE類型,不然會導(dǎo)致Mapstruct接口的字節(jié)碼文件里存儲的是實現(xiàn)類的Java代碼,進而導(dǎo)致JVM的字節(jié)碼重載錯誤。

@Override
    public JavaFileObject getJavaFileForOutput(Location location, String className, JavaFileObject.Kind kind, FileObject sibling) {

        if (JavaFileObject.Kind.SOURCE.equals(kind)) {
            // 源碼
            for (StringSource stringSource : this.sourceCodes) {
                if (stringSource.getClassName().equals(className)) {
                    return stringSource;
                }
            }

            StringSource stringSource = new StringSource(className);
            sourceCodes.add(stringSource);
            //這里可以存一下動態(tài)生成的源代碼,編譯完成后輸出到文件夾
            //            classLoader.registerCompiledSource(stringSource);
            return stringSource;

        } else {
            // 字節(jié)碼
            for (MemoryByteCode byteCode : this.byteCodes) {
                if (byteCode.getClassName().equals(className)) {
                    return byteCode;
                }
            }

            MemoryByteCode innerClass = new MemoryByteCode(className);
            byteCodes.add(innerClass);
            classLoader.registerCompiledSource(innerClass);
            return innerClass;
        }
    }

注:動態(tài)編譯時一定要添加-g參數(shù)生成完整調(diào)試信息,不然熱部署代碼Debug會發(fā)現(xiàn)方法棧內(nèi)變量沒有名字、Jacoco布爾數(shù)組透出、slot對不上等問題。(坑了我半年多一直沒發(fā)現(xiàn)原因)

做完以上動作,你就可以任意的動態(tài)編譯Java源代碼,得到字節(jié)碼文件了。

到這就完成了遠程熱部署準備工作了。

6、總結(jié)與展望

經(jīng)常被問到做熱部署的夙愿是什么:

遠程熱部署的初心不是代替掉Beetle發(fā)布部署流程,而是盡可能減少用戶編譯部署次數(shù),節(jié)省用戶碎片化的時間,希望可以做到一次部署,“任意”修改。

初版交互圖:

圖片

部分功能UI交互展示圖:圖片


目前Mark42已經(jīng)支持以下功能

框架/功能

狀態(tài)

遠程熱部署

?

遠程動態(tài)編譯

?

熱部署代碼遠程Debug

?

遠程Agent日志

?

遠程服務(wù)日志

?

批量熱部署

?

IDEA插件集成

?

修改方法體內(nèi)容

?

新增方法體

?

新增泛型方法

?

新增非靜態(tài)字段

?

新增修改靜態(tài)字段

?

新增修改繼承類

?

新增修改接口方法

?

新增修改匿名內(nèi)部類

?

新增修改靜態(tài)塊

?

FastJson

?

Jackson

?

Jdk代理

?

Spring

?

Spring MVC

?

Avenger

?

Fsmx狀態(tài)機

?

ZZMQ

?

MyBatis

?

Mapstruct

?

XXL-JOB

?

SCF

?

......



熱部署還有很長的路要走,跟美團Sonic相比,這僅僅是剛開始

ToDoList:

框架/功能

狀態(tài)

Configuration配置bean支持

已支持、測試中

xml文件配置bean支持

已支持、測試中

SCF Agent級別調(diào)用

待開發(fā)

遠程單測支持

待開發(fā)

遠程反編譯

待開發(fā)

究極體 Spring loader替換dcevm

待開發(fā)

關(guān)于作者

譚金果 22屆校招生,現(xiàn)任轉(zhuǎn)轉(zhuǎn)B2C技術(shù)部供應(yīng)鏈后端研發(fā)工程師

責任編輯:龐桂玉 來源: 轉(zhuǎn)轉(zhuǎn)技術(shù)
相關(guān)推薦

2022-03-17 21:42:20

美團插件技術(shù)

2016-10-21 15:58:51

容器容器技術(shù)Docker

2020-03-09 15:40:27

RSACDevSecOps懸鏡安全

2024-06-17 08:22:31

GenAI技術(shù)人工智能

2016-11-07 18:27:32

云計算阿里云

2011-12-05 12:59:22

JavaJVM

2018-07-19 06:23:37

物聯(lián)網(wǎng)IOT網(wǎng)絡(luò)

2022-04-13 12:20:21

零信任網(wǎng)絡(luò)安全

2022-02-09 15:02:01

ideadocker遠程熱部署

2018-06-27 15:59:33

2020-08-03 11:38:08

數(shù)據(jù)中臺數(shù)據(jù)平臺互聯(lián)網(wǎng)

2020-07-03 19:48:24

區(qū)塊鏈區(qū)塊鏈技術(shù)

2021-11-08 10:24:05

智能自動駕駛汽車

2016-12-29 14:06:08

SDNFV技術(shù)商用部署

2019-11-08 08:53:26

HDFS監(jiān)控架構(gòu)

2018-01-18 06:34:46

2021-10-28 10:10:44

人工智能

2022-01-21 16:14:41

汽車底盤技術(shù)

2019-08-26 11:03:32

互聯(lián)網(wǎng)研發(fā)落地

2012-03-16 15:39:51

VMware應(yīng)用程序虛擬化
點贊
收藏

51CTO技術(shù)棧公眾號