遠程熱部署的落地與思考-動態(tài)編譯篇
遠程熱部署(代號名稱Mark42、Jarvis)是參考美團Sonic并結(jié)合轉(zhuǎn)轉(zhuǎn)的業(yè)務(wù)場景研發(fā)的一款熱部署組件,由Java Agent與IDEA插件組成。
整個熱部署全流程涉及知識范圍廣泛,三言兩語無法描述清楚,全流程會拆分成專題的形式進行分享。本文主要選講在落地過程中遇到的一些Sonic未提及的問題與自己的思考感悟。
通讀前建議閱讀美團原文:遠程熱部署在美團的落地實踐,原文講述到相關(guān)技術(shù)介紹、原理、實現(xiàn)方案等不再贅述。
1、背景
1.1 、真實工作場景
某次前后端聯(lián)調(diào)時的對話(部分內(nèi)容存在虛構(gòu)):
H師傅
:果子果子,你這接口返回的結(jié)果好像不太對啊,是不是寫反了啊~
我
:啊,不能吧,稍等我看看哈~
H師傅
:你看一下~
我
:woc,大于等于寫反了,我改一下~
H師傅
:好小子,抓緊抓緊~
我
:改完了,就一個符號,已經(jīng)在編譯部署了~
??五分鐘后......
我
:部署完了,你再看一下~
H師傅
:好了,沒問題了~
H師傅
:果子,這里返回的文案要不要把最后一句刪掉,不太通順~
我
:有道理,PM同意了,我刪一下~
??又過了五分鐘......
我
:編譯部署完了,你在看一下~
H師傅
:可以的 可以的~
原本一兩分鐘可以完成的工作,由于代碼的改動、編譯部署等待導(dǎo)致前后端同學(xué)各自浪費了十多分鐘,極大的影響了協(xié)作效率。
如果能擁有一種“魔法”,使得后端的代碼像前端一樣“熱更新”,那該是一件多么幸福的事情!
1.2、項目背景
作為一名業(yè)務(wù)側(cè)的一線開發(fā)同學(xué),一直把高優(yōu)支持業(yè)務(wù)放在首位。由于業(yè)務(wù)系統(tǒng)相對復(fù)雜,且受限于公司架構(gòu)歷史原因,使得開發(fā)者在開發(fā)過程中往往都是“一次性編寫”代碼,等業(yè)務(wù)邏輯實現(xiàn)的差不多,“看”上去沒問題,就部署到Docker容器中進行自測查漏補缺,當遇到極為復(fù)雜的場景,就需要進行遠程Debug協(xié)助,發(fā)現(xiàn)問題后修改代碼,再次部署,反反復(fù)復(fù)。
正因如此我們每天少不了Beetle(公司內(nèi)部編譯管理及發(fā)布管理輕量級效率平臺)多次編譯與部署的循環(huán)反復(fù)的操作,一行小小的代碼改動就需要走完一整個流程才能使得代碼生效,嚴重影響了開發(fā)自測、聯(lián)調(diào)、提測的效率。
現(xiàn)有流程
面對如此“長”的流程,能否對其進行簡化,盡可能的減少編譯部署次數(shù),使得修改后的代碼快速生效,減少用戶等待時間。
期望流程
2、預(yù)期目標
日常開發(fā)場景中,最大限度的幫助開發(fā)者減少代碼提交、編譯、部署的次數(shù),節(jié)省因等待而造成的碎片化時間,使得開發(fā)者只需把主要精力放在編碼實現(xiàn),間接提升開發(fā)效率。
3、選講問題分析
“熱部署”簡單講就是在Java程序運行時更新Java類文件,即JVM的字節(jié)碼重載,通過新的字節(jié)碼二進制流和舊的Class對象生成ClassDefinition定義,同時重載或初始化Spring容器以及第三方框架,達到“不停機”狀態(tài)更新。
思考一個問題:新的字節(jié)碼二進制流也就是字節(jié)碼文件(.class 文件)從何而來呢?
無非存在兩種解法:
1、本地編譯Java源代碼,將生成的.class文件推到遠端服務(wù)器;
2、直接將Java源代碼推到遠端服務(wù)器,由遠端服務(wù)器進行編譯生成.class文件;
我們來逐一解析兩種方案成本與利弊:
方案1:成本低,易實現(xiàn),用戶在本地先執(zhí)行編譯操作,通過IDEA開發(fā)工具完成,但由于IDEA工具和Maven等構(gòu)建工具之間的兼容性問題,經(jīng)常出現(xiàn)本地編譯不通過的情況,當然也可以通過Maven的Install命令編譯整個服務(wù)文件,但是這種方案操作時間長,不人性化。其次還存在潛在的安全性問題:本地開發(fā)Jdk環(huán)境與服務(wù)器Jdk環(huán)境不一致等。
本地編譯失敗
方案2:難度系數(shù)高,實現(xiàn)復(fù)雜,但卻是更優(yōu)解。首先由用戶將修改后的Java源代碼推到遠端服務(wù)器,由遠端服務(wù)器進行動態(tài)編譯生成.class文件,整個過程對用戶透明。
問題:
①極多數(shù)服務(wù)都是Springboot - Fat Jar(將一個Jar及其依賴的三方Jar全部打到一個包中,這個包即為FatJar)這種結(jié)構(gòu)方式。想要動態(tài)編譯則需要從ClassLoader中恢復(fù)ClassPath,但Springboot - Fat Jar是一個整體的jar包,恢復(fù)出來的路徑不合法(Url轉(zhuǎn)換成File不存在),這就導(dǎo)致動態(tài)編譯時找不到代碼中引用的各種類。
Fat-Jar
②LomBok依賴丟失問題:Lombok主要是在編譯.class文件期間,生成Get/Set/Hash/Equals/ToString等方法,使實體對象更簡潔,所以像Lombok這樣的依賴只作用于編譯階段,編譯完成就沒用了,對于有“代碼潔癖”的同學(xué)會選擇從依賴Jar包里排除掉。這樣子可能會導(dǎo)致我們修改、新增實體類時動態(tài)編譯失敗,找不到依賴。
Maven如下配置:
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.18.6</version>
<scope>provided</scope>
</dependency>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<configuration>
<excludes>
<exclude>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
</exclude>
</excludes>
</configuration>
</plugin>
</plugins>
③動態(tài)編譯時ClassLoader的處理。美團熱部署作者龍哥說:所有的遠程和本地執(zhí)行不一致的問題,百分之99在ClassLoader的問題上找。動態(tài)編譯需兼容目前公司現(xiàn)有服務(wù)類型以及后續(xù)可能存在類型。
公司內(nèi)部Java服務(wù)類型分為三種:SpringBoot服務(wù)、SCF服務(wù)、ZZJava服務(wù),不同服務(wù)類型打包方式不同。
SpringBoot:Spring Boot服務(wù),LaunchedURLClassLoader加載依賴資源
SCF服務(wù):歷史SCF(內(nèi)部RPC)框架內(nèi)嵌Spring服務(wù)模式,服務(wù)啟動前需解壓服務(wù)所有依賴,得到絕對路徑后作為-classpath參數(shù),通過AppClassLoader加載依賴資源(查看完整啟動命令足有2-3W字符,可怕??)
ZZJava服務(wù):基于SpringBoot自定義的一種項目結(jié)構(gòu)、打包及啟動、停止標準,依舊為Spring Boot服務(wù),通過LaunchedURLClassLoader加載依賴資源
4、方案選擇
方案1:每次打包Docker鏡像時添加Dockerfile命令,解壓服務(wù)Jar包到指定位置,獲得BOOT-INF絕對路徑,并在JVM啟動命令中添加絕對路徑參數(shù),服務(wù)運行時可取得BOOT-INF絕對路徑,并將其作為options -classpath參數(shù)調(diào)用getTask方法編譯代碼。
CompilationTask getTask(Writer out,
JavaFileManager fileManager,
DiagnosticListener<? super JavaFileObject> diagnosticListener,
Iterable<String> options,
Iterable<String> classes,
Iterable<? extends JavaFileObject> compilationUnits);
實現(xiàn)方案雖簡單,但目前架構(gòu)不支持自定義Dockerfile命令,無法做到通用解壓服務(wù),且依然無法解決像Lombok、Mapstruct等問題,某些情景下編譯還會報錯,可用性低。
方案2:解決Fatjar模式下的動態(tài)編譯
思考一下SpringBoot服務(wù)為什么可以讀取Fatjar的資源
一句話描述可以總結(jié)為SpringBoot自定義了URL Handler處理邏輯,將嵌套的jar轉(zhuǎn)換為URL,通過URLClassLoader的addURL方法添加獲取資源,完整細節(jié)可以翻閱SpringBoot源碼查看。
public URL getUrl() throws MalformedURLException {
if (this.url == null) {
String file = this.rootFile.getFile().toURI() + this.pathFromRoot + "!/";
file = file.replace("file:////", "file://"); // Fix UNC paths
// 這里返回的時候 new了一個Handler來處理URL
this.url = new URL("jar", "", -1, file, new Handler(this));
}
return this.url;
}
Handler繼承了URLStreamHandler,重寫了openConnection方法來處理獲取JarURLConnection,最終通過JarURLConnection的getInputStream方法返回字節(jié)流。
@Override
protected URLConnection openConnection(URL url) throws IOException {
if (this.jarFile != null && isUrlInJarFile(url, this.jarFile)) {
return JarURLConnection.get(url, this.jarFile);
}
try {
return JarURLConnection.get(url, getRootJarFileFromUrl(url));
} catch (Exception ex) {
return openFallbackConnection(url, ex);
}
}
我們回到URLClassLoader,URLClassLoader重寫了findClass方法,通過雙親委托加載資源
protected Class<?> findClass(final String name) throws ClassNotFoundException
{
final Class<?> result;
try {
result = AccessController.doPrivileged(
new PrivilegedExceptionAction<Class<?>>() {
public Class<?> run() throws ClassNotFoundException {
String path = name.replace('.', '/').concat(".class");
// 這里調(diào)用URLClassPath的getResource方法
Resource res = ucp.getResource(path, false);
if (res != null) {
try {
return defineClass(name, res);
} catch (IOException e) {
throw new ClassNotFoundException(name, e);
} catch (ClassFormatError e2) {
if (res.getDataError() != null) {
e2.addSuppressed(res.getDataError());
}
throw e2;
}
} else {
return null;
}
}
}, acc);
} catch (java.security.PrivilegedActionException pae) {
throw (ClassNotFoundException) pae.getException();
}
if (result == null) {
throw new ClassNotFoundException(name);
}
return result;
}
最終調(diào)用到URLClassPath的getResource方法
Resource getResource(final String name, boolean check) {
final URL url;
try {
url = new URL(base, ParseUtil.encodePath(name, false));
} catch (MalformedURLException e) {
throw new IllegalArgumentException("name");
}
final URLConnection uc;
try {
if (check) {
URLClassPath.check(url);
}
// 這里就會調(diào)用到URLStreamHandler的openConnection方法
uc = url.openConnection();
InputStream in = uc.getInputStream();
if (uc instanceof JarURLConnection) {
/* Need to remember the jar file so it can be closed
* in a hurry.
*/
JarURLConnection juc = (JarURLConnection)uc;
boolean firstLoad = jarfile == null;
jarfile = JarLoader.checkJar(juc.getJarFile());
if (firstLoad && JarLoadEvent.isEnabled()) {
Tooling.notifyEvent(JarLoadEvent.jarLoadEvent(url, jarfile));
}
}
} catch (Exception e) {
return null;
}
return new Resource() {
public String getName() { return name; }
public URL getURL() { return url; }
public URL getCodeSourceURL() { return base; }
public InputStream getInputStream() throws IOException {
//JarURLConnection的getInputStream方法
return uc.getInputStream();
}
public int getContentLength() throws IOException {
return uc.getContentLength();
}
};
}
既然SpringBoot已經(jīng)幫我們處理好Fatjar的資源讀取,我們將直接復(fù)用其能力獲取加載的資源。
5、探索實踐
在Agent啟動時
,通過字節(jié)碼增強Spring框架。在Spring框架初始化時獲取其ClassLoader并反射存儲到Agent全局靜態(tài)字段(SpringBoot服務(wù)為LaunchedURLClassLoader,SCF服務(wù)為AppClassLoader)。當觸發(fā)動態(tài)編譯時(Agent運行期
),針對于SpringBoot服務(wù),我們將復(fù)用SpringBoot解析Fatjar的這個能力,通過LaunchedURLClassLoader獲取完整的URL資源,通過URL解析來得到JavaFileObject,從而完成動態(tài)編譯。
針對于缺失的Lombok、Mapstruct等依賴以及自定義添加的jar包,我們可以手動添加URL資源。
public DynamicCompiler(ClassLoader userClassLoader) {
if (javaCompiler == null) {
throw new IllegalStateException("Can not load JavaCompiler from javax.tools.ToolProvider#getSystemJavaCompiler(), please confirm the application running in JDK not JRE.");
}
standardFileManager = javaCompiler.getStandardFileManager(null, null, null);
options.add("-Xlint:unchecked");
options.add("-g");
List<URL> urlList = new ArrayList<>();
//添加自定義jar資源
urlList.addAll(getCustomJarUrl());
//獲取userClassLoader加載的資源(SpringBoot服務(wù) LaunchedURLClassLoader)
urlList.addAll(getClassLoaderUrl(userClassLoader));
// 向上查找父類
ClassLoader appClassLoader = getAppClassLoader(userClassLoader);
//DynamicClassLoader同樣繼承URLClassLoader
dynamicClassLoader = new DynamicClassLoader(urlList.toArray(new URL[0]), appClassLoader);
}
解析URL獲取JavaFileObject
private List<JavaFileObject> processJar(URL packageFolderURL) {
List<JavaFileObject> result = new ArrayList<>();
try {
String jarUri = packageFolderURL.toExternalForm().substring(0, packageFolderURL.toExternalForm().lastIndexOf("!/"));
JarURLConnection jarConn = (JarURLConnection) packageFolderURL.openConnection();
String rootEntryName = jarConn.getEntryName();
if (StringUtils.isBlank(rootEntryName)){
return new ArrayList<>();
}
int rootEnd = rootEntryName.length() + 1;
Enumeration<JarEntry> entryEnum = jarConn.getJarFile().entries();
while (entryEnum.hasMoreElements()) {
JarEntry jarEntry = entryEnum.nextElement();
String name = jarEntry.getName();
if (name.startsWith(rootEntryName) && name.indexOf('/', rootEnd) == -1 && name.endsWith(CLASS_FILE_EXTENSION)) {
URI uri = URI.create(jarUri + "!/" + name);
String binaryName = name.replaceAll("/", ".");
binaryName = binaryName.replaceAll(CLASS_FILE_EXTENSION + "$", "");
result.add(new CustomJavaFileObject(binaryName, uri));
}
}
} catch (Exception e) {
throw new RuntimeException("Wasn't able to open " + packageFolderURL + " as a jar file", e);
}
return result;
}
動態(tài)編譯獲取字節(jié)碼
public Map<String, byte[]> buildGetByteCodes() {
errors.clear();
warnings.clear();
JavaFileManager fileManager = new DynamicJavaFileManager(standardFileManager, dynamicClassLoader);
DiagnosticCollector<JavaFileObject> collector = new DiagnosticCollector<>();
JavaCompiler.CompilationTask task = javaCompiler.getTask(null, fileManager, collector, options, null, compilationUnits);
try {
if (!compilationUnits.isEmpty()) {
boolean result = task.call();
if (!result || collector.getDiagnostics().size() > 0) {
for (Diagnostic<? extends JavaFileObject> diagnostic : collector.getDiagnostics()) {
switch (diagnostic.getKind()) {
case NOTE:
case MANDATORY_WARNING:
case WARNING:
warnings.add(diagnostic);
break;
case OTHER:
case ERROR:
default:
errors.add(diagnostic);
break;
}
}
if (!errors.isEmpty()) {
return new HashMap<>();
}
}
}
return dynamicClassLoader.getByteCodes();
} catch (ClassFormatError e) {
throw new DynamicCompilerException(e, errors);
} finally {
compilationUnits.clear();
}
}
Mapstruct編譯過程較為特殊,首先會根據(jù)接口生成接口的實現(xiàn)類,進而生成字節(jié)碼,getJavaFileForOutput方法需要根據(jù)kind類型判斷一下,不能忽略SOURCE類型,不然會導(dǎo)致Mapstruct接口的字節(jié)碼文件里存儲的是實現(xiàn)類的Java代碼,進而導(dǎo)致JVM的字節(jié)碼重載錯誤。
@Override
public JavaFileObject getJavaFileForOutput(Location location, String className, JavaFileObject.Kind kind, FileObject sibling) {
if (JavaFileObject.Kind.SOURCE.equals(kind)) {
// 源碼
for (StringSource stringSource : this.sourceCodes) {
if (stringSource.getClassName().equals(className)) {
return stringSource;
}
}
StringSource stringSource = new StringSource(className);
sourceCodes.add(stringSource);
//這里可以存一下動態(tài)生成的源代碼,編譯完成后輸出到文件夾
// classLoader.registerCompiledSource(stringSource);
return stringSource;
} else {
// 字節(jié)碼
for (MemoryByteCode byteCode : this.byteCodes) {
if (byteCode.getClassName().equals(className)) {
return byteCode;
}
}
MemoryByteCode innerClass = new MemoryByteCode(className);
byteCodes.add(innerClass);
classLoader.registerCompiledSource(innerClass);
return innerClass;
}
}
注:動態(tài)編譯時一定要添加-g
參數(shù)生成完整調(diào)試信息,不然熱部署代碼Debug會發(fā)現(xiàn)方法棧內(nèi)變量沒有名字、Jacoco布爾數(shù)組透出、slot對不上等問題。(坑了我半年多一直沒發(fā)現(xiàn)原因)
做完以上動作,你就可以任意的動態(tài)編譯Java源代碼,得到字節(jié)碼文件了。
到這就完成了遠程熱部署準備工作了。
6、總結(jié)與展望
經(jīng)常被問到做熱部署的夙愿是什么:
遠程熱部署的初心不是代替掉Beetle發(fā)布部署流程,而是盡可能減少用戶編譯部署次數(shù),節(jié)省用戶碎片化的時間,希望可以做到一次部署,“任意”修改。
初版交互圖:
部分功能UI交互展示圖:
目前Mark42已經(jīng)支持以下功能
框架/功能 | 狀態(tài) |
遠程熱部署 | ? |
遠程動態(tài)編譯 | ? |
熱部署代碼遠程Debug | ? |
遠程Agent日志 | ? |
遠程服務(wù)日志 | ? |
批量熱部署 | ? |
IDEA插件集成 | ? |
修改方法體內(nèi)容 | ? |
新增方法體 | ? |
新增泛型方法 | ? |
新增非靜態(tài)字段 | ? |
新增修改靜態(tài)字段 | ? |
新增修改繼承類 | ? |
新增修改接口方法 | ? |
新增修改匿名內(nèi)部類 | ? |
新增修改靜態(tài)塊 | ? |
FastJson | ? |
Jackson | ? |
Jdk代理 | ? |
Spring | ? |
Spring MVC | ? |
Avenger | ? |
Fsmx狀態(tài)機 | ? |
ZZMQ | ? |
MyBatis | ? |
Mapstruct | ? |
XXL-JOB | ? |
SCF | ? |
...... |
熱部署還有很長的路要走,跟美團Sonic相比,這僅僅是剛開始
ToDoList:
框架/功能 | 狀態(tài) |
Configuration配置bean支持 | 已支持、測試中 |
xml文件配置bean支持 | 已支持、測試中 |
SCF Agent級別調(diào)用 | 待開發(fā) |
遠程單測支持 | 待開發(fā) |
遠程反編譯 | 待開發(fā) |
究極體 Spring loader替換dcevm | 待開發(fā) |
關(guān)于作者
譚金果 22屆校招生,現(xiàn)任轉(zhuǎn)轉(zhuǎn)B2C技術(shù)部供應(yīng)鏈后端研發(fā)工程師