HDC技術(shù)分論壇：ArkCompiler原理解析
51CTO和華為官方合作共建的鴻蒙技術(shù)社區(qū)
ArkCompiler(方舟編譯器)是組件化、可配置的多語言編譯和運(yùn)行平臺(tái)，它既能支撐單一語言運(yùn)行環(huán)境，也能支撐多種語言組合的運(yùn)行環(huán)境。它目前主要支持的語言是JavaScript、TypeScript和Java。
一、概述
HarmonyOS的設(shè)計(jì)目標(biāo)，是成為打通手機(jī)、PC、平板、電視、車機(jī)和智能穿戴等多種設(shè)備的統(tǒng)一操作系統(tǒng)。
圖1 多設(shè)備互聯(lián)
其應(yīng)用開發(fā)有多編程語言、多范式的支持需求，其中高級(jí)編程語言包括JavaScript、TypeScript、Java等，開發(fā)范式包括聲明式UI范式、分布式編程范式。 我們需要相應(yīng)的編譯器和運(yùn)行時(shí)來支撐這些高級(jí)應(yīng)用編程語言的高效開發(fā)、部署和運(yùn)行。 使應(yīng)用開發(fā)者能使用同一套開發(fā)框架實(shí)現(xiàn)一次開發(fā)多端部署運(yùn)行。并且讓使用HarmonyOS設(shè)備的用戶，能獲得統(tǒng)一的用戶體驗(yàn)。于是，ArkCompiler應(yīng)運(yùn)而生。
1. 目標(biāo)
ArkCompiler是為支持多種編程語言、多種芯片平臺(tái)的聯(lián)合編譯、運(yùn)行而設(shè)計(jì)的統(tǒng)一編程平臺(tái)，其設(shè)計(jì)目標(biāo)是提供一個(gè)語言可插拔、組件可配置的多語言編譯器運(yùn)行時(shí)。
語言可插拔： 設(shè)計(jì)架構(gòu)上支持多種語言接入，ArkCompiler有能力提供具有高效執(zhí)行性能且具有跨語言優(yōu)勢(shì)的多語言運(yùn)行時(shí)，也可以在小設(shè)備上提供高效輕量的單一語言運(yùn)行時(shí)。
組件可配置： ArkCompiler具有豐富的編譯器運(yùn)行時(shí)組件系統(tǒng)。通過定制化配置編譯運(yùn)行時(shí)的語言和組件，以支持手機(jī)、PC、平板、電視、汽車和智能穿戴等多種設(shè)備上不同的性能和內(nèi)存需求。
2. 架構(gòu)
如圖2所示，ArkCompiler包含編譯器、工具鏈、運(yùn)行時(shí)等關(guān)鍵部件。ArkCompiler工具鏈實(shí)現(xiàn)對(duì)應(yīng)語言的前端編譯器，將前端開發(fā)框架的高級(jí)語言編譯成統(tǒng)一的字節(jié)碼/二進(jìn)制文件。根據(jù)不同的應(yīng)用場(chǎng)景，通過ArkCompiler運(yùn)行時(shí)解釋器解釋執(zhí)行字節(jié)碼文件或JIT/AOT編譯器編譯執(zhí)行對(duì)應(yīng)體系架構(gòu)的優(yōu)化機(jī)器碼，從而提升運(yùn)行效率和啟動(dòng)性能。
圖2 ArkCompiler運(yùn)行原理
下面，本文將從前端編譯器，運(yùn)行時(shí)展開介紹。
二、前端編譯器
前端編譯器是高級(jí)語言通往語言運(yùn)行時(shí)的橋梁，它按照語言規(guī)范，將編程語言表達(dá)的語義翻譯為運(yùn)行時(shí)能夠理解的介質(zhì)，在ArkCompiler解決方案里，這體現(xiàn)為ArkCompiler字節(jié)碼。即圖3中的ArkCompiler Bytecode(簡(jiǎn)稱abc)。部分語言，也支持通過ArkCompiler的AOT Compiler組件直接將字節(jié)碼編譯成對(duì)應(yīng)體系架構(gòu)的優(yōu)化機(jī)器碼。
圖3 ArkCompiler前端
1. 前端編譯器功能
在需要支持多種語言的ArkCompiler中，前端編譯器的主要作用是在Host側(cè)把源碼生成字節(jié)碼文件，這樣的優(yōu)點(diǎn)：
利用Host強(qiáng)大的計(jì)算能力，能夠在運(yùn)行前做更多更復(fù)雜的算法優(yōu)化，減少運(yùn)行時(shí)的工作，提高運(yùn)行效率。
相比常見的JavaScript運(yùn)行時(shí)，可以把端側(cè)的編譯解析過程提前到發(fā)布前，提升程序的啟動(dòng)性能。
圖4 JavaScript運(yùn)行流程
編譯優(yōu)化
ArkCompiler提供對(duì)TypeScript(TS)的原生支持。在前端編譯TS源碼時(shí)，會(huì)利用TS的顯式類型聲明，應(yīng)用類型推導(dǎo)進(jìn)行類型優(yōu)化，并且將推導(dǎo)出的類型信息通過字節(jié)碼文件保留至運(yùn)行時(shí)，由此運(yùn)行時(shí)可以直接利用類型信息執(zhí)行快速路徑。此外，靜態(tài)的類型分析和推導(dǎo)也使得TS AOT (Ahead of Time) Compiler成為可能，靜態(tài)分析得到的類型信息幫助AOT Compiler直接編譯生成高質(zhì)量的機(jī)器碼，使得TS源碼可以直接以機(jī)器碼形式運(yùn)行，進(jìn)一步提升運(yùn)行性能。
圖5 編譯優(yōu)化
2. ArkCompiler字節(jié)碼
ArkCompiler字節(jié)碼(ArkCompiler Bytecode)是運(yùn)行時(shí)解釋器能夠解析運(yùn)行的一種硬件和平臺(tái)無關(guān)的中間表現(xiàn)形式，以緊湊、可擴(kuò)展、多語言支持作為設(shè)計(jì)目標(biāo)。屏蔽設(shè)備的差異，支持應(yīng)用的跨設(shè)備分發(fā)、部署和運(yùn)行。ArkCompiler采用的是基于寄存器的字節(jié)碼格式。每個(gè)寄存器的寬度為64位，最多支持65536個(gè)寄存器。
(1)寄存器
ArkCompiler寄存器要求能夠放置對(duì)象引用和基本類型，寬度采用64位。寄存器的作用域是以函數(shù)棧幀為范圍。在字節(jié)碼指令編碼中，寄存器索引支持4位、8位以及16位的變長(zhǎng)編碼，在支持方法內(nèi)不同數(shù)量范圍的寄存器尋址的同時(shí)減小字節(jié)碼尺寸。
(2)累加寄存器
累加寄存器，俗稱累加器，是一個(gè)特殊的寄存器，被指令隱含使用。使用累加器的主要目的是在不損失性能的前提下改善指令編碼密度。在ArkCompiler字節(jié)碼中，上一條指令利用累加器作為結(jié)果輸出，下一條指令將此累加器作為輸入，可以有效改善指令密度，減小字節(jié)碼的尺寸。同時(shí)，通過在生成字節(jié)碼階段的數(shù)據(jù)流及控制流分析和優(yōu)化，前端編譯器可以有效消除冗余的累加器load和store操作。
(3)基本類型支持
ArkCompiler字節(jié)碼提供對(duì)32位(i32)和64位(i64)整型數(shù)值的寄存器操作支持，8位和16位數(shù)值通過擴(kuò)展到32位來模擬。支持對(duì)IEEE-754雙精度浮點(diǎn)f64值的寄存器的操作，f32數(shù)據(jù)類型(IEEE-754單精度)也通過轉(zhuǎn)換為f64值進(jìn)行模擬?；緮?shù)據(jù)類型不需要虛擬機(jī)進(jìn)行記錄、跟蹤和推導(dǎo)，而是通過操作不同基本數(shù)據(jù)類型的專用字節(jié)碼進(jìn)行表示，包括整數(shù)值的符號(hào)性。為了更有效地利用字節(jié)碼的指令空間，設(shè)計(jì)中對(duì)高頻使用的數(shù)據(jù)類型和操作引入更多的專用字節(jié)碼，而對(duì)低頻使用的數(shù)據(jù)類型和操作采用更通用的字節(jié)碼。
(4)語言相關(guān)類型支持
ArkCompiler根據(jù)其執(zhí)行的語言支持層次化的類型系統(tǒng)。這樣，創(chuàng)建或者從常量池加載的字符串、數(shù)組、異常對(duì)象等，都是含有相應(yīng)層次關(guān)系的、和具體語言規(guī)范相匹配的數(shù)據(jù)對(duì)象。
(5)動(dòng)態(tài)類型語言支持
為支持類似JS/TS的動(dòng)態(tài)類型語言，ArkCompiler通過特殊的標(biāo)記值(“Any”)表示動(dòng)態(tài)類型值，其包裝了值本身和相應(yīng)的類型信息(包括基本類型和對(duì)象引用類型數(shù)據(jù))。虛擬寄存器的寬度可以容納“Any”值。同時(shí)，在動(dòng)態(tài)類型語言代碼的執(zhí)行上下文中，也可能使用到包含類型檢查指令在內(nèi)的靜態(tài)確定類型指令序列，以表示動(dòng)態(tài)類型相關(guān)語義。
三、ArkCompiler運(yùn)行時(shí)
ArkCompiler運(yùn)行時(shí)，如圖6所示，被分為了核心運(yùn)行時(shí)(Core Runtime)和各自語言獨(dú)立的運(yùn)行時(shí)插件(Runtime Plugin)。
核心運(yùn)行時(shí)主要由運(yùn)行時(shí)的公共核心組件構(gòu)成，包含定義字節(jié)碼格式和行為的Public ISA模塊，對(duì)接系統(tǒng)調(diào)用的ArkCompiler Base Platform模塊， 支持Debugger、Profiler等工具的Common Tool模塊和承載字節(jié)碼文件處理的ArkCompiler File模塊等。也提供了可選的語言無關(guān)的解釋器、內(nèi)存管理、編譯器和并發(fā)等基礎(chǔ)設(shè)施組件。
各語言運(yùn)行時(shí)插件則包含各語言特有的特性實(shí)現(xiàn)以及標(biāo)準(zhǔn)庫來支撐語言的運(yùn)行行為符合對(duì)應(yīng)的語言規(guī)范，由各語言按需定制。
圖6 運(yùn)行時(shí)框架
1. 執(zhí)行引擎
ArkCompiler運(yùn)行時(shí)執(zhí)行引擎有多種組件，包括解釋器、JIT編譯器和AOT編譯器，如圖7所示。
圖7 執(zhí)行引擎結(jié)構(gòu)
(1)解釋器
解釋器可直接運(yùn)行前端編譯器輸出的字節(jié)碼。
(2)JIT Compiler
JIT編譯器一般需要運(yùn)行時(shí)執(zhí)行代碼一段時(shí)間，Profiler生成了profiling數(shù)據(jù)之后，根據(jù)profiling數(shù)據(jù)即時(shí)編譯生成高質(zhì)量的機(jī)器碼(上圖Optimized Code II)來運(yùn)行。(JIT可以根據(jù)代碼執(zhí)行情況實(shí)時(shí)編譯生成最優(yōu)機(jī)器指令)
(3)AOT Compiler
AOT編譯器則是在運(yùn)行前根據(jù)靜態(tài)信息直接編譯生成高質(zhì)量的目標(biāo)機(jī)器碼(上圖Optimized Code I)在設(shè)備上運(yùn)行，PGO(Profile Guided Optimization)配置文件可以作為AOT Compiler的輸入之一，給AOT Compiler一些指示，比如編譯的范圍以及編譯某個(gè)方法時(shí)使用哪些優(yōu)化技術(shù)。通常這種PGO配置文件由在同等規(guī)格的設(shè)備上經(jīng)過運(yùn)行時(shí)profiling或者大數(shù)據(jù)分析生成。
無論是JIT 編譯器生成的優(yōu)化代碼，還是AOT編譯器生成的優(yōu)化代碼，通常都是在一定優(yōu)化假設(shè)或者優(yōu)化推斷的前提下生成的。如果這個(gè)前提在運(yùn)行時(shí)不成立，則需要進(jìn)行Deopt(逆優(yōu)化)，回退到解釋器執(zhí)行，這種情況一般較少發(fā)生。
2. 定制化需求
各個(gè)執(zhí)行引擎的性能如圖8所示：
圖8 各執(zhí)行引擎的性能對(duì)比
ArkCompiler運(yùn)行時(shí)通過不同執(zhí)行模式的按需組合，支持多種設(shè)備不同的定制化需求。
在低端IOT設(shè)備上，ArkCompiler執(zhí)行引擎支持純解釋器的執(zhí)行模式，以滿足小設(shè)備的內(nèi)存限制條件;
在高端設(shè)備上，ArkCompiler執(zhí)行引擎支持解釋器配合AOT編譯器以及JIT編譯器的模式運(yùn)行，對(duì)相當(dāng)部分代碼使用AOT編譯器編譯，使得程序一開始就可以運(yùn)行在高質(zhì)量的優(yōu)化代碼上，獲得最好的執(zhí)行性能;
在其它設(shè)備上，則根據(jù)設(shè)備的硬件條件限制來選擇策略，設(shè)定高頻使用需要AOT編譯的代碼范圍，其它代碼則依靠解釋器配合JIT Compiler運(yùn)行，使得應(yīng)用執(zhí)行性能能夠得到最大化。
為了提升解釋執(zhí)行性能，在特定的體系架構(gòu)下，解釋器約定了將解釋執(zhí)行上下文中某些頻繁使用的數(shù)據(jù)放在對(duì)應(yīng)的物理寄存器中，比如在Arm64架構(gòu)下，上下文中當(dāng)前字節(jié)碼指令地址、累加器值、解釋器棧幀、指令映射表、當(dāng)前線程對(duì)象等，直接放在固定的寄存器上，避免了在棧上頻繁的加載和寫入操作。
3. 并發(fā)
復(fù)雜移動(dòng)應(yīng)用的開發(fā)和運(yùn)行對(duì)并發(fā)有較強(qiáng)的需求。ArkCompiler運(yùn)行時(shí)除了提供標(biāo)準(zhǔn)的“Java多線程編程”和“運(yùn)行支持”之外，也提供響應(yīng)式的Actor并發(fā)編程模型支持。此模型下執(zhí)行體之間不共享任何數(shù)據(jù)，通過消息機(jī)制進(jìn)行通信。當(dāng)前，業(yè)界的一些Actor并發(fā)模型，例如傳統(tǒng)JS引擎的web-worker實(shí)現(xiàn)，有啟動(dòng)速度慢、內(nèi)存占用高等缺陷。
為了利用設(shè)備的多核能力獲得更好的性能提升，在Actor內(nèi)存隔離模型的基礎(chǔ)上，ArkCompiler運(yùn)行時(shí)通過共享Actor實(shí)例中的不可變或者不易變的對(duì)象、內(nèi)建代碼塊、方法字節(jié)碼等，提升Actor的啟動(dòng)性能和節(jié)省內(nèi)存開銷，達(dá)到實(shí)現(xiàn)輕量級(jí)Actor并發(fā)模型的目標(biāo)。
圖9 輕量級(jí)Actor實(shí)現(xiàn)
4. 跨語言優(yōu)化
HarmonyOS應(yīng)用在某些情況下實(shí)際上是由多種語言的代碼組成的。例如對(duì)HarmonyOS JS/TS應(yīng)用，有一些系統(tǒng)庫、框架和應(yīng)用依賴的部分能力的實(shí)現(xiàn)使用了C/C++ 和Java語言。HarmonyOS開發(fā)框架也提供了JS/TS與C/C++ 交互的JS NAPI以及JS/TS與Java交互的Channel機(jī)制?？紤]不同語言之間的交互場(chǎng)景的開發(fā)和運(yùn)行效率需求，ArkCompiler和開發(fā)框架聯(lián)合設(shè)計(jì)，提供了對(duì)應(yīng)的優(yōu)化機(jī)制。
(1)JS/TS與C/C++交互
在TS 版本的操作系統(tǒng)平臺(tái)API實(shí)現(xiàn)中，通常需要面臨C/C++ 代碼訪問和操作TS對(duì)象的場(chǎng)景。對(duì)這個(gè)業(yè)務(wù)場(chǎng)景，ArkCompiler可以根據(jù)TS源碼的class聲明和運(yùn)行時(shí)約定，生成包含TS對(duì)象布局描述的C/C++ 頭文件，以及操作這些TS對(duì)象的C/C++ 實(shí)現(xiàn)庫。在 C/C++ 代碼中，通過包含TS對(duì)象描述頭文件以及鏈接對(duì)應(yīng)實(shí)現(xiàn)庫，實(shí)現(xiàn)直接操作TS對(duì)象的效果。需要說明的是，由于TS類型或其內(nèi)在布局并非總是固定不變的，因此在TS對(duì)象操作的代碼實(shí)現(xiàn)中，會(huì)插入類型檢查，如果對(duì)象類型或布局在運(yùn)行時(shí)發(fā)生變化，則回退執(zhí)行通用的慢速路徑。
圖10 跨語言交互
(2)JS/TS與Java交互
HarmonyOS中有一些應(yīng)用所需的能力是通過系統(tǒng)、框架或應(yīng)用的Java庫提供的。因此在HarmonyOS應(yīng)用中，也存在較多JS/TS代碼與Java代碼交互的場(chǎng)景。常見的案例中，由于JS/TS代碼和Java代碼有各自獨(dú)立的運(yùn)行環(huán)境，相互之間對(duì)于對(duì)方的數(shù)據(jù)表示、調(diào)用約定都是不可知的，所以JS/TS與Java的數(shù)據(jù)交互通常需要經(jīng)過標(biāo)準(zhǔn)的JSON序列化和反序列化流程，以及經(jīng)由Native層橋接的相互調(diào)用。這造成在一些場(chǎng)景中開銷較大，影響用戶體驗(yàn)。
ArkCompiler利用同時(shí)支持多語言的優(yōu)勢(shì)，運(yùn)行時(shí)具備不同語言的數(shù)據(jù)表示、對(duì)象布局、函數(shù)調(diào)用約定等信息，這使得跨語言之間的直接數(shù)據(jù)訪問、對(duì)象操作和方法調(diào)用成為可能，同時(shí)Java代碼提供的更多確定的類型信息也成為JS/TS類型推導(dǎo)的額外輸入，利于對(duì)JS/TS的編譯優(yōu)化。另一方面，這也使我們能為開發(fā)者提供一個(gè)更簡(jiǎn)化的多語言編程模型，減少需要額外手工編寫的業(yè)務(wù)無關(guān)的跨語言交互代碼工作量。
圖11 簡(jiǎn)化的多語言編程模型
四、總結(jié)
HarmonyOS所支持的IoT時(shí)代下，結(jié)合應(yīng)用生態(tài)、開發(fā)體驗(yàn)和用戶體驗(yàn)等方面的需求， ArkCompiler與硬件、操作系統(tǒng)、開發(fā)框架、編程語言協(xié)同設(shè)計(jì)，在多語言統(tǒng)一編譯運(yùn)行和多設(shè)備支持的基礎(chǔ)上，實(shí)現(xiàn)對(duì)HarmonyOS應(yīng)用在開發(fā)和運(yùn)行效率等方面的提升。
未來，ArkCompiler在持續(xù)優(yōu)化基礎(chǔ)體驗(yàn)的同時(shí)，更會(huì)進(jìn)一步結(jié)合HarmonyOS萬物互聯(lián)的需求，在跨端遷移、多端協(xié)同等創(chuàng)新場(chǎng)景，從編譯器和運(yùn)行時(shí)等方面提供底層的解決方案和優(yōu)化機(jī)制，提升分布式應(yīng)用的開發(fā)和運(yùn)行體驗(yàn)。
51CTO和華為官方合作共建的鴻蒙技術(shù)社區(qū)
