請(qǐng)你吃一頓全面的Android混淆大餐
在 Android 日常開發(fā)過程中,混淆是我們開發(fā) App 的一項(xiàng)必不可少的技能。只要是我們親身經(jīng)歷過 App 打包上線的過程,或多或少都需要了解一些代碼混淆的基本操作。那么,混淆到底是什么?它的好處有哪些?具體效果如何?別急,下面我們來一一探索它的"獨(dú)特"魅力。
混淆簡(jiǎn)介
代碼混淆(Obfuscated code)是將程序中的代碼以某種規(guī)則轉(zhuǎn)換為難以閱讀和理解的代碼的一種行為。
混淆的好處
混淆的好處就是它的目的:令 APK 難以被逆向工程,即很大程度上增加反編譯的成本。此外,Android 當(dāng)中的"混淆"還能夠在打包時(shí)移除無用資源,顯著減少 APK 體積。最后,還能以變通方式避免 Android 中常見的 64k 方法數(shù)引用的限制。
我們先來看一下混淆前后的 APK 結(jié)構(gòu)對(duì)比:
從上面兩張圖可以看出:經(jīng)過混淆處理之后,我們的 APK 中包名、類名、成員名等都被替換為隨機(jī)、無意義的名稱,增加了代碼閱讀和理解的困難程度,提高了反編譯的成本。細(xì)心的小伙伴可能又會(huì)注意到:混淆前后 APK 的體積竟然從 2.7M 減小到了 1.4M,體積縮減了近一倍!真的有這么神奇嗎?哈哈,確實(shí)是這么神奇,讓我們慢慢來揭開它的神秘面紗吧。
Android 當(dāng)中的混淆
在 Android 中,我們平常所說的"混淆"其實(shí)有兩層意思,一個(gè)是 Java 代碼的混淆,另外一個(gè)是資源的壓縮。其實(shí)這兩者之間并沒有什么關(guān)聯(lián),只不過習(xí)慣性地放在一起來使用。那么,說了這么多,Android 平臺(tái)上到底該如何開啟混淆呢?
啟用混淆
- ......
- android {
- buildTypes {
- release {
- minifyEnabled true
- shrinkResources true
- proguardFiles getDefaultProguardFile('proguard-android.txt'), 'proguard-rules.pro'
- }
- }
- }
以上就是開啟混淆的基本操作了,通過 minifyEnabled 設(shè)置為 true 來開啟混淆。同時(shí),可以設(shè)置 shrinkResources 為 true 來開啟資源的壓縮。不難看出,我們一般在打 release 包時(shí)才啟用混淆,因?yàn)榛煜龝?huì)增加額外的編譯時(shí)間,所以不建議在 debug 模式下啟用。此外,需要注意的是:只有在啟用混淆的前提下開啟資源壓縮才會(huì)有效!以上代碼中的 proguard-android.txt 表示 Android 系統(tǒng)為我們提供的默認(rèn)混淆規(guī)則文件,而 proguard-rules.pro則是我們想要自定義的混淆規(guī)則,至于如何自定義混淆規(guī)則我們將在接下來會(huì)講到。
代碼混淆
其實(shí),Java 平臺(tái)為我們提供了 Proguard 混淆工具來幫助我們快速地對(duì)代碼進(jìn)行混淆。根據(jù) Java 官方介紹,Proguard 對(duì)應(yīng)的具體中文定義如下:
- 它是一個(gè)包含代碼文件壓縮、優(yōu)化、混淆和校驗(yàn)等功能的工具
- 它能夠檢測(cè)并刪除無用的類、變量、方法和屬性
- 它能夠優(yōu)化字節(jié)碼并刪除未使用的指令
- 它能夠?qū)㈩?、變量和方法的名字重命名為無意義的名稱從而達(dá)到混淆效果
- 最后,它還會(huì)校驗(yàn)處理后的代碼,主要針對(duì) Java 6 及以上版本和 Java ME
資源壓縮
Android 中,編譯器為我們提供了另外一項(xiàng)強(qiáng)大的功能:資源的壓縮。資源壓縮能夠幫助我們移除項(xiàng)目及依賴倉庫中未使用到的資源,有效地降低了apk包的大小。由于資源壓縮與代碼混淆是協(xié)同工作,所以,如果需要開啟資源的壓縮,切記要先開啟代碼混淆,否則會(huì)出現(xiàn)以下問題:
- ERROR: Removing unused resources requires unused code shrinking to be turned on. See http://d.android.com/r/tools/shrink-resources.html for more information.
- Affected Modules: app
自定義要保留的資源
當(dāng)我們開啟了資源壓縮之后,系統(tǒng)會(huì)默認(rèn)替我們移除所有未使用的資源,假如我們需要保留某些特定的資源,可以在我們項(xiàng)目中創(chuàng)建一個(gè)被 標(biāo)記的 XML 文件(如 res/raw/keep.xml),并在 tools:keep 屬性中指定每個(gè)要保留的資源,在 tools:discard 屬性中指定每個(gè)要舍棄的資源。這兩個(gè)屬性都接受逗號(hào)分隔的資源名稱列表。同樣,我們可以使用字符 * 作為通配符。如:
- <?xml version="1.0" encoding="utf-8"?>
- <resources xmlns:tools="http://schemas.android.com/tools"
- tools:keep="@layout/activity_video*,@layout/dialog_update_v2"
- tools:discard="@layout/unused_layout,@drawable/unused_selector" />
啟用嚴(yán)格檢查模式
正常情況下,資源壓縮器可準(zhǔn)確判定系統(tǒng)是否使用了資源。不過,如果您的代碼(包含庫)調(diào)用 Resources.getIdentifier(),這就表示您的代碼將根據(jù)動(dòng)態(tài)生成的字符串查詢資源名稱。這時(shí),資源壓縮器會(huì)采取防御性行為,將所有具有匹配名稱格式的資源標(biāo)記為可能已使用,無法移除。例如,以下代碼會(huì)使所有帶 img_ 前綴的資源標(biāo)記為已使用:
- String name = String.format("img_%1d", angle + 1);
- res = getResources().getIdentifier(name, "drawable", getPackageName());
這時(shí),我可以開啟資源的嚴(yán)格審查模式,只會(huì)保留確定已使用的資源。
移除備用資源
Gradle 資源壓縮器只會(huì)移除未被應(yīng)用引用的資源,這意味著它不會(huì)移除用于不同設(shè)備配置的備用資源。必要時(shí),我們可以使用 Android Gradle 插件的 resConfigs 屬性來移除您的應(yīng)用不需要的備用資源文件(常見的有用于國際化支持的 strings.xml,適配用的 layout.xml 等):
- android {
- defaultConfig {
- ...
- //保留中文和英文國際化支持
- resConfigs "en", "zh"
- }
- }
自定義混淆規(guī)則
品嘗完了以上"配菜",下面讓我們來品味一下本文的"主菜":自定義混淆規(guī)則。首先,我們來了解一下常見的混淆命令。
keep 命令
這里說的 keep 命令指的是一系列以 -keep 開頭的命令,它主要用來保留 Java 中不需要進(jìn)行混淆的元素。以下是常見的 -keep 命令:
-keep
作用:保留指定的類和成員,防止被混淆處理。例如:
- # 保留包:com.moos.media.entity 下面的類以及類成員
- -keep public class com.moos.media.entity.**
- # 保留類:NumberProgressBar
- -keep public class com.moos.media.widget.NumberProgressBar {*;}
-keepclassmembers
作用:保留指定的類的成員(變量/方法),它們將不會(huì)被混淆。如:
- # 保留類的成員:MediaUtils類中的特定成員方法
- -keepclassmembers class com.moos.media.MediaUtils {
- public static *** getLocalVideos(android.content.Context);
- public static *** getLocalPictures(android.content.Context);
- }
-keepclasseswithmembers
作用:保留指定的類和其成員(變量/方法),前提是它們?cè)趬嚎s階段沒有被刪除。與-keep 使用方式類似:
- # 保留類:BaseMediaEntity 的子類
- -keepclasseswithmembers public class * extends com.moos.media.entity.BaseMediaEntity{*;}
- # 保留類:OnProgressBarListener接口的實(shí)現(xiàn)類
- -keep public class * implements com.moos.media.widget.OnProgressBarListener {*;}
@Keep
除了以上方式,你也可以選擇使用 @Keep 注解來保留期望代碼,防止它們被混淆處理。比如,我們通過 @Keep 修飾一個(gè)類來保留它不被混淆:
- @Keep
- data class CloudMusicBean(var createDate: String,
- var id: Long,
- var name: String,
- var url: String,
- val imgUrl: String)
同樣地,我們也可以讓 @Keep 來修飾方法或者字段進(jìn)而保留它們。
其他命令
dontwarn
-dontwarn 命令一般在我們引入新的 library 時(shí)會(huì)使用到,常用于處理 library 中無法解決的警告。如:
- -keep class twitter4j.** { *; }
- -dontwarn twitter4j.**
其他的命令用法可參考 Android 系統(tǒng)提供的默認(rèn)混淆規(guī)則:
- #混淆時(shí)不生成大小寫混合的類名
- -dontusemixedcaseclassnames
- #不跳過非公共的庫的類
- -dontskipnonpubliclibraryclasses
- #混淆過程中記錄日志
- -verbose
- #關(guān)閉預(yù)校驗(yàn)
- -dontpreverify
- #關(guān)閉優(yōu)化
- -dontoptimize
- #保留注解
- -keepattributes *Annotation*
- #保留所有擁有本地方法的類名及本地方法名
- -keepclasseswithmembernames class * {
- native <methods>;
- }
- #保留自定義View的get和set方法
- -keepclassmembers public class * extends android.view.View {
- void set*(***);
- *** get*();
- }
- #保留Activity中View及其子類入?yún)⒌姆椒ǎ? onClick(android.view.View)
- -keepclassmembers class * extends android.app.Activity {
- public void *(android.view.View);
- }
- #保留枚舉
- -keepclassmembers enum * {
- **[] $VALUES;
- public *;
- }
- #保留序列化的類
- -keepclassmembers class * implements android.os.Parcelable {
- public static final android.os.Parcelable$Creator CREATOR;
- }
- #保留R文件的靜態(tài)成員
- -keepclassmembers class **.R$* {
- public static <fields>;
- }
- -dontwarn android.support.**
- -keep class android.support.annotation.Keep
- -keep @android.support.annotation.Keep class * {*;}
- -keepclasseswithmembers class * {
- @android.support.annotation.Keep <methods>;
- }
- -keepclasseswithmembers class * {
- @android.support.annotation.Keep <fields>;
- }
- -keepclasseswithmembers class * {
- @android.support.annotation.Keep <init>(...);
- }
混淆"黑名單"
我們?cè)诹私饬嘶煜幕久钪?,很多人?yīng)該還是一頭霧水:到底哪些內(nèi)容該混淆?其實(shí),我們?cè)谑褂么a混淆時(shí),ProGuard 對(duì)我們項(xiàng)目中大部分代碼進(jìn)行了混淆操作,為了防止編譯時(shí)出錯(cuò),我們應(yīng)該通過 keep 命令保留一些元素不被混淆。所以,我們只需要知道哪些元素不應(yīng)該被混淆:
枚舉
項(xiàng)目中難免可能會(huì)用到枚舉類型,然而它不能參與到混淆當(dāng)中去。原因是:枚舉類內(nèi)部存在 values 方法,混淆后該方法會(huì)被重新命名,并拋出 NoSuchMethodException。慶幸的是,Android 系統(tǒng)默認(rèn)的混淆規(guī)則中已經(jīng)添加了對(duì)于枚舉類的處理,我們無需再去做額外工作。想了解更多枚舉內(nèi)部細(xì)節(jié)可以去查看源碼,篇幅有限不再細(xì)說。
被反射的元素
被反射使用的類、變量、方法、包名等不應(yīng)該被混淆處理。原因在于:代碼混淆過程中,被反射使用的元素會(huì)被重命名,然而反射依舊是按照先前的名稱去尋找元素,所以會(huì)經(jīng)常發(fā)生 NoSuchMethodException 和 NoSuchFiledException 問題。
實(shí)體類
實(shí)體類即我們常說的"數(shù)據(jù)類",當(dāng)然經(jīng)常伴隨著序列化與反序列化操作。很多人也應(yīng)該都想到了,混淆是將原本有特定含義的"元素"轉(zhuǎn)變?yōu)闊o意義的名稱,所以,經(jīng)過混淆的"洗禮"之后,序列化之后的 value 對(duì)應(yīng)的 key 已然變?yōu)闆]有意義的字段,這肯定是我們不希望的。同時(shí),反序列化的過程創(chuàng)建對(duì)象從根本上來說還是借助于反射,混淆之后 key 會(huì)被改變,所以也會(huì)違背我們預(yù)期的效果。
四大組件
Android 中的四大組件同樣不應(yīng)該被混淆。原因在于:
- 四大組件使用前都需要在 AndroidManifest.xml 文件中進(jìn)行注冊(cè)聲明,然而混淆處理之后,四大組件的類名就會(huì)被篡改,實(shí)際使用的類與 manifest 中注冊(cè)的類并不匹配,故而出錯(cuò)。
- 其他應(yīng)用程序訪問組件時(shí)可能會(huì)用到類的包名加類名,如果經(jīng)過混淆,可能會(huì)無法找到對(duì)應(yīng)組件或者產(chǎn)生異常。
JNI 調(diào)用的Java 方法
當(dāng) JNI 調(diào)用的 Java 方法被混淆后,方法名會(huì)變成無意義的名稱,這就與 C++ 中原本的 Java 方法名不匹配,因而會(huì)無法找到所調(diào)用的方法。
其他不應(yīng)該被混淆的
- 自定義控件不需要被混淆
- JavaScript 調(diào)用 Java 的方法不應(yīng)混淆
- Java 的 native 方法不應(yīng)該被混淆
- 項(xiàng)目中引用的第三方庫也不建議混淆
混淆后的堆棧跟蹤
代碼經(jīng)過 ProGuard 混淆處理后,想要讀取 StackTrace(堆棧追蹤)信息就會(huì)變得很困難。由于方法名稱和類的名稱都經(jīng)過混淆處理,即使程序發(fā)生崩潰問題,也很難定位問題所在。幸運(yùn)的是,ProGuard 為我們提供了補(bǔ)救的措施,在著手進(jìn)行之前,我們先來看一下 ProGuard 每次構(gòu)建后生成了哪些內(nèi)容。
混淆輸出結(jié)果
混淆構(gòu)建完成之后,會(huì)在 /build/outputs/mapping/release/ 目錄下生成以下文件:
- dump.txt
說明 APK 內(nèi)所有類文件的內(nèi)部結(jié)構(gòu)。
- mapping.txt
提供混淆前后的內(nèi)容對(duì)照表,內(nèi)容主要包含類、方法和類的成員變量。
- seeds.txt
羅列出未進(jìn)行混淆處理的類和成員。
- usage.txt
羅列出從 APK 中移除的代碼。
恢復(fù)堆棧跟蹤
了解完混淆構(gòu)建完畢后輸出的內(nèi)容之后,我們現(xiàn)在就來看一下之前的問題:混淆處理后,StackTrace 定位困難。如何來恢復(fù) StackTrace 的定位能力呢?系統(tǒng)為我們提供了 retrace 工具,結(jié)合上文提到的 mapping.txt 文件,就可以將混淆后的崩潰堆棧追蹤信息還原成正常情況下的 StackTrace 信息。主要有兩種方式來恢復(fù) StackTrace,為了方便理解,我們以下面這段崩潰信息為例,借助兩種方式分別來還原:
- java.lang.RuntimeException: Unable to start activity
- Caused by: kotlin.KotlinNullPointerException
- at com.moos.media.ui.ImageSelectActivity.k(ImageSelectActivity.kt:71)
- at com.moos.media.ui.ImageSelectActivity.onCreate(ImageSelectActivity.kt:58)
- at android.app.Activity.performCreate(Activity.java:6237)
- at android.app.Instrumentation.callActivityOnCreate(Instrumentation.java:1107)
通過 retrace 腳本工具
首先我們要進(jìn)入到 Android SDK 路徑的 /tools/proguard/bin 目錄中,這里以 Mac 系統(tǒng)為例,可以看到如下內(nèi)容:
可以看到如上三個(gè)文件,而 proguardgui.sh 才是我們需要的 retrace 腳本(Windows系統(tǒng)下為 proguardgui.bat )。Windows 系統(tǒng)中只需要雙擊腳本 proguardgui.bat 即可運(yùn)行,至于 Mac 系統(tǒng),如果你沒有做任何配置,只需要將 proguardgui.sh 腳本拖動(dòng)到 Mac 自帶的終端中,回車鍵即可運(yùn)行。接著,我們會(huì)看到如下界面:
選擇 ReTrace 欄 ,并添加我們項(xiàng)目中混淆生成的 mapping.txt 文件所在位置,然后將我們的混淆后的崩潰信息復(fù)制到 Obfuscated stack trace 那一欄,點(diǎn)擊 ReTrace! 按鈕即可還原出我們的崩潰日志信息,結(jié)果如上圖所示,我們之前的混淆日志:at com.moos.media.ui.ImageSelectActivity.k(ImageSelectActivity.kt:71) 被還原成了 at com.moos.media.ui.ImageSelectActivity.initView(ImageSelectActivity.kt:71)。ImageSelectActivity.k 是我們混淆后的方法名,ImageSelectActivity.initView 則是最初未混淆前的方法名,借助于 ReTrace 工具的幫助,我們就可以像以前一樣很快定位到崩潰代碼區(qū)域了。
通過 retrace 命令行
我們先要將崩潰信息復(fù)制到 txt 格式的文件(如:proguard_stacktrace.txt)中保存,然后執(zhí)行以下命令即可(MAC系統(tǒng)):
- retrace.sh -verbose mapping.txt proguard_stacktrace.txt
如果你是 windows 系統(tǒng),可以執(zhí)行以下命令:
- retrace.bat -verbose mapping.txt proguard_stacktrace.txt
最終還原的結(jié)果和之前效果一樣:
也許你通過以上兩種方式在對(duì) stackTrace 進(jìn)行恢復(fù)時(shí),發(fā)現(xiàn) Unknown Source 問題:
值得注意的是,記得在混淆規(guī)則中加上如下配置來提升我們的 StackSource 查找效率:
- # 保留源文件名和具體代碼行號(hào)
- -keepattributes SourceFile,LineNumberTable
此外,我們每次使用 ProGuard 創(chuàng)建發(fā)布構(gòu)建時(shí)都都會(huì)覆蓋之前版本的 mapping.txt 文件,因此我們每次發(fā)布新版本時(shí)都必須小心地保存一個(gè)副本。通過為每個(gè)發(fā)布構(gòu)建保留一個(gè) mapping.txt 文件副本,我們就可以在用戶提交的已混淆的 StackTrace 來對(duì)舊版本應(yīng)用的問題進(jìn)行調(diào)試和修復(fù)。
漲姿勢(shì)的操作
經(jīng)過上文的介紹,我們知道,APK 在經(jīng)過代碼混淆處理后,包名、類名、成員名被轉(zhuǎn)化為無意義、難以理解的名稱,增加反編譯的成本。Android ProGuard 為我們提供了默認(rèn)的"混淆字典",即將元素名稱轉(zhuǎn)為英文小寫字母的形式。那么,我們可以定義自己的混淆字典嗎?賣個(gè)關(guān)子,我們先來看一張效果圖:
這個(gè)波操作是不是有點(diǎn)"出類拔萃"了?哈哈,就不賣關(guān)子了,其實(shí)很簡(jiǎn)單,只要生成一套自己的 txt 格式的混淆字典,然后在混淆規(guī)則 Proguard-rules.pro 中應(yīng)用一下即可:
當(dāng)然,大家也可以自己去定制化自己的"混淆字典",增加反編譯的難度。
一路走下來,我們可以發(fā)現(xiàn),從混淆技術(shù)的必要性和優(yōu)點(diǎn)來看,它還是很值得我們?nèi)ド钊雽W(xué)習(xí)和研究的,本文帶大家領(lǐng)略的僅僅是"冰山一角"。由于本人的技術(shù)水平有限,若大家發(fā)現(xiàn)有問題或者闡述不當(dāng)之處,歡迎指出并修正。