基于 log4j2 插件實(shí)現(xiàn)統(tǒng)一日志脫敏，性能遠(yuǎn)超正則替換
前言
金融用戶敏感數(shù)據(jù)如何優(yōu)雅地實(shí)現(xiàn)脫敏？
日志脫敏之后，無(wú)法根據(jù)信息快速定位怎么辦？
經(jīng)過(guò)了這兩篇文章之后，我們對(duì)日志脫敏應(yīng)該有了一定的理解。
但是實(shí)際項(xiàng)目中，我們遇到的情況往往更加復(fù)雜：
- 項(xiàng)目的 java bean 定義不規(guī)范，大量接口使用 map。
- 歷史項(xiàng)目眾多，改造成本巨大。
種種原因，導(dǎo)致使用注解的方式耗費(fèi)大量的時(shí)間。但是一般給我們改造的時(shí)間是有限的。
那么，有沒(méi)有一種方法可以統(tǒng)一對(duì)敏感信息進(jìn)行脫敏處理呢？
答案是有的，我們可以基于 log4j2 實(shí)現(xiàn)自己的脫敏策略，統(tǒng)一實(shí)現(xiàn)日志的脫敏。
log4j2 Rewrite
我們可以基于 log4j2 RewritePolicy 統(tǒng)一使用脫敏策略。
本項(xiàng)目自 V1.2.0 添加對(duì)應(yīng)支持，后續(xù)將提升對(duì)應(yīng)的可拓展性。
說(shuō)明：如果使用 slf4j 接口，實(shí)現(xiàn)為 log4j2 時(shí)也是支持的。
使用入門(mén)
maven 引入
引入核心脫敏包。
<dependency>
<groupId>com.github.houbb</groupId>
<artifactId>sensitive-log4j2</artifactId>
<version>1.2.1</version>
</dependency>其他的一般項(xiàng)目中也有，如 log4j2 包：
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-api</artifactId>
<version>${log4j2.version}</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>${log4j2.version}</version>
</dependency>log4j2.xml 配置
例子如下:
<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="WARN" packages = "com.github.houbb.sensitive.log4j2.rewrite">
<Appenders>
<Console name="Console" target="SYSTEM_OUT">
</Console>
<Rewrite name="rewrite">
<AppenderRef ref="Console"/>
<SensitiveRewritePolicy/>
</Rewrite>
</Appenders>
<Loggers>
<Root level="DEBUG">
<AppenderRef ref="rewrite" />
</Root>
</Loggers>
</Configuration>幾個(gè)步驟：
- 指定 package 為 packages = "com.github.houbb.sensitive.log4j2.rewrite"。
- 按照 log4j2 Rewrite 規(guī)范，指定重寫(xiě)策略為 SensitiveRewritePolicy。
- 輸出時(shí)，直接指定為對(duì)應(yīng)的重寫(xiě)之后的結(jié)果 <AppenderRef ref="rewrite" />。
測(cè)試
正常的日志打?。?/span>
private static final String TEST_LOG = "mobile:13088887777; bankCard:6217004470007335024, email:mahuateng@qq.com, amount:123.00, " +
"IdNo:340110199801016666, name1:李明, name2:李曉明, name3:李澤明天, name4:山東小栗旬" +
", birthday:20220517, GPS:120.882222, IPV4:127.0.0.1, address:中國(guó)上海市徐匯區(qū)888號(hào);";
logger.info(TEST_LOG);自動(dòng)脫敏效果如下：
mobile:130****7777|9FC4D36D63D2B6DC5AE1297544FBC5A2; bankCard:6217***********5024|444F49289B30944AB8C6C856AEA21180, email:mahu*****@qq.com|897915594C94D981BA86C9E83ADD449C, amount:123.00, IdNo:3****************6|F9F05E4ABB3591FC8EA481E8DE1FA4D6, name1:李*|15095D14367F7F02655030D498A4BA03, name2:李**|035E3C0D1A0410367FE6EB8335B2BFDE, name3:李澤**|B87138E5E80AEC87D2581A25CAA3809D, name4:山東***|6F2178D34BC7DD0A07936B5AFF39A16F, birthday:********|1F88D983FAFC50022651122B42F084A0, GPS:**********|E281A9A52DE915154285148D68872CA2, IPV4:127******|F528764D624DB129B32C21FBCA0CB8D6, address:中國(guó)上海市徐******|821A601949B1BD18DCBAAE27F2E27147;ps: 這里是為了演示各種效果，實(shí)際默認(rèn)對(duì)應(yīng)為 1,2,3,4 這幾種策略。
log4j2 配置定制化
為了滿足各種用戶的場(chǎng)景，在 V1.2.1 引入了 SensitiveRewritePolicy 策略的可配置化。
默認(rèn)配置
log4j2 配置中，SensitiveRewritePolicy 配置默認(rèn)等價(jià)于
<SensitiveRewritePolicy
prefix=":='""
scanList = "1,2,3,4"
replaceList = "1,2,3,4"
defaultReplace = "12"
replaceHash = "md5"
/>屬性說(shuō)明
SensitiveRewritePolicy 策略的屬性說(shuō)明。
屬性 | 說(shuō)明 | 默認(rèn)值 | 備注 |
prefix | 需要脫敏信息的匹配前綴 | :='" | 降低誤判率 |
replaceHash | 哈希策略模式 | md5 | 支持 md5/none 兩種模式 |
scanList | 敏感掃描策略列表 | 1,2,3,4 | 1~10 內(nèi)置的10種敏感信息掃描策略，多個(gè)用逗號(hào)隔開(kāi) |
replaceList | 敏感替換策略列表 | 1,2,3,4 | 1~10 內(nèi)置的10種敏感信息替換策略，多個(gè)用逗號(hào)隔開(kāi) |
defaultReplace | 敏感替換默認(rèn)策略 | 12 | 1~13 內(nèi)置的13種敏感信息替換策略，指定一個(gè)。當(dāng)列表沒(méi)有匹配時(shí)，默認(rèn)使用這個(gè) |
其中 1-13 的內(nèi)置策略說(shuō)明如下：
策略標(biāo)識(shí) | 說(shuō)明 |
1 | 手機(jī)號(hào) |
2 | 身份證 |
3 | 銀行卡 |
4 | 郵箱 |
5 | 中國(guó)人名 |
6 | 出生日期 |
7 | GPS |
8 | IPV4 |
9 | 地址 |
10 | 護(hù)照 |
11 | 匹配任意不掩蓋 |
12 | 匹配任意半掩蓋 |
13 | 匹配任意全掩蓋 |
不足之處
這里的策略自定義和 log4j2 的插件化比起來(lái)，確實(shí)算不上強(qiáng)大，但是可以滿足 99% 的脫敏場(chǎng)景。
后續(xù)有時(shí)間考慮類(lèi)似 log4j2 的 plugins 思想，實(shí)現(xiàn)更加靈活的自定義策略。
性能
正則的替換可能會(huì)導(dǎo)致 cpu 飆升等問(wèn)題，替換的策略也有限制。
實(shí)現(xiàn)的底層不是基于正則的，性能要遠(yuǎn)高于正則，大概是 2 倍左右，符合企業(yè)級(jí)應(yīng)用性能。
后續(xù)將添加對(duì)應(yīng)的 benchmark。
小結(jié)
實(shí)際項(xiàng)目中，建議二者結(jié)合使用。
基于 log4j2 的方式統(tǒng)一處理非常方便，但是是性能和準(zhǔn)確性要有一定的折中。
如果是新項(xiàng)目，建議使用注解的方式，通過(guò)日志標(biāo)準(zhǔn)規(guī)范開(kāi)發(fā)，后續(xù)拓展性也更加靈活。
