前言 

緩存在現(xiàn)代計算機系統(tǒng)中無處不在，各式各樣硬件和軟件的組合構(gòu)成和管理著緩存，一個編寫良好的計算機程序傾向于展示出良好的局部性。

在高性能服務(wù)架構(gòu)設(shè)計中，緩存是一個不可或缺的環(huán)節(jié)。以Java體系為例，我們從傳統(tǒng)的硬編碼方式使用緩存到基于注解的spring-cache框架，確實大大提升了我們的效率，代碼也更加的簡潔易維護。

但隨著越來越多的項目使用spring-cache，場景越來越復(fù)雜，我們逐漸發(fā)現(xiàn)緩存配置代碼重復(fù)、緩存策略不能在注解上直接配置、不支持多級緩存、不支持自動刷新緩存等問題逐漸突顯。

基于這些在業(yè)務(wù)中遇到的問題點，我們構(gòu)建了一套注解式兩級緩存服務(wù)框架。在實際設(shè)計和構(gòu)建過程中積累了一些經(jīng)驗，借此機會分享給大家，希望對業(yè)務(wù)中使用緩存尤其使用spring-cache場景的可以提供一些幫助。

 1. spring-cache簡介 

Spring 3.1之后，引入了注解緩存技術(shù)，其本質(zhì)上不是一個具體的緩存實現(xiàn)方案，而是一個對緩存使用的抽象，不僅能夠使用SpEL（Spring Expression Language）來定義緩存的key和各種condition，還提供開箱即用的緩存臨時存儲方案，也支持和主流的專業(yè)緩存集成。

事物都有兩面性，優(yōu)點如此優(yōu)秀，那么缺點或不足是否也是如此的突出呢？

• spring-cache問題點（我們認(rèn)為）
• 不支持緩存策略在注解上設(shè)置，每個方法的緩存策略需要單獨硬編碼方式配置
• 不支持多級緩存
• 不支持自動刷新緩存
• 不支持緩存統(tǒng)計看板
• 不支持熔斷降級
• 不支持?jǐn)?shù)據(jù)壓縮
• 代碼重復(fù)不易維護

基于以上我們認(rèn)為的問題點，我們造了一個輪子，來試圖解決這些問題，這個輪子就是“注解式兩級緩存框架”。

2. 注解式兩級緩存框架簡介

• 是一個注解式兩級緩存框架：通過注解實現(xiàn)聲明式的方法緩存，使用方式和spring-cache類似，提供了比spring-cache更加強大的注解。
• 是一個全新的注解式兩級緩存框架：一級緩存使用本地緩存(目前只支持Caffeine，后續(xù)可擴展)，二級緩存使用集中式緩存(目前只支持Redis)。目前支持三種緩存策略：

只使用一級緩存

只使用二級緩存

同時用兩級緩存

2.1全部特性

• 支持TTL在注解上直接配置
• 支持本地緩存容量在注解上直接配置
• 支持condition在注解上直接配置，指定符合條件的情況下才緩存
• 支持緩存Key的SpEL表達(dá)式、自定義生成策略（已提供默認(rèn)生成策略）
• 支持只使用一級緩存或者只使用二級緩存或者使用兩級緩存
• 支持value序列化策略配置，默認(rèn)GenericJackson2JsonRedisSerializer
• 支持異步加載緩存的方式
• 支持自動刷新緩存
• redis客戶端選擇
• 支持熔斷與降級 --- 延遲支持
• 支持緩存數(shù)據(jù)壓縮 --- 延遲支持
• 支持緩存一致性 --- 延遲支持
• 支持緩存監(jiān)控統(tǒng)計看板 --- 延遲支持
• 支持自定義緩存中間件 --- 延遲支持
• 支持緩存接口用于手工緩存操作 --- 延遲支持

前菜我們品完了，接下來我們開始正餐，一步步介紹下設(shè)計思路，聊下如何站在spring-cache巨人肩膀上，試圖解決上述問題點的。

 3. 注解式兩級緩存框架架構(gòu)設(shè)計

3.1注解@EnableCache

1、注解@EnableCache導(dǎo)入CacheConfigurationSelector。

CacheConfigurationSelector向容器內(nèi)注入了AutoProxyRegistrar和ProxyCacheAutoConfiguration這兩個Bean

2、AutoProxyRegistrar會確保容器中存在一個自動代理創(chuàng)建器(APC)，緩存的代理對象最終是委托給自動代理創(chuàng)建器來完成。

AutoProxyRegistrar在容器啟動階段對每個bean創(chuàng)建進(jìn)行處理，如果bean中有方法標(biāo)記了cache注解，為其創(chuàng)建代理對象， 包裹定義的CacheOperationSourceAdvisor bean

3、ProxyCacheAutoConfiguration向容器定義如下基礎(chǔ)設(shè)施bean。

CacheOperationSourceAdvisor 用于管理CacheOperationSource和CacheInterceptor， CacheOperationSource 用于獲取方法調(diào)用時最終應(yīng)用的Cache注解的元數(shù)據(jù)， CacheInterceptor 包裹在目標(biāo)bean外面用于操作Cache的AOP Advice

3.2攔截器

由于AutoProxyRegistrar在容器啟動階段會對標(biāo)有cache注解的bean創(chuàng)建代理對象，這時我們可以獲取到具體方法和注解元數(shù)據(jù)， 我們針對兩部分?jǐn)?shù)據(jù)進(jìn)行綁定提前緩存起來，這樣目標(biāo)方法調(diào)用時直接從緩存中獲取元數(shù)據(jù)即可，避免了反射效率低下影響性能。

1、根據(jù)目標(biāo)方法和目標(biāo)類獲取注解元數(shù)據(jù)，元數(shù)據(jù)包括緩存名稱、緩存key、過期時間、自動刷新時間、本地緩存容量、緩存類型、緩存條件等。

2、根據(jù)緩存條件是否走注解緩存，緩存條件支持SpEL表達(dá)式，如果為false則直接執(zhí)行目標(biāo)方法，為ture走緩存邏輯。

3、生成key：支持SpEL表達(dá)式，可以自定義生成規(guī)則，默認(rèn)規(guī)則：命名空間、所屬類名稱、方法名稱、方法參數(shù)以冒號相連。

4、獲取cache：根據(jù)cacheName和cacheType獲取cache，對應(yīng)cache有本地cache、遠(yuǎn)程cache、兩級cache，根據(jù)key獲取緩存結(jié)果， 緩存結(jié)果為空則執(zhí)行目標(biāo)方法并對結(jié)果緩存，反之直接返回緩存結(jié)果。

3.3獲取cache組件

cache實現(xiàn)類有三種LocalCache、RemoteCache和TwoLevelCache，每個緩存實現(xiàn)類集成了具體的緩存中間件，LocalCache可以集成Caffeine、Guava、ehCache等， RemoteCache可以集成Redis、Memcache等，TwoLevelCache是LocalCache和RemoteCache組合實現(xiàn)。

1、CacheManagerContainer管理著所有的CacheManager，每個cacheType對應(yīng)一個CacheManager的實現(xiàn)。

2、CacheManager提供了cache實現(xiàn)bean的創(chuàng)建，管理著多個cache，每個cache有對應(yīng)的cacheName，每個應(yīng)用里可以通過cacheName來對cache進(jìn)行隔離，如果cacheName對應(yīng)的cache不存在則會注冊一個新的cache。

3、Cache接口提供了緩存的具體操作，例如放入，讀取，清理等。

3.4兩級緩存

兩級緩存的產(chǎn)生是因為遠(yuǎn)程緩存有網(wǎng)絡(luò)開銷，大量的緩存讀取會導(dǎo)致遠(yuǎn)程緩存網(wǎng)絡(luò)成為整個系統(tǒng)的瓶頸，本地緩存是和應(yīng)用程序在一個進(jìn)程內(nèi)，請求緩存速度快，沒有過多的網(wǎng)絡(luò)開銷， 加入本地緩存目標(biāo)是降低對遠(yuǎn)程緩存的讀取次數(shù)，減輕網(wǎng)絡(luò)開銷，從而再次提升程序的響應(yīng)速度與服務(wù)性能。

1、從本地緩存讀出數(shù)據(jù)，如果存在則直接返回，進(jìn)行后續(xù)具體業(yè)務(wù)邏輯。

2、本地緩存如果不存在則讀取遠(yuǎn)程緩存，遠(yuǎn)程緩存如果存在則更新本地緩存，不存在則從數(shù)據(jù)源讀取，然后依次更新遠(yuǎn)程緩存、本地緩存，然后進(jìn)行后續(xù)具體業(yè)務(wù)邏輯。

3.5自動刷新緩存

防止某個緩存失效時，訪問量突然大增，所有請求訪問數(shù)據(jù)庫，可能導(dǎo)致數(shù)據(jù)庫掛掉；適用場景：key數(shù)量比較少，訪問量大，加載開銷較大的情況。

1、緩存讀取時如果元數(shù)據(jù)自動刷新時間有值，會根據(jù)緩存key、目標(biāo)方法、刷新時間創(chuàng)建一個給定初始延遲的間隔性的任務(wù)，任務(wù)自動執(zhí)行間隔為自動刷新時間， 任務(wù)執(zhí)行時會根據(jù)緩存key、目標(biāo)方法重新加載緩存，保持緩存一直生效。

2、根據(jù)自動刷新時間會生成一個停止刷新時間，如果緩存key訪問間隔時間超過了停止刷新時間或者緩存key過期，會刪除該定時任務(wù)，釋放資源，避免無效的刷新緩存。

3、兩級緩存刷新緩存順序為：先刷新遠(yuǎn)程緩存，然后根據(jù)Redis的pub/sub模式去監(jiān)測和操作本地cache的刪除動作，隨后第一次請求會檢查本地緩存--->再檢查Redis緩存--->回源。

4、遠(yuǎn)程緩存自動刷新使用分布式鎖，對同一key，全局只有一臺機器自動刷新。

3.6注解@Cacheable

1、 @Cacheable可以作用在方法上，也可以標(biāo)記在一個類上，當(dāng)標(biāo)記在一個方法上時表示該方法是支持緩存的，當(dāng)標(biāo)記在一個類上時則表示該類所有的方法都是支持緩存的

2、key默認(rèn)生成規(guī)則：命名空間、所屬類名稱、方法名稱、方法參數(shù)以冒號相連。

3、如果設(shè)置ttl為空：表示緩存永不過期。

3.7緩存配置

這里舉個例子，具體的參數(shù)值，根據(jù)自己業(yè)務(wù)情況自行調(diào)整。

auto:
  cache:
    local:
      type: caffeine
    remote:
      type: redis
      host: localhost #服務(wù)器地址
      port: 6379 #服務(wù)器連接端口
      timeout: 2000 #連接超時時間（毫秒）
      pool:
        min-idle: 2 #最小空閑連接數(shù)
        max-idle: 10 #最大空閑連接數(shù)
        max-active: 20 #連接池的最大數(shù)據(jù)庫連接數(shù)
        max-wait: 200 #最大建立連接等待時間
      key-serializer: org.springframework.data.redis.serializer.StringRedisSerializer #key序列化策略
      value-serializer: org.springframework.data.redis.serializer.GenericJackson2JsonRedisSerializer #value序列化策略
    namespace: testCache # 緩存的命名空間前綴，最終緩存格式為：testCache:xxx:xx
    allow-null-values: true #防止緩存穿透

 4. 總結(jié)和展望

本文主要是記錄了商業(yè)資源組在使用spring-cache過程中遇到的問題點及注解式兩級緩存服務(wù)框架設(shè)計思路，通過一步步拆解，將問題點逐個擊破。該框架在實際項目中也經(jīng)過了千萬級別的驗證，為我們的線上服務(wù)提供了良好的性能。

構(gòu)建一套完整的服務(wù)框架需要不斷的迭代功能開發(fā)，后續(xù)要逐步支持的功能如下:

增加熔斷與降級

增加緩存數(shù)據(jù)壓縮

增加緩存一致性

增加緩存監(jiān)控統(tǒng)計看板

增加自定義緩存中間件

增加緩存接口用于手工緩存操作

參考文獻(xiàn)

??https://github.com/ben-manes/caffeine/wiki/Benchmarks??

??https://docs.spring.io/spring-framework/docs/4.3.x/spring-framework-reference/html/expressions.html??

作者介紹：王云朋

• 經(jīng)銷商技術(shù)部-商業(yè)資源團隊
• 2017年加入汽車之家經(jīng)銷商事業(yè)部，目前主要負(fù)責(zé)智能展廳核心功能開發(fā)工作