基于內(nèi)存和 Redis 的兩級(jí) Java 緩存框架
簡(jiǎn)介
J2Cache 是 OSChina 目前正在使用的兩級(jí)緩存框架(要求至少 Java 8)。***級(jí)緩存使用內(nèi)存(同時(shí)支持 Ehcache 2.x、Ehcache 3.x 和 Caffeine),第二級(jí)緩存使用 Redis(推薦)/Memcached 。 由于大量的緩存讀取會(huì)導(dǎo)致 L2 的網(wǎng)絡(luò)成為整個(gè)系統(tǒng)的瓶頸,因此 L1 的目標(biāo)是降低對(duì) L2 的讀取次數(shù)。 該緩存框架主要用于集群環(huán)境中。單機(jī)也可使用,用于避免應(yīng)用重啟導(dǎo)致的緩存冷啟動(dòng)后對(duì)后端業(yè)務(wù)的沖擊。
J2Cache 已經(jīng)有 Python 語(yǔ)言版本了,詳情請(qǐng)看 https://gitee.com/ld/Py3Cache
視頻介紹:http://v.youku.com/v_show/id_XNzAzMTY5MjUy.html
J2Cache 的兩級(jí)緩存結(jié)構(gòu)
L1: 進(jìn)程內(nèi)緩存(caffeineehcache)
L2: Redis/Memcached 集中式緩存
數(shù)據(jù)讀取
- 讀取順序 -> L1 -> L2 -> DB
- 數(shù)據(jù)更新
- 從數(shù)據(jù)庫(kù)中讀取***數(shù)據(jù),依次更新 L1 -> L2 ,發(fā)送廣播清除某個(gè)緩存信息
- 接收到廣播(手工清除緩存 & 一級(jí)緩存自動(dòng)失效),從 L1 中清除指定的緩存信息
J2Cache 配置
配置文件位于 core/resources 目錄下,包含三個(gè)文件:
- j2cache.properties J2Cache 核心配置文件,可配置兩級(jí)的緩存,Redis 服務(wù)器、連接池以及緩存廣播的方式
- caffeine.properties 如果一級(jí)緩存選用 Caffeine ,那么該文件用來(lái)配置緩存信息
- ehcache.xml Ehcache 的配置文件,配置說(shuō)明請(qǐng)參考 Ehcache 文檔
- ehcache3.xml Ehcache3 的配置文件,配置說(shuō)明請(qǐng)參考 Ehcache 文檔
- network.xml JGroups 網(wǎng)絡(luò)配置,如果使用 JGroups 組播的話需要這個(gè)文件,一般無(wú)需修改
實(shí)際使用過(guò)程需要將所需的配置文件復(fù)制到應(yīng)用類路徑中,如 WEB-INF/classes 目錄。
J2Cache 運(yùn)行時(shí)所需 jar 包請(qǐng)查看 core/pom.xml
測(cè)試方法
- 安裝 Redis
- git clone https://gitee.com/ld/J2Cache
- 修改 core/resource/j2cache.properties 配置使用已安裝的 Redis 服務(wù)器
- 在命令行中執(zhí)行 mvn package -DskipTests=true 進(jìn)行項(xiàng)目編譯
- 打開多個(gè)命令行窗口,同時(shí)運(yùn)行 runtest.sh
- 在 > 提示符后輸入 help 查看命令,并進(jìn)行測(cè)試
使用方法
J2Cache 默認(rèn)使用 Caffeine 作為一級(jí)緩存,使用 Redis 作為二級(jí)緩存。你還可以選擇 Ehcache2 和 Ehcache3 作為一級(jí)緩存。
準(zhǔn)備工作
- 安裝 Redis
- 新建一個(gè)基于 Maven 的 Java 項(xiàng)目
一. 引用 Maven
中央倉(cāng)庫(kù)地址:https://mvnrepository.com/artifact/net.oschina.j2cache/j2cache-core
二. 準(zhǔn)備配置
拷貝 j2cache.properties 和 caffeine.properties 到你項(xiàng)目的源碼目錄,并確保這些文件會(huì)被編譯到項(xiàng)目的 classpath 中。如果你選擇了 ehcache 作為一級(jí)緩存,需要拷貝 ehcache.xml 或者 ehcache3.xml 到源碼目錄(后者對(duì)應(yīng)的是 Ehcache 3.x 版本),這些配置文件的模板可以從 https://gitee.com/ld/J2Cache/tree/master/core/resources 這里獲取。
使用你喜歡的文本編輯器打開 j2cache.properties 并找到 redis.hosts 項(xiàng),將其信息改成你的 Redis 服務(wù)器所在的地址和端口。
我們建議緩存在使用之前都需要預(yù)先設(shè)定好緩存大小及有效時(shí)間,使用文本編輯器打開 caffeine.properties 進(jìn)行緩存配置,配置方法請(qǐng)參考文件中的注釋內(nèi)容。
例如:default = 1000,30m #定義緩存名 default ,對(duì)象大小 1000,緩存數(shù)據(jù)有效時(shí)間 30 分鐘。 你可以定義多個(gè)不同名稱的緩存。
三. 編寫代碼
Test.java
- public static void main(String[] args) {
- CacheChannel cache = J2Cache.getChannel();
- //緩存操作
- cache.set("default", "1", "Hello J2Cache");
- System.out.println(cache.get("default", "1"));
- cache.evict("default", "1");
- System.out.println(cache.get("default", "1"));
- cache.close();
- }
編譯并運(yùn)行查看結(jié)果,更多的用法請(qǐng)參考 CacheChannel.java 接口的方法。
請(qǐng)注意 cache.close() 方法只需在程序退出時(shí)調(diào)用。
四. 動(dòng)態(tài)構(gòu)建 J2Cache 實(shí)例
- J2CacheConfig config = new J2CacheConfig();
- //填充 config 變量所需的配置信息
- J2CacheBuilder builder = J2CacheBuilder.init(config);
- CacheChannel channel = builder.getChannel();
- //進(jìn)行緩存的操作
- channel.close();
五. 集群測(cè)試
為了方便測(cè)試集群模式下 J2Cache 的運(yùn)行,我們提供了一個(gè)命令行小程序,請(qǐng)參考此頁(yè)面前面的 “測(cè)試方法”。
常見問(wèn)題
1、J2Cache 的使用場(chǎng)景是什么?
首先你的應(yīng)用是運(yùn)行在集群環(huán)境,使用 J2Cache 可以有效降低節(jié)點(diǎn)間的數(shù)據(jù)傳輸量;其次單節(jié)點(diǎn)使用 J2Cache 可以避免應(yīng)用重啟后對(duì)后端業(yè)務(wù)系統(tǒng)的沖擊。
2、為什么不能在程序中設(shè)置緩存的有效期
在程序中定義緩存數(shù)據(jù)的有效期會(huì)導(dǎo)致緩存不可控,一旦數(shù)據(jù)出問(wèn)題無(wú)從查起,因此 J2Cache 的所有緩存的有效期都必須在 一級(jí)緩存 的配置中預(yù)設(shè)好再使用。
3、如何使用 JGroups 組播方式(無(wú)法在云主機(jī)中使用)
首先修改 j2cache.properties 中的 j2cache.broadcast 值為 jgroups,然后在 maven 中引入
- <dependency>
- <groupId>org.jgroups</groupId>
- <artifactId>jgroups</artifactId>
- <version>3.6.13.Final</version>
- </dependency>
4、如何使用 ehcache 作為一級(jí)緩存
首先修改 j2cache.properties 中的 j2cache.L1.provider_class 為 ehcache 或者 ehcache3,然后拷貝 ehcache.xml 或者 ehcache3.xml 到類路徑,并配置好緩存,需要在項(xiàng)目中引入對(duì) ehcache 的支持:
- <dependency><!-- Ehcache 2.x //-->
- <groupId>net.sf.ehcache</groupId>
- <artifactId>ehcache</artifactId>
- <version>2.10.4</version>
- </dependency>
- <dependency><!-- Ehcache 3.x //-->
- <groupId>org.ehcache</groupId>
- <artifactId>ehcache</artifactId>
- <version>3.4.0</version>
- </dependency>
5、如何使用 RabbitMQ 作為消息通知
首先修改 j2cache.properties 中的 j2cache.broadcast 為 rabbitmq,然后在 j2cache.properties 中配置 rabbitmq.xxx 相關(guān)信息。
需要在項(xiàng)目中引入對(duì) rabbitmq 的支持:
- <dependency>
- <groupId>com.rabbitmq</groupId>
- <artifactId>amqp-client</artifactId>
- <version>5.3.0</version>
- </dependency>
6、如何使用 RocketMQ 作為消息通知
首先修改 j2cache.properties 中的 j2cache.broadcast 為 rocketmq,然后在 j2cache.properties 中配置 rocketmq.xxx 相關(guān)信息。
需要在項(xiàng)目中引入對(duì) rabbitmq 的支持:
- <dependency>
- <groupId>org.apache.rocketmq</groupId>
- <artifactId>rocketmq-client</artifactId>
- <version>4.3.0</version>
- <scope>provided</scope>
- </dependency>
7、如何使用 memcached 作為二級(jí)緩存
首先修改 j2cache.properties 中的 j2cache.L2.provider_class 為 memcached,然后在 j2cache.properties 中配置 memcached.xxx 相關(guān)信息。
需要在項(xiàng)目中引入對(duì) memcached 的支持:
- <dependency>
- <groupId>com.googlecode.xmemcached</groupId>
- <artifactId>xmemcached</artifactId>
- <version>2.4.5</version>
- </dependency>
8、為什么 J2Cache 初始化時(shí),連接本機(jī)的 Redis 非常慢,要 5 秒以上?
如果出現(xiàn)這種情況,請(qǐng)?jiān)谙到y(tǒng) hosts 里配置機(jī)器名和IP地址的對(duì)應(yīng)關(guān)系,例如:
- 127.0.0.1 localhost
- 127.0.0.1 winter-notebook.local
- ::1 localhost
- ::1 winter-notebook.local
9、使用何種 Redis 的存儲(chǔ)模式***? generic 還是 hash ?
推薦使用 generic 存儲(chǔ)模式,這也是 J2Cache 默認(rèn)的存儲(chǔ)模式,hash 模式***的問(wèn)題是無(wú)法單獨(dú)對(duì) key 進(jìn)行 expire 設(shè)置。
項(xiàng)目地址
https://gitee.com/ld/J2Cache