ThreadLocal內(nèi)存溢出演示和原因分析!
前言
ThreadLocal 翻譯成中文是線程本地變量的意思,也就是說(shuō)它是線程中的私有變量,每個(gè)線程只能操作自己的私有變量,所以不會(huì)造成線程不安全的問(wèn)題。
所謂的線程不安全是指,多個(gè)線程在同一時(shí)刻對(duì)同一個(gè)全局變量做寫操作時(shí)(讀操作不會(huì)涉及線程不安全問(wèn)題),如果執(zhí)行的結(jié)果和我們預(yù)期的結(jié)果不一致就稱之為線程不安全,反之,則稱為線程安全。
在 Java 語(yǔ)言中解決線程不安全的問(wèn)題通常有兩種手段:
- 使用鎖(使用 synchronized 或 Lock);
- 使用 ThreadLocal。
鎖的實(shí)現(xiàn)方案是在多線程寫入全局變量時(shí),通過(guò)排隊(duì)一個(gè)一個(gè)來(lái)寫入全局變量,從而就可以避免線程不安全的問(wèn)題了。比如當(dāng)我們使用線程不安全的 SimpleDateFormat 對(duì)時(shí)間進(jìn)行格式化時(shí),如果使用鎖來(lái)解決線程不安全的問(wèn)題,實(shí)現(xiàn)的流程就是這樣的:
圖片
從上述圖片可以看出,通過(guò)加鎖的方式雖然可以解決線程不安全的問(wèn)題,但同時(shí)帶來(lái)了新的問(wèn)題,使用鎖時(shí)線程需要排隊(duì)執(zhí)行,因此會(huì)帶來(lái)一定的性能開(kāi)銷。然而,如果使用的是 ThreadLocal 的方式,則是給每個(gè)線程創(chuàng)建一個(gè) SimpleDateFormat 對(duì)象,這樣就可以避免排隊(duì)執(zhí)行的問(wèn)題了,它的實(shí)現(xiàn)流程如下圖所示:
圖片
PS:創(chuàng)建 SimpleDateFormat 也會(huì)消耗一定的時(shí)間和空間,如果線程復(fù)用 SimpleDateFormat 的頻率比較高的情況下,使用 ThreadLocal 的優(yōu)勢(shì)比較大,反之則可以考慮使用鎖。
然而,在我們使用 ThreadLocal 的過(guò)程中,很容易就會(huì)出現(xiàn)內(nèi)存溢出的問(wèn)題,如下面的這個(gè)事例。
什么是內(nèi)存溢出?
內(nèi)存溢出(Memory Overflow),指的是在程序運(yùn)行過(guò)程中,申請(qǐng)的內(nèi)存資源不再被使用,但沒(méi)有被正確釋放,導(dǎo)致占用的內(nèi)存不斷增加,最終耗盡系統(tǒng)的可用內(nèi)存。當(dāng)程序嘗試分配更多的內(nèi)存空間時(shí),由于內(nèi)存不足,會(huì)拋出 OutOfMemoryError 異常,導(dǎo)致程序終止或崩潰的現(xiàn)象就叫做內(nèi)存溢出。
內(nèi)存溢出代碼演示
在開(kāi)始演示 ThreadLocal 內(nèi)存溢出的問(wèn)題之前,我們先使用“-Xmx50m”的參數(shù)來(lái)設(shè)置一下 Idea,它表示將程序運(yùn)行的最大內(nèi)存設(shè)置為 50m,如果程序的運(yùn)行超過(guò)這個(gè)值就會(huì)出現(xiàn)內(nèi)存溢出的問(wèn)題,設(shè)置方法如下:
圖片
設(shè)置后的最終效果這樣的:
圖片
PS:因?yàn)槲沂褂玫?Idea 是社區(qū)版,所以可能和你的界面不一樣,你只需要點(diǎn)擊“Edit Configurations...”找到“VM options”選項(xiàng),設(shè)置上“-Xmx50m”參數(shù)就可以了。
配置完 Idea 之后,接下來(lái)我們來(lái)實(shí)現(xiàn)一下業(yè)務(wù)代碼。在代碼中我們會(huì)創(chuàng)建一個(gè)大對(duì)象,這個(gè)對(duì)象中會(huì)有一個(gè) 10m 大的數(shù)組,然后我們將這個(gè)大對(duì)象存儲(chǔ)在 ThreadLocal 中,再使用線程池執(zhí)行大于 5 次添加任務(wù),因?yàn)樵O(shè)置了最大運(yùn)行內(nèi)存是 50m,所以理想的情況是執(zhí)行 5 次添加操作之后,就會(huì)出現(xiàn)內(nèi)存溢出的問(wèn)題,實(shí)現(xiàn)代碼如下:
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
publicclass ThreadLocalOOMExample {
/**
* 定義一個(gè) 10m 大的類
*/
staticclass MyTask {
// 創(chuàng)建一個(gè) 10m 的數(shù)組(單位轉(zhuǎn)換是 1M -> 1024KB -> 1024*1024B)
privatebyte[] bytes = newbyte[10 * 1024 * 1024];
}
// 定義 ThreadLocal
privatestatic ThreadLocal<MyTask> taskThreadLocal = new ThreadLocal<>();
// 主測(cè)試代碼
public static void main(String[] args) throws InterruptedException {
// 創(chuàng)建線程池
ThreadPoolExecutor threadPoolExecutor =
new ThreadPoolExecutor(5, 5, 60,
TimeUnit.SECONDS, new LinkedBlockingQueue<>(100));
// 執(zhí)行 10 次調(diào)用
for (int i = 0; i < 10; i++) {
// 執(zhí)行任務(wù)
executeTask(threadPoolExecutor);
Thread.sleep(1000);
}
}
/**
* 線程池執(zhí)行任務(wù)
* @param threadPoolExecutor 線程池
*/
private static void executeTask(ThreadPoolExecutor threadPoolExecutor) {
// 執(zhí)行任務(wù)
threadPoolExecutor.execute(new Runnable() {
@Override
public void run() {
System.out.println("創(chuàng)建對(duì)象");
// 創(chuàng)建對(duì)象(10M)
MyTask myTask = new MyTask();
// 存儲(chǔ) ThreadLocal
taskThreadLocal.set(myTask);
// 將對(duì)象設(shè)置為 null,表示此對(duì)象不在使用了
myTask = null;
}
});
}
}
以上程序的執(zhí)行結(jié)果如下:
圖片
從上述圖片可看出,當(dāng)程序執(zhí)行到第 5 次添加對(duì)象時(shí)就出現(xiàn)內(nèi)存溢出的問(wèn)題了,這是因?yàn)樵O(shè)置了最大的運(yùn)行內(nèi)存是 50m,每次循環(huán)會(huì)占用 10m 的內(nèi)存,加上程序啟動(dòng)會(huì)占用一定的內(nèi)存,因此在執(zhí)行到第 5 次添加任務(wù)時(shí),就會(huì)出現(xiàn)內(nèi)存溢出的問(wèn)題。
原因分析
內(nèi)存溢出的問(wèn)題和解決方案比較簡(jiǎn)單,重點(diǎn)在于“原因分析”,我們要通過(guò)內(nèi)存溢出的問(wèn)題搞清楚,為什么 ThreadLocal 會(huì)這樣?是什么原因?qū)е铝藘?nèi)存溢出?
要搞清楚這個(gè)問(wèn)題(內(nèi)存溢出的問(wèn)題),我們需要從 ThreadLocal 源碼入手,所以我們首先打開(kāi) set 方法的源碼(在示例中使用到了 set 方法),如下所示:
public void set(T value) {
// 得到當(dāng)前線程
Thread t = Thread.currentThread();
// 根據(jù)線程獲取到 ThreadMap 變量
ThreadLocalMap map = getMap(t);
if (map != null)
map.set(this, value); // 將內(nèi)容存儲(chǔ)到 map 中
else
createMap(t, value); // 創(chuàng)建 map 并將值存儲(chǔ)到 map 中
}
從上述代碼我們可以看出 Thread、ThreadLocalMap 和 set 方法之間的關(guān)系:每個(gè)線程 Thread 都擁有一個(gè)數(shù)據(jù)存儲(chǔ)容器 ThreadLocalMap,當(dāng)執(zhí)行 ThreadLocal.set 方法執(zhí)行時(shí),會(huì)將要存儲(chǔ)的值放到 ThreadLocalMap 容器中,所以接下來(lái)我們?cè)倏匆幌?ThreadLocalMap 的源碼:
staticclass ThreadLocalMap {
// 實(shí)際存儲(chǔ)數(shù)據(jù)的數(shù)組
private Entry[] table;
// 存數(shù)據(jù)的方法
private void set(ThreadLocal<?> key, Object value) {
Entry[] tab = table;
int len = tab.length;
int i = key.threadLocalHashCode & (len-1);
for (Entry e = tab[i];
e != null;
e = tab[i = nextIndex(i, len)]) {
ThreadLocal<?> k = e.get();
// 如果有對(duì)應(yīng)的 key 直接更新 value 值
if (k == key) {
e.value = value;
return;
}
// 發(fā)現(xiàn)空位插入 value
if (k == null) {
replaceStaleEntry(key, value, i);
return;
}
}
// 新建一個(gè) Entry 插入數(shù)組中
tab[i] = new Entry(key, value);
int sz = ++size;
// 判斷是否需要進(jìn)行擴(kuò)容
if (!cleanSomeSlots(i, sz) && sz >= threshold)
rehash();
}
// ... 忽略其他源碼
}
從上述源碼我們可以看出:ThreadMap 中有一個(gè) Entry[] 數(shù)組用來(lái)存儲(chǔ)所有的數(shù)據(jù),而 Entry 是一個(gè)包含 key 和 value 的鍵值對(duì),其中 key 為 ThreadLocal 本身,而 value 則是要存儲(chǔ)在 ThreadLocal 中的值。
根據(jù)上面的內(nèi)容,我們可以得出 ThreadLocal 相關(guān)對(duì)象的關(guān)系圖,如下所示:
圖片
也就是說(shuō)它們之間的引用關(guān)系是這樣的:Thread -> ThreadLocalMap -> Entry -> Key,Value,因此當(dāng)我們使用線程池來(lái)存儲(chǔ)對(duì)象時(shí),因?yàn)榫€程池有很長(zhǎng)的生命周期,所以線程池會(huì)一直持有 value 值,那么垃圾回收器就無(wú)法回收 value,所以就會(huì)導(dǎo)致內(nèi)存一直被占用,從而導(dǎo)致內(nèi)存溢出問(wèn)題的發(fā)生。
解決方案
ThreadLocal 內(nèi)存溢出的解決方案很簡(jiǎn)單,我們只需要在使用完 ThreadLocal 之后,執(zhí)行 remove 方法就可以避免內(nèi)存溢出問(wèn)題的發(fā)生了,比如以下代碼:
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
publicclass App {
/**
* 定義一個(gè) 10m 大的類
*/
staticclass MyTask {
// 創(chuàng)建一個(gè) 10m 的數(shù)組(單位轉(zhuǎn)換是 1M -> 1024KB -> 1024*1024B)
privatebyte[] bytes = newbyte[10 * 1024 * 1024];
}
// 定義 ThreadLocal
privatestatic ThreadLocal<MyTask> taskThreadLocal = new ThreadLocal<>();
// 測(cè)試代碼
public static void main(String[] args) throws InterruptedException {
// 創(chuàng)建線程池
ThreadPoolExecutor threadPoolExecutor =
new ThreadPoolExecutor(5, 5, 60,
TimeUnit.SECONDS, new LinkedBlockingQueue<>(100));
// 執(zhí)行 n 次調(diào)用
for (int i = 0; i < 10; i++) {
// 執(zhí)行任務(wù)
executeTask(threadPoolExecutor);
Thread.sleep(1000);
}
}
/**
* 線程池執(zhí)行任務(wù)
* @param threadPoolExecutor 線程池
*/
private static void executeTask(ThreadPoolExecutor threadPoolExecutor) {
// 執(zhí)行任務(wù)
threadPoolExecutor.execute(new Runnable() {
@Override
public void run() {
System.out.println("創(chuàng)建對(duì)象");
try {
// 創(chuàng)建對(duì)象(10M)
MyTask myTask = new MyTask();
// 存儲(chǔ) ThreadLocal
taskThreadLocal.set(myTask);
// 其他業(yè)務(wù)代碼...
} finally {
// 釋放內(nèi)存
taskThreadLocal.remove();
}
}
});
}
}
以上程序的執(zhí)行結(jié)果如下:
圖片
從上述結(jié)果可以看出我們只需要在 finally 中執(zhí)行 ThreadLocal 的 remove 方法之后就不會(huì)在出現(xiàn)內(nèi)存溢出的問(wèn)題了。
remove的秘密
那 remove 方法為什么會(huì)有這么大的魔力呢?我們打開(kāi) remove 的源碼看一下:
public void remove() {
ThreadLocalMap m = getMap(Thread.currentThread());
if (m != null)
m.remove(this);
}
從上述源碼中我們可以看出,當(dāng)調(diào)用了 remove 方法之后,會(huì)直接將 Thread 中的 ThreadLocalMap 對(duì)象移除掉,這樣 Thread 就不再持有 ThreadLocalMap 對(duì)象了,所以即使 Thread 一直存活,也不會(huì)造成因?yàn)椋═hreadLocalMap)內(nèi)存占用而導(dǎo)致的內(nèi)存溢出問(wèn)題了。
小結(jié)
本文我們使用代碼的方式演示了 ThreadLocal 內(nèi)存溢出的問(wèn)題,嚴(yán)格來(lái)講內(nèi)存溢出并不是 ThreadLocal 的問(wèn)題,而是因?yàn)闆](méi)有正確使用 ThreadLocal 所帶來(lái)的問(wèn)題。想要避免 ThreadLocal 內(nèi)存溢出的問(wèn)題,只需要在使用完 ThreadLocal 后調(diào)用 remove 方法即可。