JVM中可生成的最大Thread數(shù)量
最近想測試下Openfire下的***并發(fā)數(shù),需要開大量線程來模擬客戶端。對于一個JVM實例到底能開多少個線程一直心存疑惑,所以打算實際測試下,簡單google了把,找到影響線程數(shù)量的因素有下面幾個:
-Xms |
intial java heap size |
-Xmx |
maximum java heap size |
-Xss |
the stack size for each thread |
系統(tǒng)限制 |
系統(tǒng)***可開線程數(shù) |
- import java.util.concurrent.atomic.AtomicInteger;
- public class TestThread extends Thread {
- private static final AtomicInteger count = new AtomicInteger();
- public static void main(String[] args) {
- while (true)
- (new TestThread()).start();
- }
- @Override
- public void run() {
- System.out.println(count.incrementAndGet());
- while (true)
- try {
- Thread.sleep(Integer.MAX_VALUE);
- } catch (InterruptedException e) {
- break;
- }
- }
- }
測試環(huán)境:
系統(tǒng):Ubuntu 10.04 Linux Kernel 2.6 (32位)
內(nèi)存:2G
JDK:1.7
測試結(jié)果:
◆ 不考慮系統(tǒng)限制
-Xms |
-Xmx |
-Xss |
結(jié)果 |
1024m |
1024m |
1024k |
1737 |
1024m |
1024m |
64k |
26077 |
512m |
512m |
64k |
31842 |
256m |
256m |
64k |
31842 |
在創(chuàng)建的線程數(shù)量達(dá)到31842個時,系統(tǒng)中無法創(chuàng)建任何線程。
由上面的測試結(jié)果可以看出增大堆內(nèi)存(-Xms,-Xmx)會減少可創(chuàng)建的線程數(shù)量,增大線程棧內(nèi)存(-Xss,32位系統(tǒng)中此參數(shù)值最小為60K)也會減少可創(chuàng)建的線程數(shù)量。
◆ 結(jié)合系統(tǒng)限制
線程數(shù)量31842的限制是是由系統(tǒng)可以生成的***線程數(shù)量決定的:/proc/sys/kernel/threads-max,可其默認(rèn)值是32080。修改其值為10000:echo 10000 > /proc/sys/kernel/threads-max,修改后的測試結(jié)果如下:
-Xms |
-Xmx |
-Xss |
結(jié)果 |
256m |
256m |
64k |
9761 |
這樣的話,是不是意味著可以配置盡量多的線程?再做修改:echo 1000000 > /proc/sys/kernel/threads-max,修改后的測試結(jié)果如下:
-Xms |
-Xmx |
-Xss |
結(jié)果 |
256m |
256m |
64k |
32279 |
128m |
128m |
64k |
32279 |
發(fā)現(xiàn)線程數(shù)量在達(dá)到32279以后,不再增長。查了一下,32位Linux系統(tǒng)可創(chuàng)建的***pid數(shù)是32678,這個數(shù)值可以通過/proc/sys/kernel/pid_max來做修改(修改方法同threads-max),但是在32系統(tǒng)下這個值只能改小,無法更大。在threads-max一定的情況下,修改pid_max對應(yīng)的測試結(jié)果如下:
pid_max |
-Xms |
-Xmx |
-Xss |
結(jié)果 |
1000 |
128m |
128m |
64k |
582 |
10000 |
128m |
128m |
64k |
9507 |
在Windows上的情況應(yīng)該類似,不過相比Linux,Windows上可創(chuàng)建的線程數(shù)量可能更少?;诰€程模型的服務(wù)器總要受限于這個線程數(shù)量的限制。
總結(jié):
JVM中可以生成的***數(shù)量由JVM的堆內(nèi)存大小、Thread的Stack內(nèi)存大小、系統(tǒng)***可創(chuàng)建的線程數(shù)量(Java線程的實現(xiàn)是基于底層系統(tǒng)的線程機制來實現(xiàn)的,Windows下_beginthreadex,Linux下pthread_create)三個方面影響。具體數(shù)量可以根據(jù)Java進(jìn)程可以訪問的***內(nèi)存(32位系統(tǒng)上一般2G)、堆內(nèi)存、Thread的Stack內(nèi)存來估算。
序:
在64位Linux系統(tǒng)(CentOS 6, 3G內(nèi)存)下測試,發(fā)現(xiàn)還有一個參數(shù)是會限制線程數(shù)量:max user process(可通過ulimit –a查看,默認(rèn)值1024,通過ulimit –u可以修改此值),這個值在上面的32位Ubuntu測試環(huán)境下并無限制。
將threads-max,pid_max,max user process,這三個參數(shù)值都修改成100000,-Xms,-Xmx盡量小(128m,64m),-Xss盡量小(64位下最小104k,可取值128k)。事先預(yù)測在這樣的測試環(huán)境下,線程數(shù)量就只會受限于測試環(huán)境的內(nèi)存大小(3G),可是實際的測試結(jié)果是線程數(shù)量在達(dá)到32K(32768,創(chuàng)建的數(shù)量最多的時候大概是33000左右)左右時JVM是拋出警告:Attempt to allocate stack guard pages failed,然后出現(xiàn)OutOfMemoryError無法創(chuàng)建本地線程。查看內(nèi)存后發(fā)現(xiàn)還有很多空閑,所以應(yīng)該不是內(nèi)存容量的原因。Google此警告無果,暫時不知什么原因,有待進(jìn)一步研究。
序2:今天無意中發(fā)現(xiàn)文章[7],馬上試了下,果然這個因素會影響線程創(chuàng)建數(shù)量,按文中描述把/proc/sys/vm/max_map_count的數(shù)量翻倍,從65536變?yōu)?31072,創(chuàng)建的線程總數(shù)量達(dá)到65000+,電腦基本要卡死(3G內(nèi)存)… 簡單查了下這個參數(shù)的作用,在[8]中的描述如下:
“This file contains the maximum number of memory map areas a process may have. Memory map areas are used as a side-effect of calling malloc, directly by mmap and mprotect, and also when loading shared libraries.
While most applications need less than a thousand maps, certain programs, particularly malloc debuggers, may consume lots of them, e.g., up to one or two maps per allocation.
The default value is 65536.”
OK,這個問題總算完滿解決,***總結(jié)下影響Java線程數(shù)量的因素:
Java虛擬機本身:-Xms,-Xmx,-Xss;
系統(tǒng)限制:
/proc/sys/kernel/pid_max,
/proc/sys/kernel/thread-max,
max_user_process(ulimit -u),
/proc/sys/vm/max_map_count。
參考資料:
1. http://blog.krecan.net/2010/04/07/how-many-threads-a-jvm-can-handle/
2. http://www.cyberciti.biz/tips/maximum-number-of-processes-linux-26-kernel-can-handle.html
3. http://geekomatic.ch/2010/11/24/1290630420000.html
4. http://stackoverflow.com/questions/763579/how-many-threads-can-a-java-vm-support
5. http://www.iteye.com/topic/1035818
6. http://hi.baidu.com/hexiong/blog/item/16dc9e518fb10c2542a75b3c.html
7. https://listman.redhat.com/archives/phil-list/2003-August/msg00025.html
8. http://www.linuxinsight.com/proc_sys_vm_max_map_count.html
原文鏈接:http://jzhihui.iteye.com/blog/1271122
【編輯推薦】