自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

使用Java NIO編寫高性能的服務器

開發(fā) 后端
從JDK 1.4開始,Java的標準庫中就包含了NIO,即所謂的“New IO”。其中最重要的功能就是提供了“非阻塞”的IO,當然包括了Socket。NonBlocking的IO就是對select(Unix平臺下)以及 WaitForMultipleObjects(Windows平臺)的封裝,提供了高性能、易伸縮的服務架構。

從JDK 1.4開始,Java的標準庫中就包含了NIO,即所謂的“New IO”。其中最重要的功能就是提供了“非阻塞”的IO,當然包括了Socket。NonBlocking的IO就是對select(Unix平臺下)以及 WaitForMultipleObjects(Windows平臺)的封裝,提供了高性能、易伸縮的服務架構。

說來慚愧,直到JDK1.4才有這種功能,但遲到者不一定沒有螃蟹吃,NIO就提供了優(yōu)秀的面向?qū)ο蟮慕鉀Q方案,可以很方便地編寫高性能的服務器。

話說回來,傳統(tǒng)的Server/Client實現(xiàn)是基于Thread per request,即服務器為每個客戶端請求建立一個線程處理,單獨負責處理一個客戶的請求。比如像Tomcat(新版本也會提供NIO方案)、Resin等Web服務器就是這樣實現(xiàn)的。當然為了減少瞬間峰值問題,服務器一般都使用線程池,規(guī)定了同時并發(fā)的最大數(shù)量,避免了線程的無限增長。

但這樣有一個問題:如果線程池的大小為100,當有100個用戶同時通過HTTP現(xiàn)在一個大文件時,服務器的線程池會用完,因為所有的線程都在傳輸大文件了,即使第101個請求者僅僅請求一個只有10字節(jié)的頁面,服務器也無法響應了,只有等到線程池中有空閑的線程出現(xiàn)。

另外,線程的開銷也是很大的,特別是達到了一個臨界值后,性能會顯著下降,這也限制了傳統(tǒng)的Socket方案無法應對并發(fā)量大的場合,而“非阻塞”的IO就能輕松解決這個問題。

下面只是一個簡單的例子:服務器提供了下載大型文件的功能,客戶端連接上服務器的12345端口后,就可以讀取服務器發(fā)送的文件內(nèi)容信息了。注意這里的服務器只有一個主線程,沒有其他任何派生線程,讓我們看看NIO是如何用一個線程處理N個請求的。

NIO服務器最核心的一點就是反應器模式:當有感興趣的事件發(fā)生的,就通知對應的事件處理器去處理這個事件,如果沒有,則不處理。所以使用一個線程做輪詢就可以了。當然這里這是個例子,如果要獲得更高性能,可以使用少量的線程,一個負責接收請求,其他的負責處理請求,特別是對于多CPU時效率會更高。

關于使用NIO過程中出現(xiàn)的問題,最為普遍的就是為什么沒有請求時CPU的占用率為100%?出現(xiàn)這種問題的主要原因是注冊了不感興趣的事件,比如如果沒有數(shù)據(jù)要發(fā)到客戶端,而又注冊了寫事件(OP_WRITE),則在 Selector.select()上就會始終有事件出現(xiàn),CPU就一直處理了,而此時select()應該是阻塞的。

另外一個值得注意的問題是:由于只使用了一個線程(多個線程也如此)處理用戶請求,所以要避免線程被阻塞,解決方法是事件的處理者必須要即刻返回,不能陷入循環(huán)中,否則會影響其他用戶的請求速度。

具體到本例子中,由于文件比較大,如果一次性發(fā)送整個文件(這里的一次性不是指send整個文件內(nèi)容,而是通過while循環(huán)不間斷的發(fā)送分組包),則主線程就會阻塞,其他用戶就不能響應了。這里的解決方法是當有WRITE事件時,僅僅是發(fā)送一個塊(比如4K字節(jié))。發(fā)完后,繼續(xù)等待WRITE事件出現(xiàn),依次處理,直到整個文件發(fā)送完畢,這樣就不會阻塞其他用戶了。

服務器的例子:

  1. package nio.file;     
  2. import java.io.FileInputStream;     
  3. import java.io.IOException;     
  4. import java.net.InetSocketAddress;     
  5. import java.nio.ByteBuffer;     
  6. import java.nio.CharBuffer;      
  7. import java.nio.channels.FileChannel;     
  8. import java.nio.channels.SelectionKey;     
  9. import java.nio.channels.Selector;     
  10. import java.nio.channels.ServerSocketChannel;     
  11. import java.nio.channels.SocketChannel;     
  12. import java.nio.charset.Charset;     
  13. import java.nio.charset.CharsetDecoder;     
  14. import java.util.Iterator;      
  15. /**     
  16. * 測試文件下載的NIOServer     
  17. *     
  18. * @author tenyears.cn     
  19. */    
  20. public class NIOServer {      
  21. static int BLOCK = 4096;      
  22. // 處理與客戶端的交互     
  23. public class HandleClient {     
  24. protected FileChannel channel;      
  25. protected ByteBuffer buffer;     
  26. public HandleClient() throws IOException {     
  27. this.channel = new FileInputStream(filename).getChannel();      
  28. this.buffer = ByteBuffer.allocate(BLOCK);      
  29. }      
  30. public ByteBuffer readBlock() {     
  31. try {     
  32. buffer.clear();      
  33. int count = channel.read(buffer);      
  34. buffer.flip();      
  35. if (count <= 0)      
  36. return null;      
  37. catch (IOException e) {     
  38. e.printStackTrace();      
  39. }     
  40. return buffer;      
  41. }     
  42. public void close() {     
  43. try {     
  44. channel.close();     
  45. catch (IOException e) {      
  46. e.printStackTrace();     
  47. }     
  48. }     
  49. }      
  50. protected Selector selector;      
  51. protected String filename = "d:\\bigfile.dat"// a big file      
  52. protected ByteBuffer clientBuffer = ByteBuffer.allocate(BLOCK);     
  53. protected CharsetDecoder decoder;     
  54. public NIOServer(int port) throws IOException {     
  55. selector = this.getSelector(port);     
  56. Charset charset = Charset.forName("GB2312");      
  57. decoder = charset.newDecoder();      
  58. }     
  59. // 獲取Selector     
  60. protected Selector getSelector(int port) throws IOException {     
  61. ServerSocketChannel server = ServerSocketChannel.open();     
  62. Selector sel = Selector.open();     
  63. server.socket().bind(new InetSocketAddress(port));     
  64. server.configureBlocking(false);     
  65. server.register(sel, SelectionKey.OP_ACCEPT);     
  66. return sel;      
  67. }      
  68. // 監(jiān)聽端口     
  69. public void listen() {     
  70. try {     
  71. for (;;) {     
  72. selector.select();     
  73. Iterator iter = selector.selectedKeys()     
  74. .iterator();     
  75. while (iter.hasNext()) {     
  76. SelectionKey key = iter.next();     
  77. iter.remove();     
  78. handleKey(key);     
  79. }     
  80. }     
  81. catch (IOException e) {     
  82. e.printStackTrace();      
  83. }      
  84. }      
  85. // 處理事件      
  86. protected void handleKey(SelectionKey key) throws IOException {     
  87. if (key.isAcceptable()) { // 接收請求     
  88. ServerSocketChannel server = (ServerSocketChannel) key.channel();     
  89. SocketChannel channel = server.accept();     
  90. channel.configureBlocking(false);      
  91. channel.register(selector, SelectionKey.OP_READ);      
  92. else if (key.isReadable()) { // 讀信息      
  93. SocketChannel channel = (SocketChannel) key.channel();      
  94. int count = channel.read(clientBuffer);     
  95. if (count > 0) {     
  96. clientBuffer.flip();     
  97. CharBuffer charBuffer = decoder.decode(clientBuffer);     
  98. System.out.println("Client >>" + charBuffer.toString());      
  99. SelectionKey wKey = channel.register(selector,      
  100. SelectionKey.OP_WRITE);      
  101. wKey.attach(new HandleClient());      
  102. else    
  103. channel.close();      
  104. clientBuffer.clear();     
  105. else if (key.isWritable()) { // 寫事件     
  106. SocketChannel channel = (SocketChannel) key.channel();     
  107. HandleClient handle = (HandleClient) key.attachment();      
  108. ByteBuffer block = handle.readBlock();      
  109. if (block != null)      
  110. channel.write(block);     
  111. else {     
  112. handle.close();     
  113. channel.close();      
  114. }     
  115. }      
  116. }     
  117. public static void main(String[] args) {     
  118. int port = 12345;     
  119. try {     
  120. NIOServer server = new NIOServer(port);     
  121. System.out.println("Listernint on " + port);     
  122. while (true) {     
  123. server.listen();     
  124. }     
  125. catch (IOException e) {      
  126. e.printStackTrace();      
  127. }      
  128. }     
  129. }    

該代碼中,通過一個HandleClient來獲取文件的一塊數(shù)據(jù),每一個客戶都會分配一個HandleClient的實例。

下面是客戶端請求的代碼,也比較簡單,模擬100個用戶同時下載文件。

  1. package nio.file;     
  2. import java.io.IOException;     
  3. import java.net.InetSocketAddress;      
  4. import java.nio.ByteBuffer;      
  5. import java.nio.CharBuffer;      
  6. import java.nio.channels.SelectionKey;     
  7. import java.nio.channels.Selector;      
  8. import java.nio.channels.SocketChannel;      
  9. import java.nio.charset.Charset;      
  10. import java.nio.charset.CharsetEncoder;      
  11. import java.util.Iterator;     
  12. import java.util.concurrent.ExecutorService;      
  13. import java.util.concurrent.Executors;      
  14. /**      
  15. * 文件下載客戶端      
  16. * @author tenyears.cn     
  17. */     
  18. public class NIOClient {      
  19. static int SIZE = 100;      
  20. static InetSocketAddress ip = new InetSocketAddress("localhost",12345);      
  21. static CharsetEncoder encoder = Charset.forName("GB2312").newEncoder();     
  22. static class Download implements Runnable {      
  23. protected int index;      
  24. public Download(int index) {      
  25. this.index = index;      
  26. }      
  27. public void run() {      
  28. try {      
  29. long start = System.currentTimeMillis();      
  30. SocketChannel client = SocketChannel.open();     
  31. client.configureBlocking(false);     
  32. Selector selector = Selector.open();      
  33. client.register(selector, SelectionKey.OP_CONNECT);      
  34. client.connect(ip);     
  35. ByteBuffer buffer = ByteBuffer.allocate(8 * 1024);     
  36. int total = 0;     
  37. FOR: for (;;) {      
  38. selector.select();      
  39. Iterator iter = selector.selectedKeys()      
  40. .iterator();      
  41. while (iter.hasNext()) {      
  42. SelectionKey key = iter.next();     
  43. iter.remove();     
  44. if (key.isConnectable()) {     
  45. SocketChannel channel = (SocketChannel) key     
  46. .channel();      
  47. if (channel.isConnectionPending())     
  48. channel.finishConnect();     
  49. channel.write(encoder.encode(CharBuffer     
  50. .wrap("Hello from " + index)));     
  51. channel.register(selector, SelectionKey.OP_READ);      
  52. else if (key.isReadable()) {      
  53. SocketChannel channel = (SocketChannel) key      
  54. .channel();     
  55. int count = channel.read(buffer);     
  56. if (count > 0) {      
  57. total += count;      
  58. buffer.clear();     
  59. else {      
  60. client.close();      
  61. break FOR;      
  62. }      
  63. }     
  64. }      
  65. }      
  66. double last = (System.currentTimeMillis() - start) * 1.0 / 1000;     
  67. System.out.println("Thread " + index + " downloaded " + total      
  68. "bytes in " + last + "s.");      
  69. catch (IOException e) {      
  70. e.printStackTrace();      
  71. }      
  72. }     
  73. }     
  74. public static void main(String[] args) throws IOException {     
  75. ExecutorService exec = Executors.newFixedThreadPool(SIZE);      
  76. for (int index = 0; index < SIZE; index++) {     
  77. exec.execute(new Download(index));      
  78. }      
  79. exec.shutdown();     
  80. }      
  81. }   

操作系統(tǒng)的API epoll, select, NonBlocking的IO就是對select(Unix平臺下)以及 WaitForMultipleObjects(Windows平臺)的封裝,是OS級別下的支持。

責任編輯:金賀 來源: JavaEye博客
相關推薦

2009-12-14 10:44:51

Java 7NIO2

2009-11-17 14:05:57

微軟高性能計算服務器

2019-07-31 14:36:46

Linux服務器框架

2024-03-20 08:00:00

軟件開發(fā)Java編程語言

2010-05-07 17:50:31

Unix服務器

2009-02-18 12:45:00

2011-04-07 13:39:24

WebHTTP

2014-04-09 10:50:01

Squid架構緩存服務器

2021-09-22 16:25:17

服務器戴爾科技集團

2011-12-08 10:12:34

JavaNIO

2020-11-10 07:46:09

服務器高并發(fā)高性能

2019-01-08 13:32:38

Nginx服務器IO復用

2018-01-12 14:37:34

Java代碼實踐

2023-07-12 08:24:19

Java NIO通道

2019-01-15 10:54:03

高性能ServerReactor

2017-12-20 14:59:44

服務器

2021-05-28 05:18:08

PHP語言roadrunnner

2021-09-14 10:21:13

CPU高性能服務器

2011-12-08 09:37:36

JavaNIO

2024-04-12 07:41:52

PPCTPCApache
點贊
收藏

51CTO技術棧公眾號