前言

前面我們用了幾篇文章系統(tǒng)的說了一下有關(guān)Java并發(fā)編程模型中的一些基礎(chǔ)的知識(shí)。比如同步，鎖，原子性操作，信號(hào)量等以及它們的一些延展實(shí)現(xiàn)閂鎖，柵鎖等等。

[[277971]]

今天我們回過頭來(lái)簡(jiǎn)單說一下并發(fā)編程模型的設(shè)計(jì)和選擇。

主要涉及到我們?nèi)绾卫枚嗑€程設(shè)計(jì)來(lái)在多處理器或者多內(nèi)核時(shí)代如何提高我們應(yīng)該程序的性能。

說說線程和應(yīng)用程序之間的關(guān)系，以及我們?cè)诰幊踢^程中如何去設(shè)計(jì)多線程模型。是不是我們編程時(shí)設(shè)計(jì)的線程越多對(duì)應(yīng)用程序的性能提升越大，什么情況下設(shè)計(jì)什么樣的線程模型。

并發(fā)與并行

在具體說多線程并發(fā)模型設(shè)計(jì)之前，我們先來(lái)簡(jiǎn)單澄清兩個(gè)概念，并發(fā)(Concurrency)和并行(Parallel)，

它們是兩個(gè)容易混淆的概念，它們的基礎(chǔ)都是多線程，而并行是指多個(gè)進(jìn)程或線程之間在運(yùn)行時(shí)同一時(shí)間里并行的執(zhí)行。

而并發(fā)則是多個(gè)線程一起共同去完成某一項(xiàng)任務(wù)?？梢栽趩魏颂幚砥魃戏謺r(shí)運(yùn)行實(shí)現(xiàn)，也可以在多核處理器上并行運(yùn)行實(shí)現(xiàn)。

所以說并發(fā)偏重于是編程級(jí)別的概念，而并行則多指運(yùn)行方式的概念。并行可以是進(jìn)程級(jí)別上，多個(gè)進(jìn)程同時(shí)運(yùn)行，也可以是線程級(jí)別的多個(gè)獨(dú)立線程的并行運(yùn)行。強(qiáng)調(diào)的是同一時(shí)間上的同時(shí)發(fā)生。

我們通常所說的并發(fā)編程，實(shí)質(zhì)就是通過多個(gè)線程來(lái)分解要執(zhí)行的任務(wù)，使其成為多個(gè)可獨(dú)立執(zhí)行的小任務(wù)，做到可以在單核上分時(shí)執(zhí)行，也可以在多核上并行執(zhí)行。從而縮短總?cè)蝿?wù)的處理時(shí)間，從而提高應(yīng)用程序的性能。

多線程并發(fā)編程模型

在編程領(lǐng)域里，并發(fā)編程設(shè)計(jì)其實(shí)是跟順序同步編程或者串行化編程設(shè)計(jì)相對(duì)的。

串行化編程是將任務(wù)排隊(duì)，針對(duì)的運(yùn)行它的目標(biāo)處理器只有一個(gè)，而且數(shù)單線程處理的。要提高這類應(yīng)用程序的性能，我們只能通過提高該該處理器的執(zhí)行效率來(lái)完成，但是它的提升是有限的，畢竟單核的處理能力是有上限的。

當(dāng)我們的計(jì)算機(jī)進(jìn)入多內(nèi)核時(shí)代后，串行化編程所使用的單線程模型是無(wú)法使用多內(nèi)核的，為此我們將應(yīng)用程序的執(zhí)行任務(wù)分解成可獨(dú)立執(zhí)行的小任務(wù)，交給多個(gè)線程，讓它們?cè)诙鄠€(gè)內(nèi)核上并行執(zhí)行。

多個(gè)處理器或者內(nèi)核并行的執(zhí)行多個(gè)線程，能夠很好發(fā)揮并發(fā)編程模型的威力，縮短應(yīng)用代碼的執(zhí)行時(shí)間。

這就是為什么我們進(jìn)入多處理器或者多內(nèi)核計(jì)算機(jī)時(shí)代后，多線程編程成為提高應(yīng)用程序的性能的一個(gè)重要的選項(xiàng)。

因?yàn)檫@種設(shè)計(jì)能夠給我們帶來(lái)極大的應(yīng)用程序性能提高，同時(shí)還能增強(qiáng)我們應(yīng)用程序的響應(yīng)性。

當(dāng)然，在單核時(shí)代并發(fā)編程模型也能夠在一定程度上提高應(yīng)用程序效率，因?yàn)椴l(fā)編程模型會(huì)將一個(gè)大的任務(wù)分解成由多個(gè)線程負(fù)責(zé)的眾多小任務(wù)，在一個(gè)單核處理器上借助處理器的分時(shí)處理機(jī)制來(lái)執(zhí)行，從而有效的利用了任務(wù)執(zhí)行過程中出現(xiàn)的等待時(shí)間。

多線程應(yīng)用程序分類

正是由于進(jìn)入多核時(shí)代后，每個(gè)可用CPU內(nèi)核都可以獨(dú)立處理自己的任務(wù)，真正在運(yùn)行時(shí)做到了并行，所以在并發(fā)編程模型中，我們將一個(gè)大任務(wù)分解為一系列獨(dú)立運(yùn)行的小任務(wù)，交給多個(gè)CPU內(nèi)核來(lái)并行執(zhí)行，從而真正的大大提高了整個(gè)應(yīng)用程序的總運(yùn)行效率。

一般情況下，我們?cè)谠O(shè)計(jì)多線程并發(fā)編程模型時(shí)會(huì)首先考慮將我們的應(yīng)用程序進(jìn)行一個(gè)簡(jiǎn)單的分類，就是去識(shí)別是計(jì)算密集型程序還是I/O密集型的應(yīng)用程序。

因?yàn)檫@兩種類型的程序在CPU上執(zhí)行時(shí)有很大的不同，如果是計(jì)算密集型程序其處理主要集中在從寄存器讀取數(shù)據(jù)進(jìn)行運(yùn)算然后寫入寄存器這樣的過程，由于寄存器緩存的讀寫速度更靠近于CPU內(nèi)部緩存，所以CPU的計(jì)算時(shí)間可以很好的被利用，不需要進(jìn)行等待和上下文的切換。

而對(duì)于IO密集型應(yīng)用程序來(lái)說，由于涉及到大量的輸入/輸出操作而這些大多是由專門的輸入輸出設(shè)備來(lái)負(fù)責(zé)處理的，由于它們的處理速度跟CPU有太大的差距，造成了CPU過多的等待時(shí)間的浪費(fèi)。

為了能夠充分利用現(xiàn)在多處理器或多內(nèi)核的計(jì)算機(jī)算力，我們采用多線程并發(fā)設(shè)計(jì)編程來(lái)提高應(yīng)用程序的性能是必由之路。下面我們舉例說明上面兩種類型應(yīng)用的設(shè)計(jì)：

計(jì)算密集型應(yīng)用程序多線程設(shè)計(jì)

首先看計(jì)算密集型應(yīng)用，這種類型的處理，最常見的例子比如我們想處理硬盤上某個(gè)文件夾里的圖片大小的應(yīng)用，由于我們可以一次性將相關(guān)數(shù)據(jù)讀入處理的內(nèi)存，接下來(lái)重要的就是對(duì)數(shù)據(jù)進(jìn)行運(yùn)算處理了，屬于計(jì)算密集型處理。

如果是單線程方法來(lái)實(shí)現(xiàn)的話，單線程方法需要遍歷所有文件并依次縮放每個(gè)圖片。

這種單線程模型下，即使我們有一個(gè)具有多個(gè)核心的CPU，調(diào)整大小的過程將只使用一個(gè)可用的CPU內(nèi)核。

而如果采用多線程方法可以定義一個(gè)主線程負(fù)責(zé)掃描文件系統(tǒng)并將所有找到的文件添加到一個(gè)隊(duì)列中，該隊(duì)列由一組工作線程來(lái)負(fù)責(zé)處理。

那么這時(shí)候就要注意了，這種情況下我們?nèi)绾卧O(shè)計(jì)我們的多線程處理模型呢?

我們簡(jiǎn)單想一下就知道，計(jì)算過程最好是每個(gè)CPU綁定特定的線程，不斷的讀取數(shù)據(jù)處理即可。

所以如果我們剛好有與可用CPU內(nèi)核數(shù)一樣多的工作線程，那么我們就能確保每個(gè)可用的CPU內(nèi)核在處理圖片時(shí)都有事情可做。

充分利用計(jì)算機(jī)的算力，也不存在線程上下文切換問題，也不存在等待輸入輸出問題，從而縮短圖片的處理時(shí)間，提供整個(gè)應(yīng)用程序的性能。

也就是說在我們并發(fā)模型設(shè)計(jì)時(shí)，如果主要涉及到數(shù)據(jù)的運(yùn)算問題，我們可以設(shè)計(jì)跟可以使用的CPU內(nèi)核數(shù)相同的線程數(shù)，以綁定執(zhí)行線程的CPU內(nèi)核，來(lái)充分的利用空閑的CPU內(nèi)核處理能力。

這種情況下，如果從可擴(kuò)展性考慮，我們可能想通過添加更多資源來(lái)提高性能，那么只能通過提高單個(gè)CPU算力的角度來(lái)實(shí)現(xiàn)。

假如在這個(gè)例子中，我們遇到了更大量的圖片需要處理，我們是否能夠?yàn)槲覀兊膽?yīng)用程序添加更多的線程來(lái)處理呢?

其實(shí)這種計(jì)算密集型應(yīng)用，由于我們當(dāng)前機(jī)器的CPU內(nèi)核數(shù)量有限，添加更多的線程并不能提高性能。

反而由于負(fù)責(zé)調(diào)度的線程必須管理更多的工作線程，并且線程的創(chuàng)建和關(guān)閉也會(huì)消耗CPU，而會(huì)出現(xiàn)增加越多線程性能反而可能下降的現(xiàn)象。

I/O密集型的應(yīng)用程序多線程設(shè)計(jì)

對(duì)于輸入/輸出密集型應(yīng)用程序來(lái)說，也就是說就是具有大量I/O等待時(shí)間的應(yīng)用程序，利用多線程提高應(yīng)用程序整體性能，如何設(shè)計(jì)呢?

我們來(lái)假想一個(gè)例子，假設(shè)我們想要編寫一個(gè)應(yīng)用程序，將一個(gè)完整的網(wǎng)站內(nèi)容以HTML文件的形式鏡像到硬盤上。因?yàn)樯婕暗骄W(wǎng)絡(luò)訪問，需要大量的網(wǎng)絡(luò)I/O操作。

所以，它是典型的輸入/輸出密集型應(yīng)用。

具體實(shí)現(xiàn)過程怎么做呢?我們需要從這個(gè)站點(diǎn)的每一個(gè)頁(yè)面開始，去搜索其每一個(gè)站內(nèi)的鏈接，讓后根據(jù)這些鏈接向其web服務(wù)器發(fā)送訪問請(qǐng)求，由于涉及到網(wǎng)絡(luò)請(qǐng)求，所以請(qǐng)求的響應(yīng)時(shí)間就不確定了，某個(gè)請(qǐng)求可能需要很長(zhǎng)時(shí)間才能收到回復(fù)。

同樣，如果我們采用單線程的處理方式，那么這其中的等待回復(fù)時(shí)間可能是一個(gè)讓人無(wú)法忍受的過程。而且在這等待期間，我們的應(yīng)用程序可能啥都做不了。

如果我們可以將這份工作分配到多個(gè)線程，讓一個(gè)或多個(gè)線程負(fù)責(zé)解析請(qǐng)求接收到的HTML頁(yè)面，并將找到的鏈接放入隊(duì)列，而其他線程則向web服務(wù)器發(fā)出請(qǐng)求，然后等待回復(fù)。如此我們的應(yīng)用程序能夠在新請(qǐng)求頁(yè)面的等待時(shí)間里來(lái)解析已經(jīng)接收的頁(yè)面。

而我們知道涉及到網(wǎng)絡(luò)傳輸?shù)妮斎胼敵鲞^程都是由我們的操作系統(tǒng)網(wǎng)卡負(fù)責(zé)的，也就是說我們的應(yīng)用程序的線程只需要負(fù)責(zé)將請(qǐng)求發(fā)送出去，然后等待遠(yuǎn)程的網(wǎng)絡(luò)回復(fù)即可，這等待期間線程可以做別的事情，而不必被阻塞等待。

同時(shí)由于我們的CPU要做的基本上就是響應(yīng)一下輸入輸出操作開始和結(jié)束指令，做一些訪問和存儲(chǔ)線程處理工作，大部分時(shí)間應(yīng)該都是響應(yīng)事件處理。

此時(shí)我們的CPU可用內(nèi)核處理過程是不需要線程綁定的，所以這類IO操作密集類型應(yīng)用多線程時(shí)，我們可以在應(yīng)用程序中添加多于可用CPU內(nèi)核數(shù)的線程來(lái)充分利用其算力，那么這個(gè)應(yīng)用程序甚至可能獲得更好的性能。

簡(jiǎn)單來(lái)說，應(yīng)用程序的性能意味著能在更短的時(shí)間內(nèi)完成更多的任務(wù)。

我們?cè)賮?lái)看另外一種情況，在我們的圖形用戶界面(GUI)應(yīng)用中，我們常常會(huì)遇見需要用戶輸入一些內(nèi)容，然后單機(jī)處理按鈕來(lái)提交數(shù)據(jù)給服務(wù)器進(jìn)行處理這樣的操作過程，在這個(gè)過程中，當(dāng)我們單機(jī)按鈕后，如果是單線程處理的情況下，應(yīng)用程序會(huì)被阻塞，等待服務(wù)器處理的結(jié)果返回。

這時(shí)我們一般為了防止用戶重復(fù)提交而將按鈕變成不可用狀態(tài)，服務(wù)器在后臺(tái)處理數(shù)據(jù)期間用戶就什么也做不了，只能等待服務(wù)器回復(fù)結(jié)果。這樣的用戶體驗(yàn)會(huì)很糟糕，如果處理時(shí)間稍長(zhǎng)一些，鼠標(biāo)都無(wú)法移動(dòng)，就有可能給用戶造成出問題卡死的錯(cuò)覺。

這個(gè)時(shí)候，我們完全可以采用多線程來(lái)處理，那就是設(shè)計(jì)一個(gè)額外的線程運(yùn)行等待遠(yuǎn)程服務(wù)器處理結(jié)果，而當(dāng)前的處理線程繼續(xù)相應(yīng)用戶的其它操作請(qǐng)求。

當(dāng)遠(yuǎn)程回復(fù)到達(dá)時(shí)，該線程負(fù)責(zé)響應(yīng)。多線程在這類程序中的使用，會(huì)給用戶帶來(lái)良好的操作體驗(yàn)，大大提高應(yīng)用程序的相應(yīng)能力。

總結(jié)

這里我們簡(jiǎn)單總結(jié)了一下，在現(xiàn)代多處理器或多內(nèi)核環(huán)境下，如何通過多線程并發(fā)設(shè)計(jì)來(lái)提高我們應(yīng)用程序的性能和響應(yīng)性。

需要注意的是在設(shè)計(jì)時(shí)首先要確定我們應(yīng)用程序的類型，是計(jì)算密集型還是I/O密集型，如果是計(jì)算密集型應(yīng)用，那么我們?cè)O(shè)計(jì)線程的數(shù)量應(yīng)該等同于我們所能使用的CPU內(nèi)核數(shù)，反之，如果是I/O密集型應(yīng)用，我們可以設(shè)置遠(yuǎn)大于可以CPU內(nèi)核數(shù)的線程數(shù)來(lái)提高性能。

當(dāng)然，所有的多線程并發(fā)編程模型都離不開對(duì)競(jìng)爭(zhēng)資源的處理，這就需要我們充分的理解同步，鎖，原子性操作，信號(hào)量，以及各種衍生的閂鎖，柵鎖等概念，熟練的在設(shè)計(jì)過程中對(duì)競(jìng)態(tài)資源進(jìn)行保護(hù)處理了。