作者｜李茂，單位：中移物聯(lián)網(wǎng)有限公司

?Labs 導(dǎo)讀

讓我們回到三十年前所能接觸到的計算機：黑黑的屏幕上顯示著白色的文字，在文字最后閃爍著一個方塊形的光標。除專門用于對外服務(wù)的計算機外，那時候的普通使用者基本上以串行地執(zhí)行指令為基礎(chǔ)，同一時間只運行一個應(yīng)用程序，那時候的人們打字就是打字，聽歌就專門聽歌。隨著芯片制程和制造能力的提升以及圖形化操作系統(tǒng)在全球鋪開，我們現(xiàn)在通?？梢砸贿吢犞?，一邊玩著游戲，另一邊還從網(wǎng)絡(luò)上下載最新的電視劇，不僅僅如此，操作系統(tǒng)以及應(yīng)用程序的開發(fā)者也還在極力地壓榨計算機硬件性能，使得計算機更流暢，計算機使用者同一時間可以處理更多的東西，本文將為大家?guī)響?yīng)用程序并發(fā)相關(guān)的知識以及基于Golang這門編程語言針對應(yīng)用程序并發(fā)的相關(guān)編碼基礎(chǔ)。

Part 01  并發(fā)的硬件基礎(chǔ)

1.1 內(nèi)存

作為并發(fā)編程一個基礎(chǔ)硬件知識儲備，首先要說的就是內(nèi)存了，對于內(nèi)存芯片網(wǎng)上喜歡將其表述為內(nèi)存顆粒，是一堆MOS管的集合，在半導(dǎo)體稱呼里面，很多MOS管組成一個半導(dǎo)體組（module），很多個module組成一個管芯（die），這個die即是內(nèi)存顆粒，當然，更上一級即很多die組成的東西叫做晶圓（wafer）。

簡單來說，每8個MOS管組成的電路可以表示一個字節(jié)，比如ASCII的‘A’，我們使用65表示，即0100 0001，那么8個MOS分別使用低-高-低-低-低-低-低-高電位即可表示字符A。

在對內(nèi)存的寫入和讀取時，通常也是按照8個字開始作為一組進行操作，我們現(xiàn)在常用的CPU是64位，可以一次性處理64/8=8個字節(jié)的數(shù)據(jù)。

1.2 總線

總線的概念同我們高速公路的概念類似，就像京滬高速的存在不僅僅只是用于北京和上海之間的交通通勤，只要目的地是那個地理區(qū)間的車輛都可以行駛進入京滬高速，從而提升車輛速度節(jié)省時間?？偩€是計算機各種功能部件之間傳送信息的公共通信干線，按照分類又地址總線、數(shù)據(jù)總線、控制總線等，他們分辨用來傳輸數(shù)據(jù)地址、輸出以及控制信號，它是計算機中用于傳遞信息的公用通道。

一個CPU要操作內(nèi)存的數(shù)據(jù)，也是通過總線來進行操作的。通常來說內(nèi)存的讀寫操作不是一個CPU指令周期能完成的，在這期間如果多個程序在同時操作一個內(nèi)存地址，則有各種意外的讀寫操作。

1.3 CPU

在單核CPU時期，硬件一次只能處理一個事情，在多任務(wù)的情況下不同的任務(wù)按需搶占CPU來執(zhí)行它的代碼，這里面就涉及到CPU調(diào)度工作，通常情況下，操作系統(tǒng)已經(jīng)幫我們做了很多事，如果一個編程語言開啟的并發(fā)操作是交給了操作系統(tǒng)的，那么調(diào)度這塊不需要太關(guān)心，如果像Golang這樣有自己的協(xié)程調(diào)度器，還是需要專門了解下特有的調(diào)度方式。對于多核處理器基本原理也差不多，在對于硬件的理解上也可以完全參考單核。

CPU通過地址總線去尋找內(nèi)存地址,比如0x00004567這種，64位CPU最大能操作的地址長度為264，32位操作系統(tǒng)則是232，所以為什么32位CPU最大只支持4GB內(nèi)存呢？來算一算232是多少（友情提示1GB=1024MB=1024*1024KB=1024*1024*1024B）。

Part 02  并發(fā)的軟件基礎(chǔ)

2.1 多進程模型

多進程模型是操作系統(tǒng)層面進行并發(fā)的最基本模型，要理解它也較為簡單，比如我們需要聽歌便打開了音樂播放器，我們想玩游戲便打開了游戲用用程序，音樂播放器、游戲程序便是一個個進程，我們可以在計算機里讓專門的進程負責(zé)播放聲音，讓專門的進程負責(zé)網(wǎng)絡(luò)連接，讓專門的進程展現(xiàn)游戲畫面，讓每個進程做自己專注的事情，互不影響，這樣做的壞處便是系統(tǒng)開銷是最大的，所有的進程都由操作系統(tǒng)進行管理。

2.2 多線程模型

同多進程模型一樣，多線程模型在操作系統(tǒng)看來也屬于系統(tǒng)層面的并發(fā)模式，到目前為止也是程序員們使用最多的一種，就像我們的音樂播放器本職工作是播放音樂，在播放音樂的同時會搜索當前歌曲的歌詞并通過網(wǎng)絡(luò)下載到計算機上，而搜索歌詞并下載這塊功能則是通過音樂播放器進程生成一個歌詞處理線程進行處理。對于線程模型的理解可以同理解進程模型一樣，每個線程也可以專注做自己的事情互不影響，這種模型的好處是系統(tǒng)開銷比多進程模型要小一些，但是線程過多也會對操作系統(tǒng)有影響。

2.3 異步IO模型

這種模型的誕生源于多進程、多線程導(dǎo)致系統(tǒng)資源快速耗盡的危機，異步IO顧名思義即不會按照順序一步一步地做事情，在某些比較耗時的事情的上時候應(yīng)用的進程/線程不會去等待，而是直接執(zhí)行后面的步驟，直到比較耗時的事情做完了再通知到進程/線程。這種模型的優(yōu)勢是可以開辟少量的線程做更多的事情，但是缺點也顯而易見，由于整個應(yīng)用程序的執(zhí)行流程上被打散，程序員需要通過更多精力處理這種散亂的執(zhí)行狀態(tài)。

2.4 協(xié)程模型

協(xié)程本質(zhì)上是一種由進程自身管理的線程，這種線程不交給操作系統(tǒng)進行管理，但是本身又真實地寄存在操作系統(tǒng)的線程中，系統(tǒng)開銷極小，也避免了異步IO的散亂缺點，目前的缺點是支持這種模型的編程語言很少，存在比較早的，被大眾所使用的一些編程語言因為各自的歷史原因目前都沒有大規(guī)模地針對這種模型進行適配，有一門比較新的編程語言——Golang對于該模型的支持還算不錯。接下來我們就通過Golang的幾個示例代碼來看看并發(fā)編程一些具體操作。

Part 03  幾個代碼示例

示例一

//非并發(fā)方式計算變量A從0開始累加100次，最后輸出結(jié)果

示例二

//變量A從0開始累加100次，每次都由單獨的協(xié)程并發(fā)進行加法操作，最后輸出結(jié)果

示例一個示例二都將輸出什么呢：絕大多數(shù)情況下都是100。

按照正常的理解，示例二不應(yīng)是1-100之間的任意數(shù)字嗎，難不成go的協(xié)程還自動處理了變量搶占等一系列問題，從而使我們就完全很開心地編碼了？實際上先把示例二的100改成10000再看看結(jié)果吧~

我們再看看示例三和示例四：

示例三

//非并發(fā)方式輸出變量i從0-10000每次加1的循環(huán)結(jié)果

示例四

//多協(xié)程方式輸出變量i從0-10000每次加1的循環(huán)結(jié)果

示例三是中規(guī)中矩的單協(xié)程模型，輸出也不會有什么意外，而示例四大家猜猜是按照1,2,3...9999這樣的順序呢還是其他順序輸出呢？

如果實驗了我們便能較為容易地得出結(jié)果，多協(xié)程模型里面的東西沒有順序性，對變量的操作也沒有原子性，和多線程模型處理東西的方式幾乎一樣。

有些場景下為了保證應(yīng)用程序執(zhí)行有序，我們通常采用加鎖的方式進行處理，如示例五。

示例五

//多協(xié)程加鎖處理使之有序：

搬磚例子

假設(shè)在左邊有三堆散亂的磚，我們需要將其從左邊搬運到右邊并堆放整齊，這樣的一個工作我們從并發(fā)模型來看有哪些比較可執(zhí)行的實現(xiàn)方式呢：

1. 每堆磚頭分配固定的人數(shù)，堆磚時為保證堆疊整齊度，采用排隊的方式一個一個按先后順序堆疊
2. 拿一個人專職在左邊遞磚，若干人從左邊的遞磚人處拿磚，搬磚后在右邊排隊堆疊
3. 左邊專人遞磚，右邊專人堆磚，若干搬磚人只負責(zé)搬磚

這也是并發(fā)編程模型中比較常用的編程思路，在以后遇到類似開發(fā)場景也可以套用這些例子。

一個實際案例

我們以一個實際的案例作為結(jié)束，這個案例是導(dǎo)出某云平臺所屬設(shè)備信息的代碼，里面包含有多協(xié)程拉取數(shù)據(jù)的實例，整體的流程如下：

1. 參數(shù)初始化
2. 定義一個接收協(xié)程結(jié)束的信息通道
3. 開啟N個協(xié)程
4. 協(xié)程調(diào)用API獲取信息，按分頁參數(shù)每個協(xié)程獲取（總數(shù)/N）信息，每次page=X+N
5. 每次獲取的信息放入excel緩沖區(qū)
6. 當最后的分頁獲取不到信息時向通道寫入東西表示該協(xié)程任務(wù)完成
7. 主進程循環(huán)獲取每個協(xié)程結(jié)束的信息，直到所有協(xié)程任務(wù)完成
8. 將excel緩沖區(qū)數(shù)據(jù)寫入excel文件
9. 結(jié)束

案例鏈接如下（cm-heclouds為物聯(lián)網(wǎng)公司平臺部存放開源代碼的專用賬戶）：

https://github.com/cm-heclouds/onenet_device_export/releases/tag/2018-latest

當然，這個案例在并發(fā)上其實還存在較大的提升空間，聰明的大家看看結(jié)合搬磚的例子來怎么提升呢。?