[[214408]]

bash 命令通常單線程運(yùn)行。這意味著所有的處理工作只在單個(gè) CPU 上執(zhí)行。隨著 CPU 規(guī)模的擴(kuò)大以及核心數(shù)目的增加，這意味著只有一小部分的 CPU 資源用于處理你的工作。

當(dāng)我們的工作受制于 CPU 處理數(shù)據(jù)的速度時(shí)，這些未使用的 CPU 資源能產(chǎn)生很大的效用。這種情況在進(jìn)行多媒體轉(zhuǎn)換（比如圖片和視頻轉(zhuǎn)換）以及數(shù)據(jù)壓縮中經(jīng)常遇到。

本文中，我們將會(huì)使用 parallel 程序。parallel 會(huì)接受一個(gè)列表作為輸入，然后在所有 CPU 核上并行地執(zhí)行命令來處理該列表。Parallel 甚至?xí)错樞驅(qū)⒔Y(jié)果輸出到標(biāo)準(zhǔn)輸出中，因此它可以用在管道中作為其他命令的標(biāo)準(zhǔn)輸入。

如何使用 parallel

parallel 在標(biāo)準(zhǔn)輸入中讀取一個(gè)列表作為輸入，然后創(chuàng)建多個(gè)指定命令的進(jìn)程來處理這個(gè)列表，其格式為：

list | parallel command

這里的 list 可以由任何常見的 bash 命令創(chuàng)建，例如：cat、grep、find。這些命令的結(jié)果通過管道從它們的標(biāo)準(zhǔn)輸出傳遞到 parallel 的標(biāo)準(zhǔn)輸入，像這樣：

find . -type f -name "*.log" | parallel

跟 find 中使用 -exec 類似，parallel 使用 {} 來表示輸入列表中的每個(gè)元素。下面這個(gè)例子中，parallel 會(huì)使用 gzip 壓縮所有 find 命令輸出的文件：

find . -type f -name "*.log" | parallel gzip {}

下面這些實(shí)際的使用 parallel 的例子可能會(huì)更容易理解一些。

使用 parallel 來進(jìn)行 JPEG 壓縮

在這個(gè)例子中，我收集了一些比較大的 .jpg 文件（大約 10MB 大?。?Mozilla 出品的 JPEG 圖像壓縮工具 MozJPEG 來進(jìn)行處理。該工具會(huì)在嘗試保持圖像質(zhì)量的同時(shí)減少 JPEG 圖像文件的大小。這對(duì)降低網(wǎng)頁加載時(shí)間很重要。

下面是一個(gè)普通的 find 命令，用來找出當(dāng)前目錄中的所有 .jpg 文件，然后通過 MozJPEG 包中提供的圖像壓縮工具 （cjpeg） 對(duì)其進(jìn)行處理：

find . -type f -name "*.jpg" -exec cjpeg -outfile LoRes/{} {} ';'

總共耗時(shí) 0m44.114s。該命令運(yùn)行時(shí)的 top 看起來是這樣的：

[[214409]]

你可以看到，雖然有 8 個(gè)核可用，但實(shí)際只有單個(gè)線程在用單個(gè)核。

下面用 parallel 來運(yùn)行相同的命令：

find . -type f -name "*.jpg" | parallel cjpeg -outfile LoRes/{} {}

這次壓縮所有圖像的時(shí)間縮減到了 0m10.814s。從 top 顯示中可以很清楚地看出不同：

所有 CPU 核都滿負(fù)荷運(yùn)行，有 8 個(gè)線程對(duì)應(yīng)使用 8 個(gè) CPU 核。

parallel 與 gzip 連用

如果你需要壓縮多個(gè)文件而不是一個(gè)大文件，那么 parallel 就能用來提高處理速度。如果你需要壓縮單個(gè)文件而同時(shí)又想要利用所有的 CPU 核的話，那么你應(yīng)該 gzip 的多線程替代品 pigz。

首先，我用隨機(jī)數(shù)據(jù)創(chuàng)建了 100 個(gè)大約 1GB 的文件：

for i in {1..100}; do dd if=/dev/urandom of=file-$i bs=1MB count=10; done

然而我用 find -exec 命令來進(jìn)行壓縮：

find . -type f -name "file*" -exec gzip {} ';'

總共耗時(shí) 0m28.028s，而且也是只利用了單核。

換成 parallel 版本：

find . -type f -name "file*" | parallel gzip {}

耗時(shí)減少到了 0m5.774s。

parallel 是一款非常好用的工具，應(yīng)該加入到你的系統(tǒng)管理工具包中，在合適的場(chǎng)合它能幫你節(jié)省大量的時(shí)間。