關于 Python 自動化的話題，在上一篇文章中，我介紹了 Invoke 庫，它是 Fabric 的重要組件之一。Fabric 也是一個被廣泛應用的自動化工具庫，是不得不提的自動化運維利器，所以，本文將來介紹一下它。

[[315428]]

Fabric 主要用在應用部署與系統(tǒng)管理等任務的自動化，簡單輕量級，提供有豐富的 SSH 擴展接口。在 Fabric 1.x 版本中，它混雜了本地及遠程兩類功能;但自 Fabric 2.x 版本起，它分離出了獨立的 Invoke 庫，來處理本地的自動化任務，而 Fabric 則聚焦于遠程與網(wǎng)絡層面的任務。

為了做到這點，F(xiàn)abric 主要依賴另一大核心組件 Paramiko，它是基于 SSH 協(xié)議的遠程控制模塊，F(xiàn)abric 在其基礎上封裝出了更加友好的接口，可以遠程執(zhí)行 Shell 命令、傳輸文件、批量操作服務器、身份認證、多種配置與設置代理，等等。

一、Fabric 的版本區(qū)分

Python 2 版本已經(jīng)被官宣在今年元旦“退休”了，未來只會是 Python 3 的舞臺。為了適應 Python 版本的非兼容性遷移，很多項目也必須推出自己的新版本(兼容或只支持 Python 3)，其中就包括本文的主角 Fabric。

Fabric 自身存在著 2 個大版本：Fabric 1 和 Fabric 2，而在這個庫的基礎上，還有兩個很容易混淆的相關庫：Fabric2 和 Fabric3(注意這里的數(shù)字是庫名的一部分)。

它們的區(qū)分如下：

• Fabric 1.x：支持 Python 2.5-2.7，但不支持 Python 3
• Fabric 2.x：支持 Python 2.7 與 3.4+，但不兼容 Fabric 1.x 的 fabfile
• Fabric2：等同于 Fabric 2.x，為了使不同版本共存(裝一個 1.x 舊版本，再裝它作為新版本)
• Fabric3：一個基于 Fabric 1.x 的 fork(非官方)，兼容 Python 2&3，兼容 Fabric1.x 的 fabfile

綜上可見，我們推薦使用官方的 Fabric 2.x 系列版本，但同時要注意，某些過時的教程可能是基于早期版本的(或非官方的 Fabric3，也是基于 Fabric 1.x)，需要注意識別。

例如，在 Fabric 1.x 系列中這么寫導入：from fabric.api import run;在新版本中將報錯：“ImportError: No module named api”(PS：可根據(jù)是否有 fabric.api 來判斷 Fabric 的版本，就像在 Python 中根據(jù) print 語句或 print 函數(shù)來判斷版本一樣)。同時，由于新版本不支持老版本的 fabfile，在使用時就可能報錯：“No idea what 'xxx' is!”

Fabric 2 是非兼容性版本，相比于前個版本，它主要改進的點有：

• 支持 Python 2.7 與 3.4+
• 線程安全，取消了多進程的并發(fā)實現(xiàn)
• API 圍繞 fabric.connection.Connection 進行了重組
• 全面修改了命令行解析器，允許在每個任務的基礎上使用規(guī)則的 GNU/POSIX 風格的標志和選項(不再需要 fab mytask:weird = custom,arg = format)
• 可以聲明前置任務與后置任務
• ……(官方列了10幾條[1]，本文不一一羅列)

之前介紹過的 invoke，就是在開發(fā) Fabric 2 時被分離出來的，具體的原因可參見這個回答[2]。總而言之，在使用 Fabric 時，應該注意版本差異的問題。

二、Fabric 的基本用法

1、安裝

首先是安裝：pip intall fabric ，安裝后，可在命令行窗口查看版本信息： 

>>> fab -V 
Fabric 2.5.0 
Paramiko 2.7.1 
Invoke 1.4.0 

執(zhí)行“fab -V”，以上結果可看出我安裝的是 Fabric 2.5.0 版本，同時可看到它的兩個核心依賴庫 Paramiko 及 Invoke 的版本信息。

2、一個簡單的例子

Fabric 主要用于遠程任務，即要對遠程服務器進行操作，下面是一個簡單的例子： 

# 可使用任意的文件名 
from fabric import Connection 
 
host_ip = '47.xx.xx.xx'  # 服務器地址 
user_name = 'root' # 服務器用戶名 
password = '****'  # 服務器密碼 
cmd = 'date'  # shell 命令，查詢服務器上的時間 
 
con = Connection(host_ip, user_name, connect_kwargs={'password': password}) 
result = con.run(cmd, hide=True) 
 
print(result) 

以上代碼，通過賬號+密碼登錄到遠程服務器，然后執(zhí)行date命令，查看服務器的時間，執(zhí)行結果： 

Command exited with status 0. 
=== stdout === 
Fri Feb 14 15:33:05 CST 2020 
 
(no stderr) 

現(xiàn)在打印的結果中，除了服務器時間，還有一些無關的信息。這是因為它打印的“result”是一個"fabric.runners.Result"類，我們可以把其中的信息解析出來： 

print(result.stdout)  # Fri Feb 14 15:33:05 CST 2020 
print(result.exited)  # 0 
print(result.ok)      # True 
print(result.failed)  # False 
print(result.command) # date 
print(result.connection.host) # 47.xx.xx.xx 

上述代碼使用了 Connection 類及其 run() 方法，可在連接的服務器上運行 shell 命令。如果需要用管理員權限，則需替換成 sudo() 方法。如果要在本地執(zhí)行 shell 命令，則需替換成 local() 方法。

除此之外，還有 get()、put() 等方法，詳見下文介紹。

3、命令行用法

上例代碼可寫在任意的 .py 腳本中，然后運行該腳本，或者稍微封裝下再導入到其它腳本中使用。

另外，F(xiàn)abric 還是個命令行工具，可以通過fab命令來執(zhí)行任務。我們稍微改造一下上例的代碼： 

# 文件名：fabfile.py 
from fabric import Connection 
from fabric import task 
 
host_ip = '47.xx.xx.xx'  # 服務器地址 
user_name = 'root' # 服務器用戶名 
password = '****'  # 服務器密碼 
cmd = 'date'  # shell 命令，查詢服務器上的時間 
 
@task 
def test(c): 
    """ 
    Get date from remote host. 
    """ 
    con = Connection(host_ip, user_name, connect_kwargs={'password': password}) 
    result = con.run(cmd, hide=True) 
    print(result.stdout)  # 只打印時間 

解釋一下，主要的改動點有：

• fabfile.py 文件名：入口代碼的腳本名必須用這個名字
• @task 裝飾器：需要從 fabric 中引入這個裝飾器，它是對 invoke 的 @task 裝飾器的封裝，實際用法跟 invoke 一樣(注意：它也需要有上下文參數(shù)“c”，但實際上它并沒有在代碼塊中使用，而是用了 Connection 類的實例)

然后，在該腳本同級目錄的命令行窗口中，可以查看和執(zhí)行相應的任務： 

>>> fab -l 
Available tasks: 
  test   Get date from remote host. 
 
>>> fab test 
Fri Feb 14 16:10:24 CST 2020 

fab 是 Invoke 的擴展實現(xiàn)，繼承了很多原有功能，所以執(zhí)行“fab --help”，與之前介紹的“inv --help”相比，你會發(fā)現(xiàn)它們的很多參數(shù)與解釋都是一模一樣的。 

fab 針對遠程服務的場景，添加了幾個命令行選項(已標藍)，其中： 

• --prompt-for-login-password：令程序在命令行中輸入 SSH 登錄密碼(上例在代碼中指定了 connect_kwargs.password 參數(shù)，若用此選項，可要求在執(zhí)行時再手工輸入密碼)
• --prompt-for-passphrase：令程序在命令行中輸入 SSH 私鑰加密文件的路徑
• -H 或 --hosts：指定要連接的 host 名
• -i 或 --identity：指定 SSH 連接所用的私鑰文件
• -S 或 --ssh-config：指定運行時要加載的 SSH 配置文件

關于 Fabric 的命令行接口，更多內容可查看文檔 [3]。

4、交互式操作

遠程服務器上若有交互式提示，要求輸入密碼或“yes”之類的信息，這就要求 Fabric 能夠監(jiān)聽并作出回應。

以下是一個簡單示例。引入 invoke 的 Responder，初始化內容是一個正則字符串和回應信息，最后賦值給 watchers 參數(shù)： 

from invoke import Responder 
from fabric import Connection 
c = Connection('host') 
sudopass = Responder( 
     pattern=r'\[sudo\] password:', 
     response='mypassword\n') 
c.run('sudo whoami', pty=True, watchers=[sudopass]) 

5、傳輸文件

本地與服務器間的文件傳輸是常見用法。Fabric 在這方面做了很好的封裝，Connection 類中有以下兩個方法可用：

• get(*args, **kwargs)：拉取遠端文件到本地文件系統(tǒng)或類文件(file-like)對象
• put(*args, **kwargs)：推送本地文件或類文件對象到遠端文件系統(tǒng)

在已建立連接的情況下，示例： 

# (略) 
con.get('/opt/123.txt', '123.txt') 
con.put('test.txt', '/opt/test.txt') 

第一個參數(shù)指的是要傳輸?shù)脑次募?，第二個參數(shù)是要傳輸?shù)哪康牡?，可以指定成文件名或者文件夾(為空或 None 時，使用默認路徑)： 

# (略) 
con.get('/opt/123.txt', '')  # 為空時，使用默認路徑 
con.put('test.txt', '/opt/') # 指定路徑 /opt/ 

get() 方法的默認存儲路徑是os.getcwd ，而 put() 方法的默認存儲路徑是 home 目錄。

6、服務器批量操作

對于服務器集群的批量操作，最簡單的實現(xiàn)方法是用 for 循環(huán)，然后逐一建立 connection 和執(zhí)行操作，類似這樣： 

for host in ('web1', 'web2', 'mac1'): 
    result = Connection(host).run('uname -s') 

但有時候，這樣的方案會存在問題：

• 如果存在多組不同的服務器集群，需要執(zhí)行不同操作，那么需要寫很多 for 循環(huán)
• 如果想把每組操作的結果聚合起來(例如字典形式，key-主機，value-結果)，還得在 for 循環(huán)之外添加額外的操作
• for 循環(huán)是順序同步執(zhí)行的，效率太低，而且缺乏異常處理機制(若中間出現(xiàn)異常，會導致跳出后續(xù)操作)

對于這些問題，F(xiàn)abric 提出了 Group 的概念，可將一組主機定義成一個 Group，它的 API 方法跟 Connection 一樣，即一個 Group 可簡化地視為一個 Connection。

然后，開發(fā)者只需要簡單地操作這個 Group，最后得到一個結果集即可，減少了自己在異常處理及執(zhí)行順序上的工作。

Fabric 提供了一個 fabric.group.Group 基類，并由其派生出兩個子類，區(qū)別是：

• SerialGroup(*hosts, **kwargs)：按串行方式執(zhí)行操作
• ThreadingGroup(*hosts, **kwargs)：按并發(fā)方式執(zhí)行操作

Group 的類型決定了主機集群的操作方式，我們只需要做出選擇即可。然后，它們的執(zhí)行結果是一個fabric.group.GroupResult類，它是 dict 的子類，存儲了每個主機 connection 及其執(zhí)行結果的對應關系。 

>>> from fabric import SerialGroup 
>>> results = SerialGroup('web1', 'web2', 'mac1').run('uname -s') 
>>> print(results) 
<GroupResult: { 
    <Connection 'web1'>: <CommandResult 'uname -s'>, 
    <Connection 'web2'>: <CommandResult 'uname -s'>, 
    <Connection 'mac1'>: <CommandResult 'uname -s'>, 
}> 

另外，GroupResult 還提供了 failed 與 succeeded 兩個屬性，可以取出失敗/成功的子集。由此，也可以方便地批量進行二次操作。

三、Fabric 的進階用法

1、身份認證

Fabric 使用 SSH 協(xié)議來建立遠程會話，它是一種相對安全的基于應用層的加密傳輸協(xié)議。

基本來說，它有兩種級別的安全認證方式：

• 基于口令的身份認證：使用賬號與密碼來登錄遠程主機，安全性較低，容易受到“中間人”攻擊
• 基于密鑰的身份認證：使用密鑰對方式(公鑰放服務端，私鑰放客戶端)，不會受到“中間人”攻擊，但登錄耗時較長

前文在舉例時，我們用了第一種方式，即通過指定 connect_kwargs.password 參數(shù)，使用口令來登錄。

Fabric 當然也支持采用第二種方式，有三種方法來指定私鑰文件的路徑，優(yōu)先級如下：

• 優(yōu)先查找 connect_kwargs.key_filename 參數(shù)，找到則用作私鑰
• 其次查找命令行用法的 --identify 選項
• 最后默認使用操作系統(tǒng)的 ssh_config 文件中的IdentityFile 的值

如果私鑰文件本身還被加密過，則需要使用 connect_kwargs.passphrase 參數(shù)。

2、配置文件

Fabric 支持把一些參數(shù)項與業(yè)務代碼分離，即通過配置文件來管理它們，例如前面提到的密碼和私鑰文件，可寫在配置文件中，避免與代碼耦合。

Fabric 基本沿用了 Invoke 的配置文件體系(官方文檔中列出了 9 層)，同時增加了一些跟 SSH 相關的配置項。支持的文件格式有 .yaml、.yml、.json 與 .py(按此次序排優(yōu)先級)，推薦使用 yaml 格式(后綴可簡寫成 yml)。

其中，比較常用的配置文件有：

• 系統(tǒng)級的配置文件：/etc/fabric.yml
• 用戶級的配置文件：~/.fabric.yml(Windows 在 C:\Users\xxx 下)
• 項目級的配置文件：/myproject/fabric.yml

以上文件的優(yōu)先級遞減，由于我本機是 Windows，為了方便，我在用戶目錄建一個".fabric.yml"文件，內容如下： 

# filename:.fabric.yml 
 
user: root 
connect_kwargs: 
  password: xxxx 
# 若用密鑰，則如下 
#  key_filename: 
#    - your_key_file 

我們把用戶名和密碼抽離出來了，所以 fabfile 中就可以刪掉這些內容： 

# 文件名：fabfile.py 
from fabric import Connection 
from fabric import task 
 
host_ip = '47.xx.xx.xx'  # 服務器地址 
cmd = 'date'  # shell 命令，查詢服務器上的時間 
 
@task 
def test(c): 
    """ 
    Get date from remote host. 
    """ 
    con = Connection(host_ip) 
    result = con.run(cmd, hide=True) 
    print(result.stdout)  

然后，在命令行中執(zhí)行： 

>>> fab test 
Tue Feb 18 10:33:38 CST 2020 

配置文件中還可以設置很多參數(shù)，詳細可查看文檔 [4]。

3、網(wǎng)絡網(wǎng)關

如果遠程服務是網(wǎng)絡隔離的，無法直接被訪問到(處在不同局域網(wǎng))，這時候需要有網(wǎng)關/代理/隧道，這個中間層的機器通常被稱為跳板機或堡壘機。

Fabric 中有兩種網(wǎng)關解決方案，對應到 OpenSSH 客戶端的兩種選項：

• ProxyJump：簡單，開銷少，可嵌套
• ProxyCommand：開銷大，不可嵌套，更靈活

在創(chuàng)建 Fabric 的 Connection 對象時，可通過指定 gateway 參數(shù)來應用這兩種方案：

ProxyJump 方式就是在一個 Connection 中嵌套一個 Connection 作為前者的網(wǎng)關，后者使用 SSH 協(xié)議的direct-tcpip 為前者打開與實際遠程主機的連接，而且后者還可以繼續(xù)嵌套使用自己的網(wǎng)關。 

from fabric import Connection  
c = Connection('internalhost', gateway=Connection('gatewayhost')) 

ProxyCommand 方式是客戶端在本地用 ssh 命令(類似“ssh -W %h:%p gatewayhost”)，創(chuàng)建一個子進程，該子進程與服務端進行通信，同時它能讀取標準輸入和輸出。

這部分的實現(xiàn)細節(jié)分別在paramiko.channel.Channel 和 paramiko.proxy.ProxyCommand，除了在參數(shù)中指定，也可以在 Fabric 支持的配置文件中定義。更多細節(jié)，請查閱文檔 [5]。

四、小結

Fabric 的非兼容版本造成了一定程度的社區(qū)分裂，這無疑跟 Python 3 的推行脫不開關系，但是我們有理由相信，新版本優(yōu)勝于老版本。

網(wǎng)上關于 Fabric 的文章，很多已過時了。本文針對最新的官方文檔，梳理出了較為全面的知識點，可以帶大家很好地入門 Fabric。