譯者 | 朱先忠

審校 | 孫淑娟

作為數(shù)據(jù)科學(xué)家，我們通常都希望盡快開始訓(xùn)練模型。這不僅僅是因為人類具有天性急躁的特征。例如，我們可能希望測試某人的項目中的一個非常小的更改，并且我們希望避免為了測試這樣的小修改而進行冗長的設(shè)置工作。

這種情況在處理計算機視覺和大型圖像數(shù)據(jù)集時尤其明顯。當(dāng)你在訓(xùn)練你的模型之前必須提取一個龐大的數(shù)據(jù)集（使用DVC版本）時，你有過煩惱嗎？或者，您可能需要拉動整個數(shù)據(jù)集來檢查/修改單個圖像或其中的一些圖像？如果這聽起來很熟悉；那么，接下來我將向您展示如何使用DagsHub公司開發(fā)的新數(shù)據(jù)流客戶端解決這些潛在的瓶頸問題。

【譯者注】DAGsHub是DAGsHub團隊開發(fā)的用于數(shù)據(jù)科學(xué)家和機器學(xué)習(xí)工程師的數(shù)據(jù)版本控制和協(xié)作的開源免費Web平臺（DAGsHub是DVC，Github是Git）。其中，DVC代表數(shù)據(jù)版本控制（Data Version Control），本質(zhì)上與Git相似，但它是專門為數(shù)據(jù)而設(shè)計的。

什么是數(shù)據(jù)流客戶端？

DagsHub的開源流媒體客戶端被稱為直接數(shù)據(jù)訪問（DDA：Direct Data Access）。本質(zhì)上，DDA允許從任何DagsHub存儲庫流入/流出數(shù)據(jù)。換句話說，我們的Python代碼將表現(xiàn)為所有文件都存在于本地；但實際上，客戶端將根據(jù)請求動態(tài)下載它們。此外，我們還可以將數(shù)據(jù)上傳到DagsHub上托管的任何項目。但最重要的是，使用流媒體客戶端不需要對代碼庫進行大量更改。一行或兩行額外的代碼通常足以充分享受新客戶機的好處。

簡而言之，DDA提供以下功能：

• 能夠從任何DagsHub存儲庫批量傳輸數(shù)據(jù)
• 將新數(shù)據(jù)附加到現(xiàn)有數(shù)據(jù)集而不首先拉動整個數(shù)據(jù)集
• 智能緩存：文件在流式傳輸后仍然可用
• 節(jié)省時間、資源和內(nèi)存

在對新客戶端進行了高層次的概括了解之后，讓我們更深入地了解一下它的實際工作方式。從幕后實現(xiàn)技術(shù)來分析，DDA中存在兩個主要的實現(xiàn)技術(shù)。

第一個實現(xiàn)是使用了Python鉤子機制，從而能夠檢測對Python內(nèi)置文件操作（如打開、寫入等）的任何調(diào)用，并修改它們，以便在本地找不到文件時從DagsHub存儲庫檢索文件。這種方法的最大優(yōu)點是大多數(shù)流行的Python庫都會自動使用這種方法。

雖然這聽起來很好，但我們應(yīng)該意識到這種方法中存在的一些局限性：

• 該方法不適用于依賴C/C++編寫的I/O例程的框架，例如OpenCV。
• 某些DVC命令（如dvc repro和dvc run）在deps中運行DCV跟蹤文件的階段將不起作用。

第二個實現(xiàn)稱為掛載的文件系統(tǒng)（Mounted Filesystem），它基于FUSE（USErspace中的文件系統(tǒng)：??https://en.wikipedia.org/wiki/Filesystem_in_Userspace?ref=hackernoon.com??）。在底層實現(xiàn)上，客戶端創(chuàng)建了一個反映DagsHub存儲庫的虛擬安裝文件系統(tǒng)。該文件系統(tǒng)的行為類似于本地文件系統(tǒng)的一部分，例如我們可以看到目錄中的所有文件，并且可以查看它們。

現(xiàn)在的迫切問題是：該使用哪種實現(xiàn)方案呢？DagsHub的數(shù)據(jù)流客戶端有關(guān)文檔建議，如果您在Windows或Mac上工作，并且沒有任何依賴C的框架/庫，那么建議您使用Python鉤子方法；否則，請使用掛載的文件系統(tǒng)。請參閱??文檔??來全面比較這兩種方法各自的優(yōu)劣。

流媒體客戶端使用場景

我們已經(jīng)知道流媒體客戶端是什么以及它是如何工作的。現(xiàn)在，讓我們介紹一下流媒體客戶端的一些具體使用場景，從而展示我們該如何在工作流程中使用它。

首先，我們可以通過使用流媒體客戶端來減少開始訓(xùn)練所需的時間。假設(shè)我們正在處理一個圖像分類問題；那么，借助于流式客戶端，我們不必在實際開始訓(xùn)練模型之前下載整個數(shù)據(jù)集，因為Python會“假裝”文件已經(jīng)可用，并立即開始訓(xùn)練模型。數(shù)據(jù)加載器經(jīng)常被優(yōu)化，從而實現(xiàn)在當(dāng)前批次正在用于訓(xùn)練時提前加載下一個批次。在后臺，流媒體客戶端只需按要求批量下載圖像進行訓(xùn)練，并將其緩存以供以后使用。通過這種方法，我們可以節(jié)省大量時間和資源。后者可以通過例如虛擬機的運行時來進行衡量。

其次，我們只能在整個數(shù)據(jù)集的子集上訓(xùn)練模型。想象一下，擁有一個包含數(shù)千個類的圖像的數(shù)據(jù)集，但對于您的特定實驗，您只需要使用幾個選定類別進行訓(xùn)練。借助于流式客戶端，Python代碼將僅加載實際請求的數(shù)據(jù)來實現(xiàn)訓(xùn)練任務(wù)。

最后，我們還可以使用流媒體客戶端將數(shù)據(jù)上傳到DVC版本的存儲庫。在一個特別令人沮喪的應(yīng)用場景中，我們的數(shù)據(jù)集中可能存在數(shù)以萬計的圖像，我們希望再添加10張我們收集的圖像。通常，我們必須提取所有數(shù)據(jù)，添加新圖像，并再次對整個修改后的數(shù)據(jù)集進行版本調(diào)整。這種情況下，借助于DDA（直接數(shù)據(jù)訪問），我們可以直接添加10個新圖像，而無需下載整個數(shù)據(jù)集。

一個實際的例子

我希望上面提到的場景能讓您對使用流媒體客戶端感到興奮！為了使用流媒體客戶端的優(yōu)勢，我們需要將我們的項目存儲在DagsHub上，并使用DVC對數(shù)據(jù)進行版本化。

本教程的目標(biāo)是展示如何快速地使用流媒體客戶端啟動和運行項目。這就是為什么我們復(fù)制（Fork）了一個已經(jīng)存在的項目，我們將展示如何在云端快速啟動神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。為此，我們將使用GoogleColab云平臺，當(dāng)然您也可以使用類似于AWS等其他的云平臺。

我們復(fù)制的項目是CheXNet的TensorFlow實現(xiàn)，它是一個121層的CNN（卷積神經(jīng)網(wǎng)絡(luò)），用于從胸部X光片檢測肺炎。最初的實現(xiàn)是在ChestX-ray14數(shù)據(jù)集（可在Kaggle上獲得：??https://www.kaggle.com/datasets/paultimothymooney/chest-xray-pneumonia?ref=hackernoon.com??）上訓(xùn)練的，該數(shù)據(jù)集是目前最大的公開可用的胸部X射線數(shù)據(jù)集，擁有超過100000張圖像。該數(shù)據(jù)集超過45GB，分為14個不同的目錄，每個目錄專門針對不同的疾病。為了減少這個實驗的訓(xùn)練時間，我們使用了數(shù)據(jù)集的二次采樣版本，它只有1GB。

在開始之前，值得一提的是，使用DDA并不總是有益的。在開始這個項目之前，我試著在??我的超級馬里奧游戲??分類器中使用DDA。就在此游戲?qū)?yīng)的場景中，我遇到了一個邊緣情況，在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中通過單個批次比按需下載批次更快。這使得第一個時期的訓(xùn)練比預(yù)先下載整個數(shù)據(jù)集然后正常運行訓(xùn)練步驟要長得多。因此，用于訓(xùn)練的圖像必須足夠大（就其分辨率/大小而言），以便單個批次的訓(xùn)練步驟比下載下一個批次的時間更長。

如果您接下來繼續(xù)閱讀本文的話，建議您下載并使用我在Google Colab中使用的??筆記本文件??。

設(shè)置項目

為了方便試驗，我將項目復(fù)制到我自己的帳戶下，以便使用MLflow的實驗跟蹤等功能。您也可以直接克隆代碼倉庫來訓(xùn)練模型，而無需創(chuàng)建另外的復(fù)制。

打開筆記本項目后，我們需要使用如下命令安裝一些依賴庫：

!pip install dagshub omegaconf mlflow

接下來，我們導(dǎo)入所需的庫：

import datetime
import os
from IPython.display import display, Image

這些導(dǎo)入列表相當(dāng)簡短，因為大多數(shù)庫（例如，用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的Keras框架）都已經(jīng)加載在各個腳本中了。然后，我們定義一些包含值的常量，例如存儲庫的所有者、要克隆的存儲庫的名稱以及要使用的分支等。

# 要使用的存儲庫
REPO_OWNER= "eryk.lewinson"
REPO_NAME= "CheXNet"
REPO_BRANCH= "streaming"

定義了所需的常量后，我們可以使用方便的init功能來初始化DagsHub存儲庫。然后，我們可以輕松地使用MLFlow記錄實驗，獲取訪問令牌等。我們運行以下代碼段以便在Colab中設(shè)置項目：

import dagshub
dagshub.init(repo_name=REPO_NAME, repo_owner=REPO_OWNER)

運行該段代碼后，將提示我們在瀏覽器中進行身份驗證。然后，我們可以使用git clone命令克隆存儲庫：

!git clone https://{USER_NAME}:{dagshub.auth.get_token()}@dagshub.com/{REPO_OWNER}/{REPO_NAME}.git

下一步，我們將目錄更改為CheXNet目錄：

%cd /content/{REPO_NAME}

然后，我們將分支更改為包含可與流式客戶端一起使用的代碼庫的分支：

!git checkout {REPO_BRANCH}

正如我們之前提到的，主分支使用完整的45GB數(shù)據(jù)集，而流分支在子采樣數(shù)據(jù)集上訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

至此，我們已經(jīng)完成了設(shè)置，并準(zhǔn)備好使用流媒體客戶端。

檢查數(shù)據(jù)集

首先，讓我們來看看我們的數(shù)據(jù)集?？寺〈a庫后，我們可以看到數(shù)據(jù)是用DVC進行版本控制的，因為我們可以看到相應(yīng)的跟蹤文件。然而，我們實際上無法從Colab檢查它。至少現(xiàn)在還沒有：

我們的示例項目的目錄結(jié)構(gòu)

接下來，讓我們使用流媒體客戶端來完成任務(wù)。在本教程中，我們使用DDA的Python鉤子技術(shù)來實現(xiàn)。因此，我們需要運行以下兩行代碼：

from dagshub.streaming import install_hooks
install_hooks()

此時，我們可以使用代碼檢查圖像，即使文件夾在目錄樹中不可見。由于我們知道包含圖像的目錄的結(jié)構(gòu)；所以，我們可以使用具有相對路徑的以下代碼段來打印請求目錄中的所有圖像：

os.listdir("data_labeling/data/images_001/images")

如您所見，這是常規(guī)的Python代碼，流式客戶端在后臺為我們處理一切。執(zhí)行代碼段將打印以下列表：

['00000417_005.png',
'00000583_047.png',
'00000683_002.png',
'00000796_001.png',
'00001088_024.png',
'00000013_006.png',
'00000547_009.png',
'00000640_000.png',
'00000732_004.png',
…]

我們還可以使用以下代碼段顯示圖像：

display(Image(filename="data_labeling/data/images_001/images/00000417_005.png"))

胸部X射線數(shù)據(jù)集的示例圖像

正如我們之前提到的，流媒體客戶端根據(jù)請求下載數(shù)據(jù)并緩存數(shù)據(jù)以供以后使用。因此，我們顯示的圖像實際上是下載的，我們可以在目錄樹中看到它：

下載第一張圖像后的目錄

現(xiàn)在，我們可以采取下一步行動：開始訓(xùn)練神經(jīng)網(wǎng)絡(luò)了！

訓(xùn)練神經(jīng)網(wǎng)絡(luò)

正如我們已經(jīng)提到的，我們不必花費時間修改用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的代碼。我們只需要將已經(jīng)熟悉的兩行代碼添加到train.py腳本中。你可能會問：當(dāng)我們之前已經(jīng)執(zhí)行過那一部分代碼，為什么還要再次執(zhí)行？這是因為當(dāng)我們從Colab調(diào)用腳本時，腳本在單獨的Python上下文中運行。因此，流設(shè)置不再應(yīng)用于那一部分代碼了。

為了使代碼庫更加通用，我們可以將以下條件語句與install_hooks設(shè)置結(jié)合使用：

if "STREAM" in sys.argv:
    from dagshub.streaming.filesystem import install_hooks
    install_hooks()

sys.argv本質(zhì)上是一個包含命令行參數(shù)的數(shù)組，即調(diào)用腳本時傳遞的值。為了說明問題，我們可以使用以下代碼段運行訓(xùn)練腳本：

%run modeling/src/train.py STREAM

如果想在不使用流客戶端的情況下運行腳本，我們只需刪除STREAM參數(shù)。

一旦運行該命令，我們將看到目錄樹將開始填充為特定批處理請求的圖像。就這樣！通過只添加兩行代碼，我們可以利用流媒體客戶端開始按需下載版本化的數(shù)據(jù)。

此外，您可能希望使用MLflow跟蹤您的實驗。你要使用DagsHub的設(shè)置來執(zhí)行此操作，而且還需要修改src/const.yaml文件中的MLFLOW_TRACKING_URL常量。

總結(jié)

在本文中，我們演示了如何使用DagsHub的流媒體客戶端按需下載數(shù)據(jù)集。這樣一來，我們幾乎可以立即開始訓(xùn)練我們的模型，而無需首先將所有版本化的數(shù)據(jù)拉到我們的機器上，無論是在本地還是在云端。正如您所看到的，流媒體客戶端確實適合應(yīng)用于計算機視覺等領(lǐng)域的任務(wù)，但是它也可以在解決其他問題時派上用場。

你可以在鏈接??https://github.com/erykml/medium_articles/blob/master/Misc/dda_streaming_client.ipynb?ref=hackernoon.com處???找到本文中使用的筆記本文件。該項目的代碼庫可下載的地址是??https://dagshub.com/eryk.lewinson/CheXNet?ref=hackernoon.com??。

譯者介紹

朱先忠，51CTO社區(qū)編輯，51CTO專家博客、講師，濰坊一所高校計算機教師，自由編程界老兵一枚。

原文標(biāo)題：??Optimize Model Training with a Data Streaming Client??，作者：Eryk Lewinson