ML Ops：數(shù)據(jù)質(zhì)量是關鍵
ML Ops 是 AI 領域中一個相對較新的概念，可解釋為「機器學習操作」。如何更好地管理數(shù)據(jù)科學家和操作人員，以便有效地開發(fā)、部署和監(jiān)視模型?其中數(shù)據(jù)質(zhì)量至關重要。
本文將介紹 ML Ops，并強調(diào)數(shù)據(jù)質(zhì)量在 ML Ops 工作流中的關鍵作用。
ML Ops 的發(fā)展彌補了機器學習與傳統(tǒng)軟件工程之間的差距，而數(shù)據(jù)質(zhì)量是 ML Ops 工作流的關鍵，可以加速數(shù)據(jù)團隊，并維護對數(shù)據(jù)的信任。
什么是 ML Ops
ML Ops 這個術語從 DevOps 演變而來。
DevOps 是一組過程、方法與系統(tǒng)的統(tǒng)稱，用于促進開發(fā)(應用程序 / 軟件工程)、技術運營和質(zhì)量保障(QA)部門之間的溝通、協(xié)作與整合。DevOps 旨在重視軟件開發(fā)人員(Dev)和 IT 運維技術人員(Ops)之間溝通合作的文化、運動或慣例。透過自動化軟件交付和架構(gòu)變更的流程，來使得構(gòu)建、測試、發(fā)布軟件能夠更加地快捷、頻繁和可靠。
而 MLOps 基于可提高工作流效率的 DevOps 原理和做法，例如持續(xù)集成、持續(xù)交付和持續(xù)部署。ML Ops 將這些原理應用到機器學習過程，其目標是：
- 更快地試驗和開發(fā)模型
- 更快地將模型部署到生產(chǎn)環(huán)境
- 質(zhì)量保證
DevOps 的常用示例是使用多種工具對代碼進行版本控制，如 git、代碼審查、持續(xù)集成(CI，即頻繁地將代碼合并到共享主線中)、自動測試和持續(xù)部署(CD，即自動將代碼合并到生產(chǎn)環(huán)境)。
在應用于機器學習時，ML Ops 旨在確保模型輸出質(zhì)量的同時，加快機器學習模型的開發(fā)和生產(chǎn)部署。但是，與軟件開發(fā)不同，ML 需要處理代碼和數(shù)據(jù)：
- 機器學習始于數(shù)據(jù)，而數(shù)據(jù)來源不同，需要用代碼對不同來源數(shù)據(jù)進行清洗、轉(zhuǎn)換和存儲。
- 然后，將處理好的數(shù)據(jù)提供給數(shù)據(jù)科學家，數(shù)據(jù)科學家進行代碼編寫，完成特征工程、開發(fā)、訓練和測試機器學習模型，最終將這些模型部署到生產(chǎn)環(huán)境中。
- 在生產(chǎn)中，ML 模型是以代碼的形式存在的，輸入數(shù)據(jù)同樣可以從各種來源獲取，并創(chuàng)建用于輸入產(chǎn)品和業(yè)務流程的輸出數(shù)據(jù)。
雖然上文的描述對該過程進行了簡化，但是仍然可以看出代碼和數(shù)據(jù)在 ML 環(huán)境中是緊密耦合的，而 ML Ops 需要兼顧兩者。
具體來說，這意味著 ML Ops 包含以下任務：
- 對用于數(shù)據(jù)轉(zhuǎn)換和模型定義的代碼進行版本控制;
- 在投入生產(chǎn)之前，對所獲取的數(shù)據(jù)和模型代碼進行自動測試;
- 在穩(wěn)定且可擴展的環(huán)境中將模型部署到生產(chǎn)中;
- 監(jiān)控模型性能和輸出。
數(shù)據(jù)測試和文檔記錄如何適配 ML Ops?
ML Ops 旨在加速機器學習模型的開發(fā)和生產(chǎn)部署，同時確保模型輸出的質(zhì)量。當然，對于數(shù)據(jù)質(zhì)量人員來說，要實現(xiàn) ML 工作流中各個階段的加速和質(zhì)量，數(shù)據(jù)測試和文檔記錄是非常重要的：
- 在利益相關者方面，質(zhì)量差的數(shù)據(jù)會影響他們對系統(tǒng)的信任，從而對基于該系統(tǒng)做出決策產(chǎn)生負面影響。甚至更糟的是，未引起注意的數(shù)據(jù)質(zhì)量問題可能導致錯誤的結(jié)論，并糾正這些問題又會浪費很多時間。
- 在工程方面，急于修復下游消費者注意到的數(shù)據(jù)質(zhì)量問題，是消耗團隊時間并緩慢侵蝕團隊生產(chǎn)力和士氣的頭號問題之一。
- 此外，數(shù)據(jù)文檔記錄對于所有利益相關者進行數(shù)據(jù)交流、建立數(shù)據(jù)合同至關重要。
下文將從非常抽象的角度介紹 ML pipeline 中的各個階段，并討論數(shù)據(jù)測試和文檔記錄如何適應每個階段。
1. 數(shù)據(jù)獲取階段
即使是在數(shù)據(jù)集處理的早期階段，從長遠來看，對數(shù)據(jù)進行質(zhì)量檢查和文檔記錄可以極大地加速操作。對于工程師來說，可靠的數(shù)據(jù)測試非常重要，可以使他們安全地對數(shù)據(jù)獲取 pipeline 進行更改，而不會造成不必要的問題。同時，當從內(nèi)部和外部上游來源獲取數(shù)據(jù)時，為了確保數(shù)據(jù)出現(xiàn)未預料的更改，在獲取階段進行數(shù)據(jù)驗證是非常重要的。
2. 模型開發(fā)
本文將特征工程、模型訓練和模型測試作為核心模型開發(fā)流程的一部分。在這個不斷迭代的過程中，圍繞數(shù)據(jù)轉(zhuǎn)換代碼和支持數(shù)據(jù)科學家的模型輸出提供支持，因此在一個地方進行更改不會破壞其他地方的內(nèi)容。
在傳統(tǒng)的 DevOps 中，通過 CI/CD 工作流進行持續(xù)的測試，可以快速地找出因代碼修改而引入的任何問題。更進一步，大多數(shù)軟件工程團隊要求開發(fā)人員不僅要使用現(xiàn)有的測試來測試代碼，還要在創(chuàng)建新功能時添加新的測試。同樣，運行測試以及編寫新的測試應該是 ML 模型開發(fā)過程的一部分。
3. 在生產(chǎn)中運行模型
與所有 ML Ops 一樣，在生產(chǎn)環(huán)境中運行的模型依賴于代碼和輸入數(shù)據(jù)，來產(chǎn)生可靠的結(jié)果。與數(shù)據(jù)獲取階段類似，我們需要保護數(shù)據(jù)輸入，以避免由于代碼更改或?qū)嶋H數(shù)據(jù)更改而引起的不必要問題。同時，我們還應該圍繞模型輸出進行一些測試，以確保模型繼續(xù)滿足我們的期望。
尤其是在具有黑盒 ML 模型的環(huán)境中，建立和維護質(zhì)量標準對于模型輸出至關重要。同樣地，在共享區(qū)域記錄模型的預期輸出可以幫助數(shù)據(jù)團隊和利益相關者定義和傳達「數(shù)據(jù)合同」，從而增加 ML pipeline 的透明度和信任度。
原文鏈接：https://greatexpectations.io/blog/ml-ops-data-quality/
【本文是51CTO專欄機構(gòu)“機器之心”的原創(chuàng)譯文，微信公眾號“機器之心( id: almosthuman2014)”】
