MLOps 和 LLMOps 都是管理機(jī)器學(xué)習(xí)系統(tǒng)的方法。MLOps 致力于解決機(jī)器學(xué)習(xí)生命周期的生產(chǎn)問題，促進(jìn)數(shù)據(jù)科學(xué)家和運(yùn)營(yíng)專家之間的合作，提高機(jī)器學(xué)習(xí)系統(tǒng)的效率和質(zhì)量。LLMOps 通過結(jié)合“終身”學(xué)習(xí)擴(kuò)展了 MLOps，使機(jī)器學(xué)習(xí)模型能夠隨著時(shí)間的推移不斷地從新數(shù)據(jù)中學(xué)習(xí)和改進(jìn)，從而使數(shù)據(jù)快速變化的應(yīng)用程序受益。

1. MLOps

在機(jī)器學(xué)習(xí)領(lǐng)域，建立和部署模型僅僅是個(gè)開始。為了確保模型隨著時(shí)間的推移保持準(zhǔn)確、可靠和相關(guān)性，采用全面的 MLOps (機(jī)器學(xué)習(xí)操作)方法是至關(guān)重要的。MLOps 生命周期包括一系列階段，這些階段控制著整個(gè)過程，從數(shù)據(jù)收集到模監(jiān)視和再訓(xùn)練。

1.1 數(shù)據(jù)采集

數(shù)據(jù)是任何機(jī)器學(xué)習(xí)項(xiàng)目的基石。數(shù)據(jù)的質(zhì)量和數(shù)量極大地影響了 ML 模型的性能。數(shù)據(jù)收集階段包括從各種來源收集相關(guān)數(shù)據(jù)，這些來源可能包括數(shù)據(jù)庫(kù)、 API、網(wǎng)頁(yè)抓取等等。

主要活動(dòng)包括從不同來源收集原始數(shù)據(jù)，將數(shù)據(jù)加載到存儲(chǔ)系統(tǒng)中，在那里可以訪問和處理數(shù)據(jù)，并為為監(jiān)督式學(xué)習(xí)任務(wù)標(biāo)記數(shù)據(jù)。

在數(shù)據(jù)采集中，我們需要確保數(shù)據(jù)質(zhì)量，驗(yàn)證數(shù)據(jù)的準(zhǔn)確性、完整性和一致性。使用流水線自動(dòng)化數(shù)據(jù)攝取并盡量減少手動(dòng)錯(cuò)誤，并且遵守隱私條例，確保數(shù)據(jù)收集符合法律標(biāo)準(zhǔn)。

1.2 數(shù)據(jù)處理

一旦數(shù)據(jù)被收集，它必須被清理和處理，以便對(duì)訓(xùn)練模型有用。數(shù)據(jù)處理包括將原始數(shù)據(jù)轉(zhuǎn)換為適合于分析的格式。

數(shù)據(jù)處理的主要活動(dòng)包括數(shù)據(jù)清理，即刪除重復(fù)數(shù)據(jù)，處理丟失的值，并糾正錯(cuò)誤；規(guī)范化、縮放和編碼數(shù)據(jù)，創(chuàng)建可以提高模型性能的新特性。

一般地，我們使用腳本來處理日常數(shù)據(jù)清理任務(wù)，維護(hù)數(shù)據(jù)譜系并跟蹤數(shù)據(jù)轉(zhuǎn)換以確保可重復(fù)性，利用分布式處理框架(如 ApacheSpark)處理大型數(shù)據(jù)集。

1.3 模型訓(xùn)練

在這個(gè)階段，數(shù)據(jù)科學(xué)家使用處理過的數(shù)據(jù)來訓(xùn)練機(jī)器學(xué)習(xí)模型。這涉及到選擇適當(dāng)?shù)乃惴?、調(diào)優(yōu)超參數(shù)和評(píng)估模型性能。

模型訓(xùn)練的主要活動(dòng)包括模型選擇，即根據(jù)問題類型和數(shù)據(jù)特征選擇正確的算法，優(yōu)化超參數(shù)以提高模型性能，使用準(zhǔn)確度、精確度、召回率和 F1評(píng)分等指標(biāo)來評(píng)估模型的性能。

一般地，我們要對(duì)模型進(jìn)行版本控制，跟蹤不同版本的模型及其參數(shù)，利用 AutoML 工具簡(jiǎn)化模型選擇和超參數(shù)調(diào)整，使用像 k重采樣交叉驗(yàn)證這樣的技術(shù)來確保穩(wěn)健的模型評(píng)估。

1.4 模型部署

模型經(jīng)過訓(xùn)練和評(píng)估后，需要將其部署到生產(chǎn)環(huán)境中，以便對(duì)新數(shù)據(jù)進(jìn)行預(yù)測(cè)。部署可以確保最終用戶或其他系統(tǒng)可以訪問模型。

模型部署的主要活動(dòng)包括以易于部署的格式包裝模型，創(chuàng)建用于模型預(yù)測(cè)的 API，使用 Docker 或 Kubernetes 管理模型的大規(guī)模部署。

一般地，我們采用持續(xù)集成/持續(xù)部署方式，使部署過程自動(dòng)化，以確保一致和可靠的更新。實(shí)現(xiàn)檢測(cè)數(shù)據(jù)或概念漂移的機(jī)制，這些數(shù)據(jù)或概念漂移可能隨著時(shí)間的推移而降低模型性能。同時(shí)，確保 API 和數(shù)據(jù)的安全，以防止未經(jīng)授權(quán)的訪問和攻擊。

1.5 模型監(jiān)控

模型監(jiān)視對(duì)于確保已部署的模型在生產(chǎn)環(huán)境中繼續(xù)良好運(yùn)行至關(guān)重要。這個(gè)階段包括跟蹤模型性能和檢測(cè)數(shù)據(jù)漂移、模型漂移和異常等問題。

模型監(jiān)控的主要活動(dòng)包括使用相關(guān)度量持續(xù)測(cè)量模型性能，別可能影響模型預(yù)測(cè)的輸入數(shù)據(jù)分布的變化，設(shè)置性能降低警報(bào)和調(diào)試日志事件。

一般第，我們實(shí)施實(shí)時(shí)監(jiān)控，以便在問題發(fā)生時(shí)及時(shí)捕捉。同時(shí)，創(chuàng)建反饋回路，用新數(shù)據(jù)重新訓(xùn)練模型。另外，使用可伸縮工具，如 Prometheus 和 Grafana 進(jìn)行大規(guī)模監(jiān)控。

1.6 反饋和迭代

從監(jiān)測(cè)中獲得的見解反饋到初始階段。如果模型的性能惡化，數(shù)據(jù)科學(xué)家可以用新的數(shù)據(jù)重新訓(xùn)練模型或者探索新的算法。這種連續(xù)的反饋回路確保模型保持相關(guān)性并提供最佳結(jié)果。

通過建立一個(gè)結(jié)構(gòu)化的 MLOps 生命周期，組織可以享受到以下好處:

• 更快產(chǎn)生價(jià)值: 自動(dòng)化流程和簡(jiǎn)化模型部署導(dǎo)致更快的機(jī)器學(xué)習(xí)解決方案的交付。
• 改進(jìn)的模型性能: 持續(xù)的監(jiān)控和反饋循環(huán)確保模型保持準(zhǔn)確和有效。
• 增強(qiáng)協(xié)作: MLOps 促進(jìn)了數(shù)據(jù)科學(xué)家、工程師和操作團(tuán)隊(duì)之間的協(xié)作。
  可伸縮性和治理: MLOps 實(shí)踐使健壯的模型管理成為可能，并有助于擴(kuò)展機(jī)器學(xué)習(xí)部署。

MLOps 是現(xiàn)代機(jī)器學(xué)習(xí)項(xiàng)目的基本實(shí)踐，確保模型不僅能夠高精度地開發(fā)，而且能夠在生產(chǎn)環(huán)境中有效地部署和維護(hù)。通過遵循從數(shù)據(jù)收集到模型監(jiān)控的 MLOps 生命周期，組織可以實(shí)現(xiàn)可靠、可擴(kuò)展和高效的機(jī)器學(xué)習(xí)系統(tǒng)，從而推動(dòng)業(yè)務(wù)價(jià)值。采用 MLOps 最佳實(shí)踐將有助于數(shù)據(jù)科學(xué)家和工程師更加協(xié)作地工作，簡(jiǎn)化工作流程，并最終提供更加健壯和有效的機(jī)器學(xué)習(xí)解決方案。

2.從MLOps 到LLMOps

從機(jī)器學(xué)習(xí)運(yùn)營(yíng)(MLOps)的基本原理過渡到大型語(yǔ)言模型運(yùn)營(yíng)(LLMOps)的專門領(lǐng)域，標(biāo)志著人工智能領(lǐng)域的重大進(jìn)展。

MLOps 已經(jīng)建立了一個(gè)健壯的框架，用于在生產(chǎn)環(huán)境中部署、監(jiān)視和管理機(jī)器學(xué)習(xí)模型。它強(qiáng)調(diào)自動(dòng)化、可重復(fù)性和可擴(kuò)展性，確保機(jī)器學(xué)習(xí)模型不僅得到開發(fā)，而且隨著時(shí)間的推移得到有效的維護(hù)。

LLMOps 以這些原則為基礎(chǔ)，深入研究大型語(yǔ)言模型特有的復(fù)雜性。其中包括管理訓(xùn)練所需的大量數(shù)據(jù)集，優(yōu)化模型訓(xùn)練和推理的計(jì)算資源，以及鑒于 大模型對(duì)信息傳播和交流的深遠(yuǎn)影響，確保合規(guī)地使用到模型 。

二者之間的主要區(qū)別如下：

• 規(guī)模和復(fù)雜性: 與典型的機(jī)器學(xué)習(xí)模型相比，機(jī)器學(xué)習(xí)模型需要更多的數(shù)據(jù)和計(jì)算能力。LLMOps 通過利用基于云的解決方案、分布式計(jì)算和專門的硬件加速器來滿足這些需求。

圖片

• 模型微調(diào)和版本控制: 考慮到預(yù)訓(xùn)練大模型的一般特性，針對(duì)特定任務(wù)或領(lǐng)域?qū)λ鼈冞M(jìn)行微調(diào)是一種常見的做法。LLMOps 致力于簡(jiǎn)化這個(gè)過程，結(jié)合有效的數(shù)據(jù)注釋、模型版本控制和跟蹤實(shí)驗(yàn)的工具來迭代地完善模型。
• 倫理考慮和減少偏見: 語(yǔ)言和交流的普遍影響，放大了倫理考慮的重要性。LLMOps 整合了用于監(jiān)測(cè)模型輸出的偏倚和毒性的實(shí)踐，確保負(fù)責(zé)任的使用。
• 高級(jí)工具和技術(shù)的作用: 向 LLMOps 的過渡是由一套高級(jí)工具和技術(shù)促進(jìn)的，這些工具和技術(shù)旨在應(yīng)對(duì)大模型的獨(dú)特挑戰(zhàn)。例如，像 Google Cloud 的 Vertex AI 這樣的工具為管理大模型應(yīng)用的整個(gè)生命周期提供了一個(gè)集成的平臺(tái)，從數(shù)據(jù)處理和模型訓(xùn)練到部署和監(jiān)控。

3.LLMOps

在迅速發(fā)展的人工智能領(lǐng)域，大模型應(yīng)用已經(jīng)成為創(chuàng)新的基石，這要?dú)w功于大模型無與倫比的理解、解釋和生成人類語(yǔ)言的能力。然而，部署和管理這些復(fù)雜的模型充滿了復(fù)雜性，包括需要大量的計(jì)算資源，管理大量的數(shù)據(jù)集，并遵守道德標(biāo)準(zhǔn)。

解決這些挑戰(zhàn)需要一種稱為L(zhǎng)LMOps的方法。該規(guī)程是機(jī)器學(xué)習(xí)操作(MLOps)的一個(gè)關(guān)鍵子集，重點(diǎn)關(guān)注從開發(fā)到部署和持續(xù)管理的 LLM 生命周期的流線化和自動(dòng)化。

下圖是 LLMOps 流水線的簡(jiǎn)化表示，它隨用例的變化而變化。

• 數(shù)據(jù)準(zhǔn)備和版本控制: 這是流水線中的第一步，其中收集、清理、處理數(shù)據(jù)，并將其轉(zhuǎn)換為用于訓(xùn)練模型的合適格式。在這里，版本控制對(duì)于跟蹤不同的數(shù)據(jù)集和隨時(shí)間變化的情況至關(guān)重要，可以確保模型訓(xùn)練中的可重復(fù)性和可靠性。
• 流水線設(shè)計(jì)(監(jiān)督調(diào)整) : 一旦數(shù)據(jù)準(zhǔn)備就緒，下一步是設(shè)計(jì)流水線，包括建立監(jiān)督調(diào)整大模型的過程。這包括決定模型將如何從準(zhǔn)備好的數(shù)據(jù)中學(xué)習(xí)，決定使用哪種機(jī)器學(xué)習(xí)算法，以及如何構(gòu)造訓(xùn)練過程以優(yōu)化模型的性能。
• 工件配置和工作流: 在這個(gè)階段，建立了流水線的配置細(xì)節(jié)和工作流。這包括建立必要的計(jì)算資源，定義操作序列，以及為成功的模型訓(xùn)練和部署指定標(biāo)準(zhǔn)。
• 流水線執(zhí)行: 這是將設(shè)計(jì)的流水線付諸實(shí)施的地方。模型使用準(zhǔn)備好的數(shù)據(jù)完成訓(xùn)練過程，系統(tǒng)自動(dòng)執(zhí)行預(yù)定義的工作流。這種自動(dòng)執(zhí)行確保了模型得到一致和有效的訓(xùn)練。
• 部署大模型: 在對(duì)模型進(jìn)行訓(xùn)練和評(píng)估之后，將其部署到生產(chǎn)環(huán)境中。這可能意味著將模型集成到應(yīng)用程序中，將其設(shè)置為響應(yīng) API 調(diào)用，或者將其提供給最終用戶。
• 提示和預(yù)測(cè): 隨著 LLM 的部署，現(xiàn)在可以提示它生成預(yù)測(cè)。這包括向模型提供輸入(提示)和接收輸出(預(yù)測(cè)) ，輸出基于從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)的模式。
• 有責(zé)任的人工智能: 最后一步是對(duì)已部署的 LLM 進(jìn)行持續(xù)監(jiān)測(cè)和管理，以確保其在道德準(zhǔn)則范圍內(nèi)運(yùn)作。這包括檢查模型預(yù)測(cè)的偏差、公平性和整體社會(huì)影響，確保它符合負(fù)責(zé)任的人工智能原則。

每個(gè)步驟都是相互關(guān)聯(lián)的，形成了一個(gè)內(nèi)聚的流水線，確保 LLM 得到有效和負(fù)責(zé)任的開發(fā)、部署和管理。

3.1 數(shù)據(jù)準(zhǔn)備和版本控制

在部署大模型的過程中，最初也許是最關(guān)鍵的一步是準(zhǔn)備數(shù)據(jù)。這個(gè)基礎(chǔ)階段為模型的后續(xù)表現(xiàn)及其準(zhǔn)確解釋和生成人類語(yǔ)言的能力奠定了基礎(chǔ)。此外，精煉數(shù)據(jù)和模型體系結(jié)構(gòu)的迭代過程才是真正使這些模型能夠隨著時(shí)間的推移實(shí)現(xiàn)和維護(hù)其顯著能力的原因。

數(shù)據(jù)準(zhǔn)備是一個(gè)多方面的過程，包括收集、清洗、預(yù)處理和將原始數(shù)據(jù)轉(zhuǎn)換成適合訓(xùn)練 LLM 的結(jié)構(gòu)化格式。這一過程至關(guān)重要，原因如下:

• 質(zhì)量和相關(guān)性: 確保數(shù)據(jù)的質(zhì)量和相關(guān)性至關(guān)重要。高質(zhì)量的數(shù)據(jù)導(dǎo)致更有效的訓(xùn)練，允許 LLM 生成更準(zhǔn)確的、與上下文相關(guān)的輸出。例如，請(qǐng)考慮為用于匯總電子郵件的 LLM 準(zhǔn)備數(shù)據(jù)集的過程。數(shù)據(jù)必須被仔細(xì)地清理和格式化，確保不相關(guān)的信息，如電子郵件標(biāo)題或簽名，被排除在訓(xùn)練集之外。

如果數(shù)據(jù)已經(jīng)在數(shù)據(jù)倉(cāng)庫(kù)中，像 Google Vertex AI 這樣的平臺(tái)提供了創(chuàng)建數(shù)據(jù)集的必要工具，包括處理 sql 查詢。在處理(大型)數(shù)據(jù)時(shí)，需要進(jìn)行查詢優(yōu)化，以節(jié)省時(shí)間和資源并創(chuàng)建必要的過濾器。LLM 的指令已經(jīng)被證明可以改進(jìn)模型性能和對(duì)未知任務(wù)的泛化。

將數(shù)據(jù)分成訓(xùn)練集和評(píng)估集兩部分。默認(rèn)情況下，使用80/20分割。

訓(xùn)練和評(píng)估的文件格式：

• JSON 是一種簡(jiǎn)單的基于文本的格式，每個(gè)問題和答案都放在一行中。它是人類可讀的，是中小型數(shù)據(jù)集的理想選擇。
• TFRecord: 二進(jìn)制格式，易于計(jì)算機(jī)閱讀，是高效訓(xùn)練的理想選擇。
• Parquet:Parquet 是一個(gè)很好的選擇，為大型和復(fù)雜的數(shù)據(jù)集。

版本控制數(shù)據(jù)很重要。它允許機(jī)器學(xué)習(xí)模型的可重復(fù)性、可追溯性和可維護(hù)性。

• 減輕偏差: 仔細(xì)的數(shù)據(jù)準(zhǔn)備允許識(shí)別和減輕偏差，確保模型的輸出在不同的人口統(tǒng)計(jì)學(xué)和場(chǎng)景中是公平和無偏見的。
• 效率: 準(zhǔn)備適當(dāng)?shù)臄?shù)據(jù)可以顯著提高訓(xùn)練效率，減少所需的時(shí)間和計(jì)算資源。

3.2 LLMOps 中的自動(dòng)化、編排和流水線

大型語(yǔ)言模型(LLM)的部署和運(yùn)營(yíng)操作需要一個(gè)復(fù)雜的框架來處理它們的復(fù)雜性和規(guī)模。自動(dòng)化、編排和流水線構(gòu)成了這個(gè)框架的主干，簡(jiǎn)化了從數(shù)據(jù)準(zhǔn)備到 LLMOps 景觀中的模型部署和監(jiān)控的每一步。

圖片

3.2.1 LLMOps 中的自動(dòng)化應(yīng)用

LLMOps 中的自動(dòng)化是指利用技術(shù)以最少的人為干預(yù)來執(zhí)行任務(wù)，提高效率并減少出錯(cuò)的可能性。它包括廣泛的操作，包括數(shù)據(jù)預(yù)處理、模型訓(xùn)練和性能監(jiān)視。

自動(dòng)化的好處:

• 一致性和可靠性: 自動(dòng)化過程確保任務(wù)的統(tǒng)一執(zhí)行，減少可變性，提高模型輸出的可靠性。
• 可伸縮性: 自動(dòng)化允許伸縮操作來處理訓(xùn)練和微調(diào) LLM 所需的大量數(shù)據(jù)，以適應(yīng)模型的增長(zhǎng)，而不必成比例地增加時(shí)間或資源。
• 速度: 通過自動(dòng)化重復(fù)性任務(wù)，組織可以顯著加快 LLM 的開發(fā)和部署周期，從而實(shí)現(xiàn)更快的迭代和改進(jìn)。

3.2.2 編排 LLMOps 流水線

LLMOps 中的編排涉及到協(xié)調(diào)各種自動(dòng)化任務(wù)，以確保它們以精確、高效的方式執(zhí)行。它包括管理任務(wù)之間的依賴關(guān)系，處理資源分配，確保數(shù)據(jù)在模型生命周期的不同階段無縫流動(dòng)。

編排的關(guān)鍵因素包括：

• 工作流管理: 編排工具管理任務(wù)序列，確保在成功完成前面的任務(wù)時(shí)觸發(fā)每個(gè)步驟。 
• 資源優(yōu)化: 有效的編排包括在最需要的地方分配計(jì)算資源，優(yōu)化基礎(chǔ)設(shè)施的使用，以平衡性能和成本。 
• 錯(cuò)誤處理和恢復(fù): 協(xié)調(diào)器監(jiān)視故障流水線，根據(jù)需要自動(dòng)重試或重新路由任務(wù)，以維持工作流的連續(xù)性。

3.2.3實(shí)施 LLMOps 流水線

LLMOps 中的流水線是定義好的任務(wù)序列，可以自動(dòng)化部署 LLM 的端到端過程。這些流水線集成了自動(dòng)化和編制的各種組件，提供了管理模型開發(fā)、部署和監(jiān)視的結(jié)構(gòu)化方法。

LLMOps 流水線說明:

• 數(shù)據(jù)處理: 自動(dòng)腳本預(yù)處理和清理數(shù)據(jù)，為訓(xùn)練做準(zhǔn)備。
• 模型訓(xùn)練和評(píng)估: 模型在處理過的數(shù)據(jù)上自動(dòng)訓(xùn)練、評(píng)估和反復(fù)調(diào)整。
• 部署: 一旦模型滿足性能標(biāo)準(zhǔn)，就通過自動(dòng)化腳本將其部署到生產(chǎn)環(huán)境中。
• 監(jiān)測(cè)和維護(hù)：部署后，模型的性能將被持續(xù)監(jiān)控，并對(duì)異?；蛐阅芟陆蛋l(fā)出自動(dòng)警報(bào)。

流水線是編排的一組組件。構(gòu)建和實(shí)現(xiàn)流水線(例如: KubeFlow 流水線)，可以讓你定義執(zhí)行的順序以及數(shù)據(jù)如何從一個(gè)步驟流向另一個(gè)步驟。流水線被編譯成 yaml 文件，比如“ pipeline.yaml”。一旦創(chuàng)建了流水線文件，任何人都可以在任何類型的環(huán)境(云或本地)中執(zhí)行它。

3.3 部署大模型及應(yīng)用

部署大模型是 LLMOps 過程的重心，在這個(gè)過程中，模型已經(jīng)為實(shí)際應(yīng)用做好了準(zhǔn)備。部署策略的選擇必須考慮到模型的預(yù)期用途，無論它是需要實(shí)時(shí)交互還是能夠在定期的批量更新中起作用。

一般地， LLM 的部署策略包括：

• 批量部署: 在實(shí)時(shí)處理不重要的場(chǎng)景中，批量部署是一種可行的策略。在這里，數(shù)據(jù)，例如在一個(gè)設(shè)定的時(shí)期內(nèi)收集的客戶評(píng)論(例如，前一周) ，是大批量處理的。經(jīng)過訓(xùn)練的模型對(duì)這些累積的數(shù)據(jù)進(jìn)行預(yù)測(cè)，允許每隔一段時(shí)間進(jìn)行全面的分析和洞察。這種方法對(duì)于不需要立即響應(yīng)并且可以在非高峰時(shí)間安排以優(yōu)化資源利用的任務(wù)特別有用。
• 使用 REST API 的實(shí)時(shí)部署: 對(duì)于需要即時(shí)反饋的應(yīng)用程序，通過 REST API 部署 LLM 是理想的。該策略支持與最終用戶的實(shí)時(shí)交互，其中用戶界面通過一個(gè) REST API 與后端服務(wù)通信，該 API 將請(qǐng)求中繼到模型并立即返回響應(yīng)。這樣的設(shè)置對(duì)于像 ChatGPT 這樣的人工智能會(huì)話模型來說是典型的，用戶需要即時(shí)和交互式的通信。
• 提示和預(yù)測(cè): 生產(chǎn)數(shù)據(jù)與訓(xùn)練數(shù)據(jù)相同是非常重要的。數(shù)據(jù)的差異會(huì)影響模型的性能。
• 負(fù)責(zé)任的人工智能: 回應(yīng)還應(yīng)該包括安全分?jǐn)?shù)。這些分?jǐn)?shù)可以用來確保 LLM 的響應(yīng)在預(yù)期行為的范圍內(nèi)。一個(gè)典型的 LLMOps 平臺(tái)可以處理這些問題，比如 Google Vertex AI。

3.4 部署后管理

在部署大型語(yǔ)言模型(LLM)之后，重點(diǎn)轉(zhuǎn)移到確保它們?cè)诓僮髦斜３纸?、有效和合乎道德。這個(gè)階段對(duì)于維護(hù)性能標(biāo)準(zhǔn)和適應(yīng)不斷變化的需求和用戶交互是至關(guān)重要的。部署后管理涉及以下幾項(xiàng)關(guān)鍵的活動(dòng)。

3.4.1 包、部署和版本

正確的版本控制和 LLM 打包對(duì)于跟蹤更改、重現(xiàn)結(jié)果以及在必要時(shí)回滾到以前的版本至關(guān)重要。這種實(shí)踐促進(jìn)了模型的可控部署，并支持為不同的用例或環(huán)境維護(hù)多個(gè)版本。

3.4.2 模型監(jiān)視: 度量與安全

持續(xù)監(jiān)控對(duì)于評(píng)估模型的健康狀況和部署后的性能至關(guān)重要。這包括跟蹤各種指標(biāo)，如響應(yīng)時(shí)間、準(zhǔn)確性和吞吐量，同時(shí)確保模型的輸出保持在安全和道德準(zhǔn)則范圍內(nèi)。監(jiān)測(cè)工具可以提醒從業(yè)人員注意任何偏離預(yù)期業(yè)績(jī)或道德標(biāo)準(zhǔn)的情況，促進(jìn)及時(shí)干預(yù)。

3.4.3 推理可伸縮性

推理操作的可伸縮性是適應(yīng)不同負(fù)載和維護(hù)性能的關(guān)鍵，包括:

• 負(fù)載測(cè)試: 進(jìn)行負(fù)載測(cè)試，以了解模型在不同條件下的行為，并準(zhǔn)備峰值使用時(shí)間。
• 可控制的發(fā)布: 在全面推出之前，通過逐步引入對(duì)用戶子集的更改，實(shí)施分階段推出策略可以幫助管理新特性或模型的發(fā)布。

3.4.5 延遲管理

延遲是指模型返回預(yù)測(cè)所需的時(shí)間。這是一個(gè)關(guān)鍵因素，尤其是對(duì)于實(shí)時(shí)應(yīng)用程序而言:

• 允許延遲: 根據(jù)應(yīng)用程序的需求和用戶期望確定可接受的延遲閾值。
• 更小的模型: 在可行的情況下，利用更小、更有效的模型可以減少延遲，而不會(huì)顯著影響預(yù)測(cè)的質(zhì)量。
• 更快的處理器: 使用高速處理器，如 GPU 或 TPU，可以加快推理時(shí)間，提高總體響應(yīng)能力。
• 區(qū)域部署: 在更接近終端用戶的地方部署模型，例如，在區(qū)域數(shù)據(jù)中心，可以減少網(wǎng)絡(luò)延遲并提高響應(yīng)時(shí)間。

通過精心管理這些部署后方面，組織可以確保其 LLM 有效、高效和符合道德地服務(wù)于預(yù)期目標(biāo)，為用戶提供價(jià)值，并保持對(duì) AI 應(yīng)用程序的信任。

圖片

4. LLMOps 的一些探索實(shí)踐

一些常見的LLMOps實(shí)踐如下：

• 擁抱全面的數(shù)據(jù)管理: 使用工具和平臺(tái)自動(dòng)化數(shù)據(jù)收集、清理和預(yù)處理，確保高質(zhì)量數(shù)據(jù)的穩(wěn)定流動(dòng)。確保使用數(shù)據(jù)版本控制工具對(duì)數(shù)據(jù)集進(jìn)行版本控制，從而允許在不同數(shù)據(jù)集版本之間進(jìn)行無縫轉(zhuǎn)換。
• 關(guān)注AI倫理: 使用工具檢測(cè)和糾正培訓(xùn)數(shù)據(jù)和模型輸出中的偏差。確保模型易于理解和解釋。這涉及到利用可解釋性工具和框架來提供對(duì)模型決策的洞察力。
• 優(yōu)化模型訓(xùn)練: 使用分布式訓(xùn)練技術(shù)處理 LLM 中的大規(guī)模數(shù)據(jù)和參數(shù)。定期用新數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)，以保持其更新和有效性。
• 優(yōu)先考慮模型安全性: 使用工具檢查模型的漏洞并進(jìn)行定期的安全審計(jì)。定期測(cè)試模型對(duì)抗對(duì)手攻擊，以確保其健壯性。
• 持續(xù)監(jiān)控和維護(hù): 使用監(jiān)控工具檢測(cè)模型性能隨時(shí)間的變化。實(shí)現(xiàn)一個(gè)系統(tǒng)，在這個(gè)系統(tǒng)中，對(duì)模型輸出的真實(shí)反饋可以用來細(xì)化和重新訓(xùn)練模型。
• 優(yōu)先考慮隱私和合規(guī)性: 在培訓(xùn)敏感數(shù)據(jù)模型時(shí)采用差分隱私技術(shù)。通過定期進(jìn)行合規(guī)檢查，確保業(yè)務(wù)符合 GDPR 和 CCPA 等法規(guī)。
• 社區(qū)參與: 參與并為開源社區(qū)做出貢獻(xiàn)，不斷更新最新的進(jìn)展和最佳實(shí)踐。鑒于人工智能的快速發(fā)展，確保團(tuán)隊(duì)總是在學(xué)習(xí)和采用新的方法、工具和最佳實(shí)踐。
• 災(zāi)難恢復(fù)和冗余: 定期備份模型、數(shù)據(jù)和配置，以確保在發(fā)生任何災(zāi)難時(shí)進(jìn)行恢復(fù)。具有適當(dāng)?shù)娜哂鄟硖幚硐到y(tǒng)故障而不影響模型可用性。

4.小結(jié)

MLOps 和 LLMOps 都強(qiáng)調(diào)自動(dòng)化，以減少人為錯(cuò)誤，提高機(jī)器學(xué)習(xí)系統(tǒng)的效率，同時(shí)確保機(jī)器學(xué)習(xí)模型符合業(yè)務(wù)和監(jiān)管要求。與深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集類似，LLMOps 是MLOps的一個(gè)子集。

大模型應(yīng)用的開發(fā)和實(shí)現(xiàn)復(fù)雜性突出了 LLMOps 的重要作用。從準(zhǔn)備數(shù)據(jù)到確保合乎預(yù)期的使用，結(jié)合了技術(shù)技能、戰(zhàn)略規(guī)劃和有責(zé)任人工智能的承諾。通過關(guān)注 LLMOps，我們可以充分利用大模型的潛力，確保它們能夠有效地滿足我們的需求。

【參考資料】

• Scaling Instruction-Finetuned Language Models : https://arxiv.org/pdf/2210.11416.pdf
• LlamaDuo: LLMOps Pipeline for Seamless Migration from Service LLMs to Small-Scale Local LLMs，https://arxiv.org/pdf/2408.13467.pdf
• Maximizing User Experience with LLMOps-Driven Personalized Recommendation Systems，https://arxiv.org/pdf/2404.00903.pdf
• LLMOps Course at deeplearning.ai: https://www.deeplearning.ai/short-courses/
• LLMOps Course at deeplearning.ai: https://www.deeplearning.ai/short-courses/