譯者 | 核子可樂

審校 | 重樓

如今，內(nèi)容審核已經(jīng)成為各類數(shù)字平臺的重要組成部分，堪稱用戶信任與安全保障的前提。盡管人工審核能夠處理部分任務，但隨著平臺規(guī)模的擴展，AI驅(qū)動的實時審核變得愈發(fā)重要。機器學習（ML）驅(qū)動的系統(tǒng)能夠成規(guī)模且高效開展內(nèi)容審核，同時將再訓練與運營成本降低至最低。本份指南將為你概述部署AI驅(qū)動型實時審核系統(tǒng)的方法。

實時審核系統(tǒng)的核心屬性

實時內(nèi)容審核系統(tǒng)負責評估用戶提交的內(nèi)容（文本、圖像、視頻或其他格式的數(shù)據(jù)），確保其符合平臺政策。此類系統(tǒng)的核心屬性包括：

• 速度：在不影響用戶體驗或引入顯著延遲的前提下審核內(nèi)容。
• 可擴展性：能夠及時處理每秒數(shù)千次請求。
• 準確性：盡量減少誤報與漏報，提高可靠性。

部署AI內(nèi)容審核系統(tǒng)的分步指南

步驟1：定義政策

政策是一切內(nèi)容審核系統(tǒng)的基礎，用以定義內(nèi)容評估規(guī)則。你可以設置不同的政策，分別管控仇恨言論、欺詐預防、成人及色情內(nèi)容等等。下面我們以X定義的政策為例，進行具體分析。

這些政策被設定為客觀規(guī)則，可作為配置進行存儲以備訪問和評估。

步驟2：數(shù)據(jù)收集與預處理

政策定義完成后，我們需要收集數(shù)據(jù)以作為機器學習模型的訓練樣本。數(shù)據(jù)集應包含平臺上多種預期內(nèi)容類型的良好組合，涵蓋與政策相符/不符的對應示例，同時避免偏見。

數(shù)據(jù)來源：

• 合成數(shù)據(jù)生成：使用生成式AI創(chuàng)建數(shù)據(jù)。
• 開源數(shù)據(jù)集：從其他平臺及開源網(wǎng)站上選擇符合需求的數(shù)據(jù)集。
• 歷史用戶生成內(nèi)容：以符合道德要求的方式使用用戶發(fā)布的歷史內(nèi)容。

數(shù)據(jù)收集完成后，則由訓練有素的人工審核員進行標注。審核員需要對平臺政策具備深入理解，標注完成的數(shù)據(jù)則作為“標準集”以用于訓練或微調(diào)ML模型。

在ML模型執(zhí)行實際數(shù)據(jù)操作并生成結果之前，首先應對數(shù)據(jù)進行處理以提高效率與兼容性。相關預處理技術包括但不限于：

• 文本數(shù)據(jù)：通過刪除禁用詞并將其拆分為n-gram以規(guī)范化文本，具體視數(shù)據(jù)使用方式而定。
• 圖像數(shù)據(jù)：將圖像標準化為特定分辨率、像素、大小或格式，以保證與模型相兼容。
• 視頻：提取不同幀并將其按圖像進行處理。
• 音頻：使用各類自然語言處理（NLP）模型將音頻轉(zhuǎn)錄為文本，而后使用文本模型。但這種方法可能會遺漏須審核的非語言內(nèi)容。

步驟3：模型訓練與選擇

根據(jù)平臺需求及所支持的內(nèi)容類型，可以使用各類模型，具體包括以下選項：

文本

• 詞袋/詞頻-逆文檔頻率（TF-IDF）：可為有害或違反政策的詞語分配高權重，確保及時發(fā)現(xiàn)較為罕見的違規(guī)內(nèi)容。但這種方法亦有其局限性，因為用于匹配違規(guī)文本的詞匯列表有限，老練的發(fā)布者往往可以刻意回避。
• Transformers：作為GPT的底層技術，此架構能夠有效捕捉委婉表達或有害文本的各類變體?？梢钥紤]根據(jù)平臺政策對GPT模型進行微調(diào)。

圖像

• 預訓練卷積神經(jīng)網(wǎng)絡（CNN）: 這類模型在大量圖像數(shù)據(jù)集上訓練而成，可以識別出裸露、暴力等有害內(nèi)容。典型代表包括VGG、ResNet等。
• 自定義CNN: 為提高準確率與召回率，CNN可針對特定類別進行微調(diào)，并根據(jù)平臺政策再做調(diào)整。

上述模型都必須針對“標準數(shù)據(jù)集”進行訓練和評估，確保在部署前可達到所需性能。你亦可訓練模型以生成標簽，再對標簽進行處理以支持內(nèi)容審核決策。

步驟4：部署

在模型準備就緒后，即可使用API進行公開。其他服務可以調(diào)用這些API以實現(xiàn)實時審核。對于不需要實時審核的非緊急任務，則可設置批量處理系統(tǒng)。

步驟5：人工審核

AI/ML系統(tǒng)往往無法以高置信度做出所有決策。當預測ML得分低于可信決策的閾值時，模型可能給出模棱兩可的結論。此時，應當由人工審核員接手以做出準確判斷。人工審核員的介入對于解決AI誤報問題至關重要，其可以使用決策樹（以決策樹形式編碼的政策）生成與ML模型類似的標簽，據(jù)此做出最終判定。

步驟6：標簽處理器

標簽處理器用于解釋ML系統(tǒng)和人工審核員生成的標簽，并將其轉(zhuǎn)換為可供用戶操作的決策。其流程可以相對簡單，僅將系統(tǒng)生成的字符串映射為人類可讀的字符串。

步驟7：分析與報告

Tableau和Power BI等工具均可對審核指標進行跟蹤與可視化，Apache AirFlow則可用于生成見解。需要監(jiān)控的關鍵指標包括ML系統(tǒng)的準確率和召回率、人工審核時間、吞吐量以及響應時間。

總結

構建和部署由AI驅(qū)動的實時審核系統(tǒng)可確保數(shù)字平臺的可擴展性與安全性。本指南努力在速度、準確性與人工監(jiān)督等要素之間尋求平衡，確保內(nèi)容符合平臺政策與價值主張。

原文標題：A Guide to Deploying AI for Real-Time Content Moderation，作者：Rahul JAIN