最近，F(xiàn)acebook 開源了一個新的 Python 庫——AugLy，該庫旨在幫助 AI 研究人員使用數(shù)據(jù)增強來評估和改進機器學(xué)習(xí)模型的可用性。AugLy 提供了復(fù)雜的數(shù)據(jù)增強工具，可以創(chuàng)建樣本來訓(xùn)練和測試不同的系統(tǒng)。

[[406635]]

項目地址：https://github.com/facebookresearch/AugLy

該庫基于 Facebook 和 Instagram 等平臺上的真實圖片和視頻提供了 100 多種數(shù)據(jù)增強功能，因此對于處理與社交媒體應(yīng)用程序相關(guān)的模型或數(shù)據(jù)的研究工作特別有用。

目前 AugLy 支持四個模態(tài)：文本、圖像、音頻和視頻。使用真實世界的數(shù)據(jù)進行數(shù)據(jù)增強能夠幫助機器更好地理解復(fù)雜的任務(wù)。以文本短語「love the way you smell today」為例，該文本想要表達的意思是喜歡，但是將此短語應(yīng)用到臭鼬的圖片上時，想要表達的意思全部變了。AugLy 更類似于人們?yōu)榱肆私庵車氖澜缍鴱亩喾N感官獲取信息的方式。隨著數(shù)據(jù)集和模型變得越來越具有多模態(tài)，在一個統(tǒng)一的庫和 API 下轉(zhuǎn)換項目的所有數(shù)據(jù)是非常有必要的。

對于該數(shù)據(jù)增強庫，機器學(xué)習(xí)界的大佬 Yann LeCun 也轉(zhuǎn)推推薦。

AugLy 如何工作

AugLy 包含四個子庫，每個子庫對應(yīng)不同的模態(tài)，每個庫遵循相同的接口：AugLy 提供了基于函數(shù)和類格式的轉(zhuǎn)換，并提供強度函數(shù)，幫助了解轉(zhuǎn)換的強度（基于給定參數(shù)）。AugLy 還可以生成有用的元數(shù)據(jù)，以幫助了解數(shù)據(jù)轉(zhuǎn)換過程。

此外，該庫已經(jīng)聚合了許多擴展，以及以前從未存在過的擴展。例如，增強功能將圖像或視頻疊加到社交媒體界面上，使其看起來像是用戶在 Facebook 等社交網(wǎng)絡(luò)上截屏的圖像或視頻，然后重新共享。這對于許多用例來說是一個有用的補充，因為 Facebook 上的用戶通常會以這種方式重新共享內(nèi)容。

AugLy 為何如此重要

數(shù)據(jù)增強對于確保 AI 模型的魯棒性至關(guān)重要。如果可以教會模型對數(shù)據(jù)中不重要的屬性擾動具有魯棒性，那么模型將學(xué)會關(guān)注特定用例中數(shù)據(jù)的重要屬性。

在 Facebook 中，一個重要的應(yīng)用程序是檢測特定內(nèi)容的「相似副本」。例如，同一條信息可能以不同的形式重復(fù)出現(xiàn)。又例如圖像經(jīng)過修改后被裁剪了幾個像素，或者用過濾器或新的文本覆蓋進行了增強。通過使用 AugLy 數(shù)據(jù)增強 AI 模型，它們可以在上傳已知侵權(quán)內(nèi)容 (如歌曲或視頻) 時識別出來。

使用 AugLy 訓(xùn)練模型來檢測相似內(nèi)容意味著我們可以主動阻止用戶上傳已知侵權(quán)的內(nèi)容。例如 SimSearchNet，一個基于卷積神經(jīng)網(wǎng)絡(luò)的模型，可以專門用來檢測精確復(fù)制內(nèi)容，該模型是用 AugLy 增強訓(xùn)練的。

除了使用 AugLy 訓(xùn)練模型外，該庫還可用于確定模型相對于一組增強的魯棒性。事實上，AugLy 已經(jīng)被用來評估 deepfake 檢測模型在「Deepfake 檢測挑戰(zhàn)賽」（Deepfake Detection Challenge）中的魯棒性，最終影響了前五名獲勝者。

AugLy 支持圖像增強，如裁剪、填充圖像、截屏和重新共享照片。數(shù)據(jù)增強的用途是廣泛的，AugLy 可以幫助研究人員從事各種工作，從物體檢測模型到識別仇恨言論再到語音識別。