譯者 | 李睿

審校 | 重樓

所有成功實施的機器學(xué)習(xí)模型都至少由兩個強大的組件支持：數(shù)據(jù)和模型。一些機器學(xué)習(xí)工程師表示，他們寧愿把時間花費在模型開發(fā)上，也不愿將大量的時間用于數(shù)據(jù)準(zhǔn)備上，其中包括監(jiān)督學(xué)習(xí)中的數(shù)據(jù)標(biāo)簽。當(dāng)已解決大多數(shù)問題時，對大量數(shù)據(jù)添加標(biāo)簽的難度遠(yuǎn)遠(yuǎn)超過最初獲取數(shù)據(jù)的難度。

無標(biāo)簽數(shù)據(jù)在訓(xùn)練過程中無法達(dá)到所需的準(zhǔn)確性，而為監(jiān)督學(xué)習(xí)的大量數(shù)據(jù)集添加標(biāo)簽既耗時又昂貴。如果數(shù)據(jù)添加標(biāo)簽的預(yù)算有限怎么辦?哪些數(shù)據(jù)應(yīng)該首先添加標(biāo)簽?這些只是那些寧愿做有成效的工作的機器學(xué)習(xí)工程師所面臨的令人望而生畏的問題中的一部分。

事實上，在許多領(lǐng)域，標(biāo)簽缺乏是很自然的情況。以下是一些字段的例子，可以觀察到數(shù)據(jù)標(biāo)簽缺乏以及發(fā)生這種情況的原因。

研究人員和從業(yè)人員已經(jīng)制定了幾種策略來應(yīng)對數(shù)據(jù)標(biāo)簽缺乏的挑戰(zhàn)：

• 遷移學(xué)習(xí)和領(lǐng)域適應(yīng)
• 合成數(shù)據(jù)生成
• 半監(jiān)督學(xué)習(xí)
• 主動學(xué)習(xí)

在這些方法中，半監(jiān)督學(xué)習(xí)作為一種特別有前途的解決方案脫穎而出。這種技術(shù)用戶允許同時使用少量標(biāo)簽數(shù)據(jù)和大量無標(biāo)簽數(shù)據(jù)。通過結(jié)合監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的優(yōu)點，半監(jiān)督學(xué)習(xí)在保持模型性能的同時，為應(yīng)對數(shù)據(jù)標(biāo)簽缺乏的挑戰(zhàn)提供了一個潛在的解決方案。

本文將深入理解半監(jiān)督學(xué)習(xí)的概念，探索其原理、應(yīng)用以及徹底改變?nèi)藗兲幚頂?shù)據(jù)密集型機器學(xué)習(xí)任務(wù)的方式的潛力。

一、理解半監(jiān)督學(xué)習(xí)

半監(jiān)督學(xué)習(xí)是一種結(jié)合監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的機器學(xué)習(xí)方法，通過訓(xùn)練模型與少量有標(biāo)簽數(shù)據(jù)和大量無標(biāo)簽數(shù)據(jù)相結(jié)合。這種方法可以用以下的數(shù)學(xué)方法表示：

• Let DS：(x, y) ~ p(x,y)是一個小型有標(biāo)簽數(shù)據(jù)集，DU：x ~ p(x)是一個大型的無標(biāo)簽數(shù)據(jù)集。像往常一樣，使用有標(biāo)簽數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，使用無標(biāo)簽數(shù)據(jù)進(jìn)行無監(jiān)督學(xué)習(xí)。
• 在半監(jiān)督學(xué)習(xí)中，使用兩個數(shù)據(jù)集來最小化一個結(jié)合監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)成分的損失函數(shù)：L=μsLs+μuLu。
• 該損失函數(shù)允許模型同時從有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)中學(xué)習(xí)。值得一提的是，該方法在有標(biāo)簽數(shù)據(jù)量較大的情況下更加成功。

當(dāng)獲取一組全面的有標(biāo)簽數(shù)據(jù)成本過于昂貴或不切實際時，半監(jiān)督學(xué)習(xí)尤其有用。然而，其有效性取決于這樣一個假設(shè)，即無標(biāo)簽數(shù)據(jù)可以為模型訓(xùn)練提供有意義的信息，但情況并非總是如此。

其難點在于平衡使用有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)，以及確保模型不會強化無標(biāo)簽數(shù)據(jù)生成的錯誤偽標(biāo)簽。

二、半監(jiān)督學(xué)習(xí)的核心概念

業(yè)界已經(jīng)引入了一些半監(jiān)督學(xué)習(xí)的概念，以下了解最具影響力的幾個概念。

置信度和熵

熵最小化的主要思想是確保在有標(biāo)簽數(shù)據(jù)上訓(xùn)練的分類器對無標(biāo)簽數(shù)據(jù)也能做出置信度更高的預(yù)測(也就是說以最小的熵產(chǎn)生預(yù)測)。在這種情況下，熵指的是模型預(yù)測的不確定性。熵越小，置信度越高。這種方法已被證明對分類器具有正則化效果。

一個類似的概念是偽標(biāo)簽，在一些文獻(xiàn)中也被稱為自我訓(xùn)練，其中包括：

(1)要求分類器預(yù)測無標(biāo)簽數(shù)據(jù)的標(biāo)簽。

(2)使用置信度最高的預(yù)測樣本作為下一次訓(xùn)練迭代的額外真實標(biāo)簽。

這是一種基本類型的半監(jiān)督學(xué)習(xí)，應(yīng)該謹(jǐn)慎應(yīng)用。如果管理不當(dāng)，對模型的強化效應(yīng)可能會潛在地放大初始偏差或錯誤。

類似方法的其他例子包括：

• 聯(lián)合訓(xùn)練
• 多視圖訓(xùn)練
• Noisy student

這些方法的典型過程通常遵循以下幾個階段：

(1)首先在一部分有標(biāo)簽數(shù)據(jù)上訓(xùn)練模型。

(2)該模型通過為更大規(guī)模的無標(biāo)簽數(shù)據(jù)預(yù)測標(biāo)簽來生成偽標(biāo)簽。

(3)選擇置信度最高的標(biāo)簽(具有最小熵)來豐富訓(xùn)練數(shù)據(jù)集。

(4)使用步驟3的豐富數(shù)據(jù)集對模型進(jìn)行重新訓(xùn)練。

這個迭代過程的目的是利用模型不斷增長的信心來提高它在有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)上的性能。

標(biāo)簽一致性和正則化

這種方法基于這樣的想法——如果對樣本應(yīng)用簡單的增強，預(yù)測不應(yīng)該改變類。簡單的增強是指對輸入數(shù)據(jù)進(jìn)行微小的修改，例如對圖像進(jìn)行輕微的旋轉(zhuǎn)、裁剪或顏色更改。

然后，該模型在無標(biāo)簽的數(shù)據(jù)上進(jìn)行訓(xùn)練，以確保樣本與其增強版本之間的預(yù)測是一致的。這個概念類似于基于一致性約束的自監(jiān)督學(xué)習(xí)方法。

使用這種方法的技術(shù)示例包括：

• Pi-Model
• Temporal Ensembling(時序集成)
• Mean Teacher
• FixMatch算法
• 虛擬對抗訓(xùn)練(VAT)

這種方法的主要步驟是：

(1)獲取一個無標(biāo)簽數(shù)據(jù)的樣本。

(2)創(chuàng)建所選樣本的幾個不同視圖(增強視圖)。

(3)應(yīng)用分類器并確保這些視圖的預(yù)測大致相似。

該方法利用了這樣一個假設(shè)，即輸入的微小變化不會顯著地改變模型的預(yù)測，從而鼓勵模型從無標(biāo)簽數(shù)據(jù)中學(xué)習(xí)更健壯和可推廣的特征。

與專注于最大化預(yù)測置信度的置信度和熵方法不同，標(biāo)簽一致性和正則化方法強調(diào)跨相似輸入的預(yù)測的穩(wěn)定性。這有助于防止對特定數(shù)據(jù)點的過度擬合，并鼓勵模型學(xué)習(xí)更有意義的表示。

生成模型

半監(jiān)督學(xué)習(xí)中的生成模型使用與監(jiān)督學(xué)習(xí)中的遷移學(xué)習(xí)類似的方法，其中在一個任務(wù)中學(xué)習(xí)到的特征可以轉(zhuǎn)移到其他下游任務(wù)中。

然而，有一個關(guān)鍵的區(qū)別：生成模型能夠?qū)W習(xí)數(shù)據(jù)分布p(x)，從該分布中生成樣本，并最終通過改進(jìn)具有給定目標(biāo)標(biāo)簽y的給定樣本x的p(y|x)建模來增強監(jiān)督學(xué)習(xí)。這種方法在半監(jiān)督學(xué)習(xí)中特別有用，因為它可以利用大量無標(biāo)簽數(shù)據(jù)來學(xué)習(xí)底層數(shù)據(jù)分布，然后為監(jiān)督學(xué)習(xí)任務(wù)提供信息。

用于增強半監(jiān)督學(xué)習(xí)的最流行的生成模型類型是：

• GAN(生成對抗網(wǎng)絡(luò))
• VAE(變分自動編碼器)

該過程通常遵循以下步驟：

(1)構(gòu)造損失函數(shù)的生成部分和監(jiān)督部分。

(2)使用組合損失函數(shù)同時訓(xùn)練生成模型和監(jiān)督模型。

(3)對目標(biāo)任務(wù)使用訓(xùn)練好的監(jiān)督模型。

在這個過程中，生成模型從有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)中學(xué)習(xí)，幫助捕獲數(shù)據(jù)空間的底層結(jié)構(gòu)。然后，這種學(xué)習(xí)結(jié)構(gòu)可以為監(jiān)督模型提供信息，從而可能提高其性能，特別是在有標(biāo)簽數(shù)據(jù)缺失的情況下。

基于圖形的半監(jiān)督學(xué)習(xí)

基于圖形的半監(jiān)督學(xué)習(xí)方法使用圖形數(shù)據(jù)結(jié)構(gòu)將有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)表示為節(jié)點。這種方法在捕獲數(shù)據(jù)點之間的復(fù)雜關(guān)系方面特別有效，當(dāng)數(shù)據(jù)具有固有的結(jié)構(gòu)或關(guān)系屬性時非常有用。

在這種方法中，標(biāo)簽通過圖形進(jìn)行傳播。從無標(biāo)簽節(jié)點到有標(biāo)簽節(jié)點的路徑數(shù)有助于確定其標(biāo)簽。這種方法利用了一個假設(shè)——相似的數(shù)據(jù)點(通過圖中的邊連接)可能具有相似的標(biāo)簽。

該過程通常遵循以下步驟：

(1)構(gòu)造一個圖形，其中的節(jié)點表示數(shù)據(jù)點(有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù))。

(2)通過邊連接節(jié)點，通常基于數(shù)據(jù)點之間的相似性度量(例如，k近鄰或高斯核)。

(3)使用圖形算法(例如標(biāo)簽傳播或圖神經(jīng)網(wǎng)絡(luò))將標(biāo)簽從有標(biāo)簽節(jié)點傳播到無標(biāo)簽節(jié)點。

(4)根據(jù)傳播的信息為無標(biāo)簽節(jié)點分配標(biāo)簽。

(5)可選地重復(fù)該過程以優(yōu)化無標(biāo)簽節(jié)點上的標(biāo)簽。

當(dāng)處理具有自然圖形結(jié)構(gòu)的數(shù)據(jù)(例如社交網(wǎng)絡(luò)和引文網(wǎng)絡(luò))或當(dāng)數(shù)據(jù)點之間的關(guān)系對分類至關(guān)重要時，這種方法特別有利。然而，性能對圖形的構(gòu)造方法和相似度度量的選擇很敏感。這種方法的常用算法包括標(biāo)簽傳播、標(biāo)簽擴散以及最近的圖形神經(jīng)網(wǎng)絡(luò)。

三、研究實例

半監(jiān)督學(xué)習(xí)在許多領(lǐng)域取得了重大進(jìn)展，包括語音識別、網(wǎng)頁內(nèi)容分類和文本文檔分析。這些進(jìn)步不僅提高了標(biāo)簽數(shù)據(jù)有限的任務(wù)的性能，還引入了有效利用無標(biāo)簽數(shù)據(jù)的新方法。

以下推薦的一些論文代表了半監(jiān)督學(xué)習(xí)領(lǐng)域最具影響力和最有趣的貢獻(xiàn)。這些論文塑造了人們對這一主題的理解，并繼續(xù)影響著當(dāng)前的研究和應(yīng)用。

半監(jiān)督學(xué)習(xí)的時間整合(2017)：Laine和Aila

本文介紹了一致性正則化的概念，這是后來許多半監(jiān)督學(xué)習(xí)方法的基礎(chǔ)。本文作者首先提出了Pi-Model，該模型對每個無標(biāo)簽的輸入應(yīng)用兩次隨機增強，并鼓勵對兩個版本進(jìn)行一致的預(yù)測。這種方法利用了模型應(yīng)該為同一輸入的擾動版本產(chǎn)生類似輸出的想法。

半監(jiān)督學(xué)習(xí)：如何克服數(shù)據(jù)標(biāo)簽缺乏問題-AI.x社區(qū)

在Pi-Model的基礎(chǔ)上，作者引入了Temporal Ensembling(時序集成)方法。該方法通過降低一致性目標(biāo)中的噪聲，解決了Pi-Model的一個關(guān)鍵局限性。Temporal Ensembling沒有比較兩個并發(fā)過程的預(yù)測，而是為每個無標(biāo)簽的示例保持過去預(yù)測的指數(shù)移動平均值(EMA)。EMA作為一致性損失的更穩(wěn)定的目標(biāo)，有效地整合了模型隨時間的預(yù)測。

Temporal Ensemblin方法在Pi-Model的基礎(chǔ)上得到了顯著改進(jìn)，表現(xiàn)出更好的性能和更快的收斂速度。這項工作對該領(lǐng)域產(chǎn)生了重大影響，為半監(jiān)督學(xué)習(xí)中許多基于一致性的方法奠定了基礎(chǔ)，并展示了如何利用模型自己的預(yù)測來改進(jìn)對無標(biāo)簽數(shù)據(jù)的學(xué)習(xí)。

虛擬對抗訓(xùn)練(2018)：Miyato等人

虛擬對抗訓(xùn)練(VAT)巧妙地將對抗性攻擊的概念應(yīng)用于半監(jiān)督學(xué)習(xí)。這個想法源于眾所周知的圖像分類中的對抗性示例現(xiàn)象，其中輸入圖像的微小、難以察覺的擾動可能會極大地改變模型的預(yù)測。研究人員通過使用反向傳播來最大化模型輸出的變化，但相對于輸入而不是模型權(quán)重，發(fā)現(xiàn)了這些擾動。

虛擬對抗訓(xùn)練(VAT)的關(guān)鍵創(chuàng)新是將這種對抗性擾動概念應(yīng)用于半監(jiān)督學(xué)習(xí)設(shè)置中的無標(biāo)簽數(shù)據(jù)。虛擬對抗訓(xùn)練(VAT)不是使用反向傳播來尋找改變模型預(yù)測的擾動，而是使用它來尋找最顯著地改變模型預(yù)測分布的擾動。然后對模型進(jìn)行訓(xùn)練以抵抗這些擾動，即使在輸入對抗性的小變化情況下也能鼓勵一致的預(yù)測。

該方法解決了半監(jiān)督學(xué)習(xí)中提高模型魯棒性和泛化能力的問題。虛擬對抗訓(xùn)練(VAT)的影響是顯著的，它展示了如何在半監(jiān)督學(xué)習(xí)中有效地使用對抗性技術(shù)，并為對抗性魯棒性和半監(jiān)督學(xué)習(xí)的交叉研究開辟了新的途徑。它表明，對抗性機器學(xué)習(xí)的原理可以被重新用于從無標(biāo)簽數(shù)據(jù)中提取更多信息，從而提高半監(jiān)督學(xué)習(xí)的性能。

Mean Teacher (2017)：Tarvainen和Valpola

Mean Teacher方法引入了一種簡單而有效的方法在半監(jiān)督學(xué)習(xí)中創(chuàng)建高質(zhì)量的一致性目標(biāo)。其關(guān)鍵創(chuàng)新是使用模型權(quán)重的指數(shù)移動平均來創(chuàng)建一個“教師”(teacher)模型，該模型為“學(xué)生”(student)模型提供了目標(biāo)。這解決了穩(wěn)定訓(xùn)練和提高半監(jiān)督學(xué)習(xí)性能的問題。

雖然Mean Teacher和Temporal Ensembling都使用EMA，但它們的應(yīng)用方式不同：

(1)Temporal Ensembling將EMA應(yīng)用于不同時代的每個數(shù)據(jù)點的預(yù)測。這創(chuàng)建了穩(wěn)定的目標(biāo)，但更新緩慢，特別是對于每個示例不經(jīng)常出現(xiàn)的大型數(shù)據(jù)集。

(2)另一方面，Mean Teacher將EMA應(yīng)用于模型自身權(quán)重。這創(chuàng)建了一個“教師”模型，它是最近“學(xué)生”模型的集合。然后，“教師”模型可以為任何輸入生成一致性目標(biāo)，包括不可見的增強，從而允許更頻繁的更新。

這種微妙的差異使Mean Teacher能夠更快地適應(yīng)新數(shù)據(jù)，并提供更一致的目標(biāo)，特別是在訓(xùn)練的早期和更大的數(shù)據(jù)集。它還允許對學(xué)生和教師模型使用不同的增強，從而可能捕獲更廣泛的不變性。

Mean Teacher演示了簡單的平均技術(shù)可以顯著提高半監(jiān)督學(xué)習(xí)性能。它激發(fā)了對半監(jiān)督學(xué)習(xí)中師生模型的進(jìn)一步研究，并展示了如何擴展和改進(jìn)Temporal Ensembling的思想。

無監(jiān)督數(shù)據(jù)增強(2020)：Xie等人

無監(jiān)督數(shù)據(jù)增強(UDA)利用先進(jìn)的數(shù)據(jù)增強技術(shù)在半監(jiān)督學(xué)習(xí)中實現(xiàn)一致性正則化。關(guān)鍵的創(chuàng)新是使用了最先進(jìn)的數(shù)據(jù)增強方法，特別是在NLP任務(wù)中，這些技術(shù)的探索較少。

通過“高級數(shù)據(jù)增強”，作者指的是超越簡單擾動的更復(fù)雜的轉(zhuǎn)換：

(1)對于圖像任務(wù)：UDA使用RandAugment，它會自動搜索最優(yōu)的增強策略。這包括顏色調(diào)整、幾何變換和各種濾鏡的組合。

(2)對于文本任務(wù)：UDA引入了使用TF-IDF的回譯和單詞替換等方法?；刈g包括將一個句子翻譯成另一種語言，然后再翻譯回原文，創(chuàng)造一個意譯版本?；赥F-IDF.的單詞替換將單詞與同義詞交換，同時保留句子的整體含義。

這些高級增強功能創(chuàng)建了輸入數(shù)據(jù)的更多樣化和語義上有意義的變體，幫助模型學(xué)習(xí)更健壯的表示。UDA解決了在不同領(lǐng)域提高半監(jiān)督學(xué)習(xí)性能的問題，特別關(guān)注文本分類任務(wù)。它的影響是顯著的，展示了半監(jiān)督學(xué)習(xí)中特定于任務(wù)的數(shù)據(jù)增強的強大功能，并在有標(biāo)簽數(shù)據(jù)有限的幾個基準(zhǔn)測試中獲得了最先進(jìn)的結(jié)果。

UDA的成功凸顯了在半監(jiān)督學(xué)習(xí)中精心設(shè)計數(shù)據(jù)增強策略的重要性，特別是在傳統(tǒng)增強技術(shù)有限的領(lǐng)域。

FixMatch (2020)：Sohn等人

FixMatch代表了半監(jiān)督學(xué)習(xí)技術(shù)的顯著簡化，同時實現(xiàn)了最先進(jìn)的性能。關(guān)鍵的創(chuàng)新在于其巧妙地結(jié)合了兩個主要思想：

(1)一致性正則化：FixMatch對無標(biāo)簽數(shù)據(jù)使用強增強和弱增強。模型對弱增強數(shù)據(jù)的預(yù)測必須與對強增強數(shù)據(jù)的預(yù)期相匹配。

(2)偽標(biāo)簽：當(dāng)模型的預(yù)測置信度高(高于設(shè)定的閾值)時，它只保留弱增強的無標(biāo)簽數(shù)據(jù)的偽標(biāo)簽。

FixMatch的獨特之處在于它對一致性正則化組件使用了極強的增強(如RandAugment)，并結(jié)合了一種簡單的基于閾值的偽標(biāo)簽機制。這種方法允許模型從弱增強圖像中生成可靠的偽標(biāo)簽，并從強增強圖像中學(xué)習(xí)魯棒表示。

FixMatch在有標(biāo)簽數(shù)據(jù)極其有限的情況下表現(xiàn)出色，有時每個類只使用10個標(biāo)簽示例。它的成功表明，設(shè)計良好并且簡單的半監(jiān)督學(xué)習(xí)算法可以超越更復(fù)雜的方法，在該領(lǐng)域樹立新的基準(zhǔn)，并影響后續(xù)在低標(biāo)簽體系下的研究。

Noisy Student (2020)：Xie等

Noisy Student為半監(jiān)督學(xué)習(xí)引入了一種帶有噪聲注入的迭代自我訓(xùn)練方法，這是該領(lǐng)域的一個重要里程碑。關(guān)鍵的創(chuàng)新是使用一個大型的EfficientNet模型作為“學(xué)生”，在“教師”模型的嘈雜預(yù)測上進(jìn)行訓(xùn)練，并迭代地重復(fù)這個過程。

Noisy Student的獨特之處在于其開創(chuàng)性的表現(xiàn)：

(1)超越監(jiān)督學(xué)習(xí)：它是第一個超越純監(jiān)督學(xué)習(xí)的半監(jiān)督學(xué)習(xí)方法，即使在有大量有標(biāo)簽數(shù)據(jù)可用的情況下也是如此。這一突破挑戰(zhàn)了半監(jiān)督學(xué)習(xí)僅在低標(biāo)簽數(shù)據(jù)體系中有用的傳統(tǒng)觀念。

(2)規(guī)模和有效性：該方法表明，通過利用大量無標(biāo)簽的數(shù)據(jù)(3億張無標(biāo)簽的圖像)，它可以改進(jìn)在所有128萬張標(biāo)簽的ImageNet圖像上訓(xùn)練的最先進(jìn)的監(jiān)督模型。

(3)噪聲注入：“噪聲”方面涉及在訓(xùn)練期間對“學(xué)生”應(yīng)用數(shù)據(jù)增強、丟棄和隨機深度，這有助于學(xué)習(xí)更健壯的特征。

Noisy Student在像ImageNet這樣具有挑戰(zhàn)性的大規(guī)模數(shù)據(jù)集上突破了性能的界限。它表明，即使在具有豐富的有標(biāo)簽數(shù)據(jù)的場景中，半監(jiān)督學(xué)習(xí)技術(shù)也是有益的，從而擴展了半監(jiān)督學(xué)習(xí)的潛在應(yīng)用。該方法還激發(fā)了對可擴展半監(jiān)督學(xué)習(xí)技術(shù)及其應(yīng)用的進(jìn)一步研究，以改進(jìn)各個領(lǐng)域的最新模型。

Noisy Student在使用大量有標(biāo)簽數(shù)據(jù)的情況下，成功地超越了監(jiān)督學(xué)習(xí)，標(biāo)志著研究人員和實踐者如何看待半監(jiān)督學(xué)習(xí)技術(shù)的潛力的范式轉(zhuǎn)變。

半監(jiān)督學(xué)習(xí)與深度生成模型(2014)：Kingma等人

這篇開創(chuàng)性的論文介紹了一種使用變分自編碼器(VAE)進(jìn)行半監(jiān)督學(xué)習(xí)的新方法。關(guān)鍵的創(chuàng)新在于它如何在一個框架內(nèi)結(jié)合生成學(xué)習(xí)和判別學(xué)習(xí)。

該方法的核心是組合損失函數(shù)，它有兩個主要組成部分：

(1)生成組件：這部分損失確保模型學(xué)習(xí)有效地重構(gòu)輸入數(shù)據(jù)，捕獲底層數(shù)據(jù)分布p(x)。

(2)判別組件：這部分側(cè)重于分類任務(wù)，優(yōu)化對標(biāo)記數(shù)據(jù)的準(zhǔn)確預(yù)測。

組合損失函數(shù)允許模型同時從有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)中學(xué)習(xí)。對于有標(biāo)簽數(shù)據(jù)，這兩個組件都使用。對于無標(biāo)簽數(shù)據(jù)，只有生成組件是活躍的，但它通過學(xué)習(xí)更好的表示間接提高了判別性能。

這種方法解決了利用無標(biāo)簽數(shù)據(jù)來提高分類性能的問題，特別是在標(biāo)簽數(shù)據(jù)缺失的情況下。它為在半監(jiān)督學(xué)習(xí)中使用深度生成模型開辟了新的方向。該方法還展示了生成模型如何改進(jìn)判別任務(wù)，彌合無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)之間的差距，并激發(fā)了生成建模和半監(jiān)督學(xué)習(xí)交叉領(lǐng)域的大量后續(xù)研究。

這項工作為半監(jiān)督學(xué)習(xí)的許多未來發(fā)展奠定了基礎(chǔ)，展示了如何有效地利用深度生成模型從無標(biāo)簽數(shù)據(jù)中提取有用的信息以進(jìn)行分類任務(wù)。

四、應(yīng)用實例

半監(jiān)督學(xué)習(xí)已經(jīng)在各個領(lǐng)域取得了重大進(jìn)展，證明了它在處理大量無標(biāo)簽數(shù)據(jù)方面的多功能性和有效性。以下是一些值得注意的應(yīng)用：

語音識別

2021年，Meta公司(其前身為Facebook)在一個基礎(chǔ)模型上使用半監(jiān)督學(xué)習(xí)進(jìn)行自我訓(xùn)練，該模型訓(xùn)練了100小時有標(biāo)簽的音頻和500小時的無標(biāo)簽數(shù)據(jù)。這種方法將單詞錯誤率降低了33.9%，顯示了半監(jiān)督學(xué)習(xí)在改進(jìn)語音識別系統(tǒng)方面的潛力。

網(wǎng)頁內(nèi)容分類

像Google這樣的搜索引擎使用半監(jiān)督學(xué)習(xí)對網(wǎng)頁內(nèi)容進(jìn)行分類并提高搜索相關(guān)性。該應(yīng)用程序?qū)τ谔幚睚嫶笄也粩嘣鲩L的網(wǎng)頁量至關(guān)重要，可以實現(xiàn)更準(zhǔn)確和有效的內(nèi)容分類。

文本文檔分類

半監(jiān)督學(xué)習(xí)已經(jīng)被證明在構(gòu)建文本分類器方面是有效的。例如，韓國延世大學(xué)開發(fā)的SALnet文本分類器利用LSTM等深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行情感分析等任務(wù)。這展示了半監(jiān)督學(xué)習(xí)在自然語言處理任務(wù)中管理大型無標(biāo)簽數(shù)據(jù)集的能力。

醫(yī)學(xué)圖像分析

2023年，斯坦福大學(xué)的研究人員利用半監(jiān)督學(xué)習(xí)技術(shù)提高了MRI掃描中腦腫瘤分割的準(zhǔn)確性。通過利用一小部分有標(biāo)簽的圖像和大量無標(biāo)簽數(shù)據(jù)，與監(jiān)督學(xué)習(xí)相比，他們在腫瘤檢測精度方面提高了15%。這個應(yīng)用程序突出了半監(jiān)督學(xué)習(xí)在醫(yī)學(xué)成像中的潛力，在醫(yī)學(xué)成像領(lǐng)域，有標(biāo)簽數(shù)據(jù)往往稀缺且獲取成本高昂，但無標(biāo)簽數(shù)據(jù)卻很多。

結(jié)論

半監(jiān)督學(xué)習(xí)如今已經(jīng)成為一種重要的機器學(xué)習(xí)技術(shù)，有效地彌合了大量無標(biāo)簽數(shù)據(jù)和有標(biāo)簽數(shù)據(jù)稀缺之間的差距。通過巧妙地結(jié)合監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)方法，半監(jiān)督學(xué)習(xí)為數(shù)據(jù)標(biāo)記的長期挑戰(zhàn)提供了實用而有效的解決方案。本文深入研究了各種半監(jiān)督學(xué)習(xí)方法，從基本的一致正則化技術(shù)(例如Temporal Ensembling)到尖端的方法(如FixMatch和Noisy Student)。

半監(jiān)督學(xué)習(xí)的多功能性在其跨廣泛領(lǐng)域(包括語音識別、網(wǎng)頁內(nèi)容分類和文本文檔分析)的成功實現(xiàn)中得到了突出的體現(xiàn)。在這個數(shù)據(jù)生成遠(yuǎn)遠(yuǎn)超過標(biāo)記能力的時代，半監(jiān)督學(xué)習(xí)成為機器學(xué)習(xí)發(fā)展的關(guān)鍵技術(shù)，使研究人員和從業(yè)者能夠利用大量無標(biāo)簽數(shù)據(jù)集的潛力。

展望未來，半監(jiān)督學(xué)習(xí)將在人工智能和機器學(xué)習(xí)領(lǐng)域扮演更重要的角色。盡管挑戰(zhàn)依然存在，例如利用極其有限的標(biāo)簽數(shù)據(jù)增強性能，以及將半監(jiān)督學(xué)習(xí)技術(shù)應(yīng)用于更復(fù)雜的現(xiàn)實場景，但該領(lǐng)域的快速發(fā)展表明將會繼續(xù)創(chuàng)新。這些發(fā)展可能會導(dǎo)致模型訓(xùn)練和數(shù)據(jù)解釋的突破性方法。

半監(jiān)督學(xué)習(xí)的核心原則可能會影響并與機器學(xué)習(xí)的其他新興領(lǐng)域交叉，包括小樣本學(xué)習(xí)和自監(jiān)督學(xué)習(xí)。這種思想的交叉融合有望進(jìn)一步擴大半監(jiān)督學(xué)習(xí)的影響，并有可能重塑人們對從有限的標(biāo)簽數(shù)據(jù)中學(xué)習(xí)的理解。

半監(jiān)督學(xué)習(xí)不僅代表了一組技術(shù)，還代表了人們?nèi)绾翁幚韽臄?shù)據(jù)中學(xué)習(xí)這一基本問題的范式轉(zhuǎn)變。隨著半監(jiān)督學(xué)習(xí)的不斷發(fā)展，它很可能是釋放數(shù)字時代特征的大量無標(biāo)簽數(shù)據(jù)資源的全部潛力的關(guān)鍵。

原文標(biāo)題：Semi-Supervised Learning： How To Overcome the Lack of Labels，作者：Aleksandr Timashov