LeCun 70頁長篇巨作！自監(jiān)督學習「葵花寶典」，手把手教你學會
一本自監(jiān)督學習全套攻略來了！
今天，Yann LeCun、田淵棟等機構的研究者共同發(fā)表了一篇70頁論文「自監(jiān)督學習的食譜」。
LeCun稱，你曾經想知道，卻又不敢問的自監(jiān)督學習內容全在這兒了。
先來看看這篇論文陣容有多強大，除了Meta AI的研究員，還匯集了紐約大學、馬里蘭大學、加利福尼亞大學戴維斯分校、蒙特利爾大學等6所大學研究人員的智慧。
可想而知，這篇論文含金量有多足了。
論文地址：https://arxiv.org/pdf/2304.12210.pdf
自監(jiān)督學習（SSL），被稱為人工智能的暗物質，是推進機器學習發(fā)展的一條有希望的道路。
然而，就像烹飪一樣，SSL是一門精致的藝術，有很高的門檻。
盡管人們對許多組件非常熟悉，但成功地訓練一個SSL，需要做出從假設任務，到訓練超參數等一系列令人眼花繚亂的選擇。
這篇最新論文的目標就是，降低進入SSL研究的門檻，像烹飪書方式一樣提供最新的「SSL食譜」。
Meta的研究科學家田淵棟表示，如果你想做SSL研究，就來看看這本書吧。
70頁巨長論文看似讓人勸退，但其實參考文獻就占了26頁。
SSL烹飪指南
這篇論文究竟講了什么內容，先來看看滿屏糊臉的目錄。
正如論文作者所稱，要成功烹飪，你必須首先學習基本的技巧：切菜、炒菜等。
第一部分主要介紹什么是SSL，重要性，以及寫這本「食譜」的主要原因。
第二部分講了SSL的家族和來源，給出了常用詞匯，從自我監(jiān)督學習的基本技巧開始手把手教你。
其中包括：
-SSL的起源
-深度度量學習家族：SimCLR/NNCLR/MeanSHIFT/SCL
-自蒸餾家族：BYOL/SimSIAM/DINO
-典型相關分析家族：VICReg/BarlowTwins/SWAV/W-MSE
-掩碼圖像建模
-自監(jiān)督學習的理論統(tǒng)一：SSL理論研究；表征的維度坍縮
-預訓練數據
方法有了，接下來，廚師必須學會熟練運用這些技巧，做出一道美味的菜肴。
這不僅需要學習現有的食譜，還要會自己組合食材，并會評估這道菜。
因此，第三部分就是重中之重了。
這部分主要介紹了常見的訓練方法，包括超參數的選擇，如何使用組建，以及評估方法。
-數據增強的作用：multi-crop的作用
-projector的作用
-SSL的統(tǒng)一先驗還是SSL在不平衡數據上的失敗
-教師學生架構具體策略：移除平均教師的作用；projector在自標記SSL中的作用
-標準超參數的作用：
小批量大小的作用；學習率（調度器）和優(yōu)化器的作用；重量衰減的作用；Transformer注意事項
-高性能掩碼圖像建模技術
-評估SSL模型：帶標簽評估；無標簽評估；超越分類；視覺評估
-提速訓練：分布式訓練；用FFCV和其他加速訓練更快；加速視覺Transformer的訓練
第四部分：將自監(jiān)督學習擴展到圖像和分類之外
-其他數據域的策略
-將多個模式納入SSL訓練
-用本地化方法構建密集預測任務的特征提取器
在此，作者還分享了前沿的研究人員關于常見訓練配置，以及陷阱的實用技巧。
最后，文章總結道，自監(jiān)督學習（SSL）為提高機器智能建立了一個新的范式。
盡管取得了許多成功，但SSL仍然是一個令人生畏的領域，其中包含了許多復雜的實現方法。
由于研究的快速發(fā)展和SSL方法的廣泛應用，要了解這個領域仍然具有挑戰(zhàn)性。
這對于那些最近加入該領域的研究者和從業(yè)者來說是一個問題，從而為SSL研究和部署創(chuàng)造了很高的進入門檻。
作者希望這個實用指南能夠幫助降低這些壁壘，使任何背景的好奇研究者都能探索各種方法，了解各種調整參數的作用，并獲得在SSL領域取得成功所需的技能。
AI暗物質
2021年，LeCun曾在自家博客上發(fā)文首次提出，自監(jiān)督學習是「人工智能暗物質」這一概念。
一直以來，人工智能系統(tǒng)在標記數據中學習取得了很大的進展。然而，這些模型僅在訓練專家模型時表現得非常好，應用非常有限。
實際上，給世界上所有東西貼上標簽是無法窮盡的。這就不得不另辟蹊徑，許多研究者發(fā)現，監(jiān)督學習是構建更智能「多面手」模型更有力的方法。
如果AI系統(tǒng)能夠收集到比訓練數據集更深入、更細致的現實理解，最終能夠實現接近人類智能水平的智能。
我們認為，自監(jiān)督學習是在人工智能系統(tǒng)中構建這種背景知識和近似常識形式的最有前途的方法之一。
SSL從數據本身獲得監(jiān)督信號，通常利用數據中的底層結構。自監(jiān)督學習的一般技術是預測任何未觀察到的，或隱藏的輸入部分 (或屬性) 。
此外，還可以預測，視頻中過去或未來的幀(隱藏數據)和當前的幀(觀察數據)。
由于SSL使用的是數據本身的結構，所以它可以實現跨模式的能力，比如（視頻、音頻），以及跨大型數據集利用各種監(jiān)督信號。
在計算機視覺領域，自監(jiān)督學習通過在10億張圖像上訓練的SEER等模型，推動了數據規(guī)模的擴大。
SSL計算機視覺方法已經能夠匹配，或在某些情況下超過模型訓練的標記數據，甚至也包括競爭基準ImageNet。
此外，自監(jiān)督學習也被成功地應用在其他形式，如視頻、音頻和時間序列。
自監(jiān)督學習定義了一個基于未標記輸入的前提任務，以產生描述性和可理解的表示。
在自然語言中，一個常見的SSL目標是在文本中掩蓋一個詞去預測周圍的詞。這種目標預測是為了鼓勵模型來捕捉文本和詞語之間的關系，并且不需要任何標簽。
相同的SSL模型表示可以在一系列下游任務中使用，比如翻譯文本、匯總、甚至生成文本等任務。
可見，SSL使人工智能系統(tǒng)能夠從巨量的數據中學習，這對于識別和理解更微妙、更不常見的世界表示模式很重要。
網友熱評
一位網友對自己博士要做的領域產生疑問，向LeCun求助：
「還值得攻讀人工智能博士學位嗎？我想做醫(yī)學領域的多模態(tài)診斷模型。但隨著最近新模型的涌現，我擔心會被大公司悄悄地超越，或者因沒有做出任何重大貢獻而浪費時間?！?/span>
在LeCun看來，
1. 大多數好的想法仍然來自學術界。你只管做自己的。沒有必要去超越一個強大的基準。
2. 做的研究遠離工業(yè)界占主導地位的大規(guī)模應用就可以了
3. 你認為誰在工業(yè)界做人工智能研發(fā)？依舊是博士們。
我認為 「暗物質g」代表了本世紀MI/GI的主流方法，SSL是其中的一個先驅。其背后有著嚴肅的科學，這是Brain Cantwell Smith在他2019年的書中論證的一個核心主題。
從LLaMa的開源，再到LeCun自劍盾學習攻略，Meta在開源上做了很多。
網友稱贊，這段時間，Meta在生成式人工智能和自我監(jiān)督學習方面做出了巨大貢獻。對SSL總結工作非常好，非常感激。
