ACM最新論文戳破大公司「開源」謊言，GenAI時代到底如何定義「開源模型」
當我們在談論「開源」時，我們到底在談論什么？
在軟件時代，「開源」的概念并不模糊。我們可以非常清楚自信地說，Linux是開源的，Windows是閉源的。
更具體地說，曾經(jīng)的「開源」是指能夠訪問、修改源代碼，并對程序的使用或發(fā)行不加限制。
但進入AI時代，這個概念變得愈發(fā)模糊。關于人工智能模型的「開源」到底如何界定，社區(qū)和行業(yè)專家仍未達成一致。
成立于1998年的Open Source Initiative（OSI）就始終在主持一個在線論壇，方便對開源AI模型的定義進行公開討論。
他們在官方網(wǎng)站上表示：「對于開源代碼和使用許可的傳統(tǒng)觀點不再適用于AI組件，已經(jīng)不足以保證使用、研究、共享和修改系統(tǒng)的自由。」
OSI的開源AI定義草案從2022年發(fā)起，已經(jīng)修改到了版本0.0.8，最新一版中宣稱，開源AI系統(tǒng)應該提供以下三個方面的信息：
- 訓練數(shù)據(jù)的詳細信息，包括數(shù)據(jù)集、數(shù)據(jù)來源、數(shù)據(jù)范圍和特征、獲取和數(shù)據(jù)選擇方式、標注程序、數(shù)據(jù)清理方法等，以便技術人員可以用相同或相似的數(shù)據(jù)復現(xiàn)模型的效果
- 用于訓練和運行的源代碼，包括支持庫以及預處理、訓練、驗證和測試、推理、模型架構(gòu)等多步驟的代碼
- 模型參數(shù)，包括訓練階段中間關鍵的檢查點（checkpoint）以及最終的優(yōu)化器狀態(tài)
這相比我們平常認知中的「開放源代碼」已經(jīng)擴展了不少內(nèi)容。
最近，荷蘭的兩位學者也注意到了AI行業(yè)「開源」這個定義的模糊性，于是發(fā)表了一篇論文討論這個問題。
文章已被ACM下轄的FAccT會議（Fairness, Accountability and Transparency）接收，并得到了Nature的報道。
論文地址：https://dl.acm.org/doi/10.1145/3630106.3659005
本文創(chuàng)建了一個排行榜，用于識別最「開放」和最「不開放」的模型，并譴責了大公司「掛羊頭賣狗肉」的行為。
共同一作Dingemanse表示，一些大公司聲稱自己的模型開源并從中獲益，卻試圖盡可能少地披露模型信息。論文將這種行為幽默地比喻為open-washing（源于「洗白」white-washing一詞）。
這篇論文也得到了同行的認可，Mozilla基金會可信AI方面的高級研究員Abeba Birhane稱贊這項研究「戳破了當前開源討論中的大量炒作和廢話」。
大公司open-washing，開源≠開放
給模型貼上「開源」的標簽，不僅對社區(qū)和開發(fā)者有不可抗拒的誘惑力，也能在法律和商業(yè)層面帶來豐厚回報。
將模型開源的行為，似乎讓研發(fā)團隊顯得更加嚴謹、透明，而且看起來不那么鉆營于短期利益，而是致力于整個AI行業(yè)的長遠發(fā)展。
此外，歐盟今年通過的人工智能法案也對開源的通用模型有一定的豁免，沒有那么高的透明度要求，讓它們承擔「較少且尚未定義」的義務。
在這樣的背景下，許多LLM都是頂著「開源」光環(huán)出道的，標志之一就是使用博客文章發(fā)布模型。
論文發(fā)現(xiàn)，大公司發(fā)布模型的博客文章中會包含精心設計的表格，并在MMLU、HumanEval、TruthQA等基準上進行打分測試。
這讓發(fā)布者保留了科學研究的光環(huán)，但又巧妙避免了真正發(fā)布科研論文時需要面臨的詳細審查與同行評審，從而不必被迫披露不想公開的數(shù)據(jù)。
那么到底應該用什么樣的標準定義「開源」？
論文提出，鑒于GenAI系統(tǒng)的復雜性，最有效的方法將是把「開放性」視為一個復合且分級的概念。
「復合」體現(xiàn)在由多個因素組成，其中每個因素都可以單獨進行評估；「分級」是因為每個維度都能以不同的程度實現(xiàn)開放，不能賦以「開放/封閉」這樣簡單的二元劃分。
于是，對46個聲稱「開源」或「開放」的大模型以及眾多小型模型，作者進行了多維度的評估與對比，在14個參數(shù)上進行了三分類：開放（open）、部分開放（partially open）還是封閉（closed）。
專注于開放技術的非營利公司OpenUK的CEO認為，在分析開放程度時，使用這種滑動尺度取代簡單粗暴的分類，是更加實際且有用的方法。
14個參數(shù)涵蓋了3個方面——
- 可用性：包括代碼、數(shù)據(jù)、模型權重、指令微調(diào)的數(shù)據(jù)、微調(diào)后的權重
- 文檔：源代碼、模型架構(gòu)的說明文檔，模型卡（model card）、數(shù)據(jù)表（data sheet）、是否發(fā)布了預印本和經(jīng)過同行評審的論文
- 訪問與許可：是否把模型放到公開代碼庫上（如PyPI）作為軟件包發(fā)行，是否提供API訪問，以及模型的許可證
綠色表示開放，黃色表示部分開放，紅色表示封閉
評估結(jié)果
于是有了下面這種文本生成模型的開放性概覽圖，幾乎囊括了你能叫上來名字的所有模型。
可以看到，前十名中除了BLOOMZ和OLMo，幾乎沒有我們認識的模型。這是因為較小的團隊希望通過高標準的公開和透明，來彌補模型在規(guī)模和性能方面的不足。
Allen AI發(fā)布的OLMo系列以及BigScience的Bloom可以說是開源的典范，排在前兩名，接近完全開放的狀態(tài)。
這兩個模型的研發(fā)團隊都在竭盡所能地提供訓練數(shù)據(jù)、代碼、文檔和整個模型的pipeline。值得注意的是，Allen AI與Big Science都是非營利機構(gòu)。
這種做法實在是少數(shù)中的少數(shù)。相比之下，三分之一的系統(tǒng)選擇只提供模型權重，但其他方面幾乎不公開任何細節(jié)
。
那么科技巨頭的表現(xiàn)如何呢？
ChatGPT無疑排名倒數(shù)第一，Cohere、谷歌、微軟等大型玩家都吊在車尾，包括被Meta包裝成開源模型的LLaMA。
在14個維度中，有兩項格外讓人擔憂：一是所有模型幾乎都沒有發(fā)布嚴謹?shù)摹⒔?jīng)過同行評審的論文，二是訓練數(shù)據(jù)的整體不透明性。
除了文本模型，論文也對文生圖模型進行了評估。
在這個排行榜上，OpenAI的DALL-E倒數(shù)第一也在意料之內(nèi)，但Stable Diffusion的表現(xiàn)尤為突出，也幾乎公開了所有信息，相比文本模型榜首的OLMo開放程度更高。
為什么論文只給概覽圖不給評分？是作者在水工作量嗎？
完全不是。對于「評分」這個問題，論文有進一步的考量和闡述。
對同一個概覽圖結(jié)果，用不同的派生方法和權重，你就能得到不同的評分。
換言之，評分是可以被操縱的。
給所有維度分配相同的權重，并分別用1分、0.5分、0分賦給開放、部分開放、封閉三個結(jié)果，就能得到圖2中基于梯度測量的累積性分數(shù)。
想要從分數(shù)轉(zhuǎn)換成分類標簽，可以設置不同的權重和閾值，用不同的方法劃分評分空間就會得到不同的結(jié)果，比如圖3和圖4。
我們目前所面臨的現(xiàn)實，更加接近上面圖5中的情況，也就是讓唯一的指標「一葉障目」，只通過是否有開放許可證或者是否公開了模型權重，判斷系統(tǒng)的開放性。
安全AGI，需要不盲目的開放
應不應該開放？對這個頗有爭議的問題，作者在論文最后給出了自己的觀點。
在完全共享模型每個組件和所有數(shù)據(jù)的「激進式開放」，和被稀釋到極其微弱的「順勢療法開放」（如只公開模型權重）之間，還存在著許多條道路。
完全開放并不是最完美的解決方案，比如AI的不正當使用、有害數(shù)據(jù)的泄露，都是不能忽視的問題。
開放性有不同的程度和維度，對生成式AI的監(jiān)管應該鼓勵有意義的開放。比如訓練和微調(diào)數(shù)據(jù)，有可能在公眾審查和專業(yè)審核的目光下變得更加安全。
但是，在大多數(shù)情況下，開放依舊要好過封閉，這對于系統(tǒng)的風險分析（公眾需要知道）、可審查性（評估人員需要知道）、科學可復現(xiàn)性（科研工作者需要知道）以及法律責任（用戶需要知道）都有重要意義。
對評估人員而言，設計更好的評估框架，得出有意義、基于證據(jù)、多維度的開放性判斷，避免被操縱、偏頗的指標，能夠幫助我們做出更好的決定。
本文轉(zhuǎn)自 新智元 ，作者：新智元
