大語言模型之戰(zhàn)，Stability AI也下場了。

近日， Stability AI宣布推出他們的第一個大語言模型——StableLM。劃重點：它是開源的，在GitHub上已經(jīng)可用。

模型從3B和7B參數(shù)開始，隨后會有15B到65B的版本。

并且， Stability AI還發(fā)布了用于研究的RLHF微調(diào)模型。

項目地址：https://github.com/Stability-AI/StableLM/

雖然OpenAI不open，但開源的社區(qū)已經(jīng)百花齊放了。以前我們有Open Assistant、Dolly 2.0，現(xiàn)在，我們又有了StableLM。

實測體驗

現(xiàn)在，我們可以在Hugging Face上試試StableLM微調(diào)聊天模型的demo。

具體StableLM能做到什么程度，一看便知。

比如，你可以問它如何制作花生醬三明治時，它會給你一個復(fù)雜、略顯荒謬的食譜。

或者寫一首神經(jīng)網(wǎng)絡(luò)與符號人工智能的史詩級說唱對決：

再或者寫一封「吉祥話郵件」（文本生成）：

以及，用C語言計算生命的意義（代碼生成）：

不過，有國外的媒體記者親測了一下StableLM，結(jié)果發(fā)現(xiàn)：在一本正經(jīng)地胡說八道這方面，它跟前輩ChatGPT比起來，也是不遑多讓。

比如，如果問它2021年1月6日那天發(fā)生了什么？它會告訴你：特朗普的支持者控制了立法機(jī)關(guān)。

如果Stable LM預(yù)期的主要用途并不是文本生成，那它可以做什么呢？

如果拿這個問題親自問它，它會說出這樣一些套話，「它主要用作系統(tǒng)工程和體系結(jié)構(gòu)中的決策支持系統(tǒng)，也可以用于統(tǒng)計學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等領(lǐng)域?！?/span>

另外，Stable LM顯然缺乏對某些敏感內(nèi)容的保護(hù)。比如，給它進(jìn)行一下著名的「不要贊美希特勒」測試，它的回答也是令人大跌眼鏡。

不過，咱們倒是不急著管它叫「有史以來最糟糕的語言模型」，畢竟它是開源的，因此這個黑匣子AI允許任何人窺視盒子內(nèi)部，查一查到底是哪些潛在原因?qū)е铝诉@個問題。

StableLM

Stability AI官方聲稱：Alpha版本的StableLM有30億和70億個參數(shù)，之后還有150億到650億參數(shù)的后續(xù)版本。

StabilityAI還豪橫地表示，開發(fā)者隨便用。只要遵守相關(guān)條款，不管是檢查、應(yīng)用還是改編基礎(chǔ)模型，想怎么來怎么來。

StableLM功能強(qiáng)大，不光可以生成文本和代碼，還能給下游應(yīng)用提供技術(shù)基礎(chǔ)。它是一個很好的范例，展示了小型、高效的模型通過適當(dāng)訓(xùn)練就可以有足夠高的性能。

早年間，Stability AI和非營利性研究中心Eleuther AI一起開發(fā)過早期的語言模型，可以說，Stability AI積淀很深。

像什么GPT-J、GPT-NeoX和Pythia，這都是兩家公司合作訓(xùn)練的產(chǎn)物，在The Pile開源數(shù)據(jù)集上訓(xùn)練完成。

而后續(xù)的更多開源模型，比如Cerebras-GPT和Dolly-2都是上面三兄弟的后續(xù)產(chǎn)品。

說回StableLM，它是在建立在The Pile基礎(chǔ)上的新數(shù)據(jù)集上訓(xùn)練的，該數(shù)據(jù)集包含1.5萬億個token，大約是The Pile的3倍。模型的上下文長度為4096個token。

在即將發(fā)布的技術(shù)報告中，Stability AI會公布模型的規(guī)模和訓(xùn)練設(shè)置。

作為概念驗證，團(tuán)隊用斯坦福大學(xué)的Alpaca對模型進(jìn)行了微調(diào)，并使用了最近的五個對話代理的數(shù)據(jù)集的組合：斯坦福大學(xué)的Alpaca、Nomic-AI的gpt4all、RyokoAI的ShareGPT52K數(shù)據(jù)集、Databricks labs的Dolly和Anthropic的HH。

這些模型將作為StableLM-Tuned-Alpha發(fā)布。當(dāng)然，這些微調(diào)過的模型僅僅用于研究，屬于非商業(yè)性質(zhì)。

后續(xù)，Stability AI還將會公布新數(shù)據(jù)集的更多細(xì)節(jié)。

其中，新數(shù)據(jù)集十分豐富，這也是為什么StableLM的性能很棒。雖說參數(shù)規(guī)模目前來看還是有點?。ê虶PT-3 1750億個參數(shù)相比是這樣的）。

Stability AI表示，語言模型是數(shù)字時代的核心，我們希望每個人都能在語言模型中有發(fā)言權(quán)。

而StableLM的透明性?？稍L問性、支持性等特點也是踐行了這個觀念。

• StableLM的透明性：

體現(xiàn)透明性最好的方式就是開源。開發(fā)者可以深入到模型內(nèi)部，驗證性能、識別風(fēng)險，并且一同開發(fā)一些保護(hù)措施。有需要的公司或部門還可以就著自己的需求對該模型進(jìn)行調(diào)整。

• StableLM的可訪問性：

日常用戶可以隨時隨地在本地設(shè)備上運行該模型。開發(fā)人員可以應(yīng)用模型來創(chuàng)建并使用硬件兼容的獨立應(yīng)用程序。這樣一來，AI所帶來的經(jīng)濟(jì)利益就不會被某幾個企業(yè)瓜分，紅利屬于所有日常用戶和開發(fā)者社群。

這是封閉模型所做不到的。

• StableLM的支持性：

Stability AI建立模型支持用戶們，而不是取代。換句話說，開發(fā)出來便捷好用的AI是為了幫助人們更高效地處理工作，提供人們的創(chuàng)造力、生產(chǎn)力。而非試圖開發(fā)一個天下無敵的東西取代一切。

Stability AI表示，目前這些模型已經(jīng)在GitHub公布，未來還會有完整的技術(shù)報告問世。

Stability AI期待和廣泛的開發(fā)者和研究人員進(jìn)行合作。同時，他們還表示將啟動眾包RLHF計劃，開放助手合作，為AI助手創(chuàng)建一個開源的數(shù)據(jù)集。

開源先驅(qū)之一

Stability AI這個名字，對我們來說已經(jīng)是如雷貫耳了。它正是大名鼎鼎的圖像生成模型Stable Diffusion背后的公司。

如今，隨著StableLM的推出，可以說Stability AI在用AI造福所有人的路上越走越遠(yuǎn)了。畢竟，開源一向是他們的優(yōu)良傳統(tǒng)。

在2022年，Stability AI提供了多種方式讓大家使用Stable Diffusion，包括公開demo、軟件測試版和模型的完整下載，開發(fā)人員可以隨意使用模型，進(jìn)行各種集成。

作為一個革命性的圖像模型，Stable Diffusion代表著一個透明、開放和可擴(kuò)展的專有AI替代方案。

顯然，Stable Diffusion讓大家看到了開源的各種好處，當(dāng)然也會有一些無法避免的壞處，但這無疑是一個有意義的歷史節(jié)點。

（上個月，Meta的開源模型LLaMA的一場「史詩級」泄漏，產(chǎn)生了一系列表現(xiàn)驚艷的ChatGPT「平替」，羊駝家族像宇宙大爆炸一樣噌噌地誕生：Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……）

不過，Stability AI也警告說，雖然它使用的數(shù)據(jù)集應(yīng)該有助于「將基本的語言模型引導(dǎo)至更安全的文本分布中，但并不是所有的偏見和毒性都可以通過微調(diào)來減輕?！?/span>

爭議：該不該開源？

這些天，我們見證了開源文本生成模型井噴式的增長，因為大大小小的公司都發(fā)現(xiàn)了：在越來越有利可圖的生成式AI領(lǐng)域，出名要趁早。

過去一年里，Meta、Nvidia和像 Hugging Face支持的BigScience項目這樣的獨立團(tuán)體，都發(fā)布了與GPT-4和Anthropic的Claude這些「私有」API模型的平替。

很多研究者嚴(yán)厲地批評了這些跟StableLM類似的開源模型，因為可能會有不法分子別有用心地利用它們，比如創(chuàng)建釣魚郵件，或者協(xié)助惡意軟件。

但Stablity AI堅持認(rèn)為：開源就是最正確的路。

Stability AI強(qiáng)調(diào)，「我們把模型開源，是為了提高透明度和培養(yǎng)信任。研究人員可以深入了解這些模型，驗證它們的性能、研究可解釋性技術(shù)、識別潛在風(fēng)險，并協(xié)助制定保護(hù)措施?！?/span>

「對我們模型的開放、細(xì)粒度訪問，允許廣大的研究和學(xué)術(shù)界人士，開發(fā)出超越封閉模型的可解釋性和安全技術(shù)?！?/span>

Stablity AI的說法確實有道理。就算是GPT-4這樣具有過濾器和人工審核團(tuán)隊的業(yè)內(nèi)頂尖模型，也無法避免毒性。

并且，開源模型顯然需要更多的努力來調(diào)整、修復(fù)后端——特別是如果開發(fā)人員沒有跟上最新的更新的話。

其實追溯歷史，Stability AI從來沒有回避過爭議。

前一陣，它就處于侵權(quán)法律案件的風(fēng)口浪尖，有人指控它使用網(wǎng)絡(luò)抓取的受版權(quán)保護(hù)的圖像，開發(fā)AI繪圖工具，侵犯了數(shù)百萬藝術(shù)家的權(quán)利。

另外，已經(jīng)有別有用心的人，利用Stability的AI工具，來生成許多名人的深度偽造色情圖片，和充滿暴力的圖片。

盡管Stability AI在博文中，強(qiáng)調(diào)了自己的慈善基調(diào)，但Stability AI也面臨著商業(yè)化的壓力，無論是藝術(shù)、動畫、生物醫(yī)學(xué)，還是生成音頻領(lǐng)域。

Stability AI CEO Emad Mostaque已經(jīng)暗示了要上市的計劃，Stability AI去年估值超過了10億美元，并且獲得了超過1億美元的風(fēng)投。不過，據(jù)外媒Semafor報道，Stability AI「正在燒錢，但在掙錢方面進(jìn)展緩慢?！?/span>