大羊駝LLaMa競品來了：AI畫圖最火公司開源語言模型，最小30億參數(shù)
出 Stable Diffusion 的公司也出語言大模型了，效果還挺好。本周三，StableLM 的發(fā)布引來了科技圈的關(guān)注。
Stability AI 是近期勢頭正盛的創(chuàng)業(yè)公司，因為開源的 AI 畫圖工具 Stable Diffusion 而飽受好評。在周三的發(fā)布中，該公司宣布其語言大模型現(xiàn)已可供開發(fā)人員在 GitHub 上使用和改編。
與業(yè)內(nèi)標桿 ChatGPT 一樣，StableLM 旨在高效地生成文本和代碼。它在名為 Pile 的開源數(shù)據(jù)集的更大版本上進行訓練，其中包含來自各種來源的信息，包括維基百科、Stack Exchange 和 PubMed，共 22 個數(shù)據(jù)集，容量達到 825GB，1.5 萬億個 token。
Stability AI 表示，StableLM 模型目前可用版本的參數(shù)在 30 億到 70 億之間，未來將有 15 億到 650 億范圍的多種參數(shù)模型可用。
項目鏈接：https://github.com/stability-AI/stableLM/
根據(jù)目前人們的測試，如果跑 7B 模型（8 bit），需要用到 12GB 的顯存。
Stability AI 也放出了一些 StableLM 的問答示例：
StableLM 基于 Stability AI 此前與非營利組織 EleutherAI 合作開發(fā)的開源語言模型，包括 GPT-J、GPT-NeoX 和 Pythia，新模型面向盡可能大的用戶群。此前在 Stable Diffusion 上，Stability AI 通過多種方式提供其文本到圖像 AI 的技術(shù)，包括公開演示、軟件測試版和模型的完整下載，也允許開發(fā)人員使用其工具并進行各種集成。
相比 OpenAI 的封閉，Stability AI 一直把自身定位為 AI 研究社區(qū)的一員，我們大概率會在 StableLM 上看到和上月發(fā)布的 Meta 開源 LLaMa 語言模型同樣的情況。大量基于原版模型的算法可能會出現(xiàn)，在較小模型體量之上實現(xiàn)很好的效果。
StableLM 的微調(diào)版聊天界面。
此外，現(xiàn)在每個人都可以嘗試在 Hugging Face 上托管的 StableLM 微調(diào)聊天模型上和 AI 進行對話：https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat
和所有語言大模型一樣，StableLM 模型仍然存在「幻覺」問題，如果你嘗試問它如何制作花生醬三明治，StableLM 會給出一個非常復雜且荒謬的食譜。它還建議人們在慰問卡上添加一張「有趣的圖畫」。
Stability AI 警告說，雖然它使用的數(shù)據(jù)集應該有助于「將基礎(chǔ)語言模型引導到『更安全』的文本分布中，但并不是所有的偏見和毒性都可以通過微調(diào)來減輕。
現(xiàn)在 StableLM 模型已在 GitHub 存儲庫中上線。Stability AI 表示將在不久的將來發(fā)布一份完整的技術(shù)報告，此外還將啟動眾包 RLHF 計劃，并與 Open Assistant 等社區(qū)合作，為 AI 聊天助手創(chuàng)建一個開源數(shù)據(jù)集。
