160億參數(shù)，新增多項能力，復(fù)旦MOSS開源了
今年 2 月份，機器之心報道了復(fù)旦大學(xué)推出中國版 ChatGPT 的消息（參見《復(fù)旦發(fā)布中國版 ChatGPT：MOSS 開啟測試沖上熱搜，服務(wù)器擠爆》），引起了廣泛關(guān)注。當時，邱錫鵬教授就曾表示將于四月份開源 Moss。
昨天，開源版的 Moss 真的來了。
項目地址：https://github.com/OpenLMLab/MOSS
MOSS 是一個支持中英雙語和多種插件的開源對話語言模型，但參數(shù)數(shù)量比 ChatGPT 少得多。在 v0.0.2 之后，團隊持續(xù)對其進行調(diào)整，推出了 MOSS v0.0.3，也就是目前開源的版本。相比于早期版本，功能也實現(xiàn)了多項更新。
最初的測試中，MOSS 的基礎(chǔ)功能與 ChatGPT 類似，可以按照用戶輸入的指令完成各類自然語言處理任務(wù)，包括文本生成、文本摘要、翻譯、代碼生成、閑聊等等。
開放內(nèi)測后，團隊繼續(xù)加大中文語料的預(yù)訓(xùn)練：「截止目前，MOSS 003 的基座語言模型已經(jīng)在 100B 中文 token 上進行了訓(xùn)練，總訓(xùn)練 token 數(shù)量達到 700B，其中還包含約 300B 代碼。」
在開放內(nèi)測后，我們也收集了一些用戶數(shù)據(jù)，我們發(fā)現(xiàn)真實中文世界的用戶意圖和 OpenAI InstructGPT 論文中披露的 user prompt 分布有較大差異（這不僅與用戶來自的國家差異有關(guān)，也跟產(chǎn)品上線時間有關(guān)，早期產(chǎn)品采集的數(shù)據(jù)中存在大量對抗性和測試性輸入），于是我們以這部分真實數(shù)據(jù)作為 seed 重新生成了約 110 萬常規(guī)對話數(shù)據(jù)，涵蓋更細粒度的 helpfulness 數(shù)據(jù)和更廣泛的 harmlessness 數(shù)據(jù)。
內(nèi)容來源：https://www.zhihu.com/question/596908242/answer/2994534005
目前，團隊已將 moss-moon-003-base、moss-moon-003-sft、moss-moon-003-sft-plugin 三個模型上傳到 HuggingFace。后續(xù)，還有三個模型將會開源。
根據(jù)項目主頁介紹，moss-moon 系列模型具有 160 億參數(shù)，在 FP16 精度下可在單張 A100/A800 或兩張 3090 顯卡運行，在 INT4/8 精度下可在單張 3090 顯卡運行。
團隊同時表示，由于模型參數(shù)量較小和自回歸生成范式，MOSS 仍然可能生成包含事實性錯誤的誤導(dǎo)性回復(fù)或包含偏見 / 歧視的有害內(nèi)容，請謹慎鑒別和使用 MOSS 生成的內(nèi)容，請勿將 MOSS 生成的有害內(nèi)容傳播至互聯(lián)網(wǎng)。
新增能力
在 MOSS v0.0.3 中，團隊加入了多項新能力。
團隊構(gòu)造了約 30 萬插件增強的對話數(shù)據(jù)，包含搜索引擎、文生圖、計算器、方程求解等。關(guān)于插件版 MOSS 如何使用，后續(xù)團隊將在 GitHub 公布。
MOSS v0.0.3 現(xiàn)已引入使用多種插件的能力。
下圖展示了調(diào)用搜索引擎的能力：
下圖展示了調(diào)用方程求解器的能力：
下圖展示了從文本生成圖片的能力：
項目作者孫天祥補充說，MOSS 003 支持啟用插件的能力是通過 meta instruction 來控制，類似 gpt-3.5-turbo 里的 system prompt。「因為是模型控制的，所以并不能保證 100% 控制率，以及還存在一些多選插件時調(diào)用不準、插件互相打架的缺陷，我們正在盡快開發(fā)新的模型來緩解這些問題。」
下載安裝
下載本倉庫內(nèi)容至本地 / 遠程服務(wù)器：
創(chuàng)建 conda 環(huán)境：
安裝依賴：
其中 torch 和 transformers 版本不建議低于推薦版本。
根據(jù)協(xié)議，開源的 MOSS 可用于商業(yè)用途：
此外，開發(fā)者也可通過 API 調(diào)用 MOSS 服務(wù)，團隊將根據(jù)當前服務(wù)壓力考慮通過 API 接口形式提供服務(wù)，接口格式可參考：https://github.com/OpenLMLab/MOSS/blob/main/moss_api.pdf
目前，已有開發(fā)者根據(jù)開源內(nèi)容進行而創(chuàng)，比如通過 VideoChat 進行視頻問答。
VideoChat 是一款多功能視頻問答工具，結(jié)合了動作識別、視覺字幕和 StableLM 的功能。該工具可為視頻中的任何對象和動作生成密集的描述性字幕，提供一系列語言風(fēng)格以滿足不同的用戶偏好。它支持用戶進行不同長度、情緒、語言真實性的對話。
項目地址：https://github.com/OpenGVLab/Ask-Anything/tree/main/video_chat_with_MOSS
