作者 | 徐杰承
審校 | 云昭
51CTO讀者成長計劃社群招募，咨詢小助手（微信號：TTalkxiaozhuli）
OpenAI借助ChatGPT所點(diǎn)燃的大語言模型（LLM）之火已在全球范圍內(nèi)燃燒了4個月有余，而在此期間，OpenAI與微軟所推出的一系列基于GPT3.5或GPT4模型的AI產(chǎn)品也紛紛在不同領(lǐng)域取得了亮眼的表現(xiàn)。
然而令人略感失望的是，作為如今LLM圈內(nèi)絕對的領(lǐng)頭羊，OpenAI并沒有遵從其創(chuàng)立初衷，無論是ChatGPT早期所使用的的GPT3、GPT3.5還是此后推出的GPT4模型，OpenAI都因“暫無法保證其不被濫用”為由拒絕了對模型開源，開啟了訂閱付費(fèi)模式。
對于大型科技企業(yè)而言，不管是出于秀肌肉還是出于商業(yè)競爭目的，自研LLM都是一條幾乎無可避免的道路。但對于缺少算力和資金的中小企業(yè)以及希望基于LLM開發(fā)衍生產(chǎn)品的開發(fā)者來說，選擇開源顯然是更理想的一條路線。
那么就目前來看，在LLM領(lǐng)域，都有哪些優(yōu)質(zhì)的開源模型可供選擇？開源與閉源的運(yùn)作模式又會對模型的迭代產(chǎn)生哪些影響呢？本文將帶你一睹LLM圈優(yōu)質(zhì)開源模型的最新信息。
1、Meta：LLaMA，生態(tài)發(fā)展蓬勃
幾周前，MetaAI推出了大語言模型LLaMA，其不同版本包括70億、130億、330億和650億的參數(shù)，雖然比GPT3還小，但LLaMA在許多任務(wù)上的性能都能夠追平甚至超越GPT3。
更值得注意的是，作為體量更小的模型，LLaMA不需要太多資源就能流暢運(yùn)行，且LLaMA的訓(xùn)練成本及訓(xùn)練速度都要優(yōu)于GPT3.5。
而有趣的是，LLaMA起初并未開源，但在發(fā)布后不久，模型便在4chan論壇上泄露了。然而這個烏龍事件卻也使LLaMA因禍得福，在“被迫”開源后，LLaMA引發(fā)了大量開發(fā)者的關(guān)注，基于其構(gòu)建的模型也如雨后春筍般誕生。這場本應(yīng)是不幸的事情也使得LLaMA成為了如今LLM領(lǐng)域最具影響力的創(chuàng)新來源之一。
項目地址：github.com/facebookresearch/llama
2、斯坦福大學(xué)：Alpaca，性價比拉滿
Alpaca是斯坦福大學(xué)通過Meta的LLaMA 70億微調(diào)而成的全新模型，僅使用了52k數(shù)據(jù)，但其性能卻基本達(dá)到了GPT3.5的水平。而Alpaca的關(guān)鍵優(yōu)勢則在于低到出奇的訓(xùn)練成本——僅需不到600美元。
斯坦福大學(xué)的研究人員表示，Alpaca表現(xiàn)出了許多類似于OpenAI的GPT3模型的行為，但相比于GPT3，Alpaca的體積更小且各項能力更易于重現(xiàn)。
截至目前，斯坦福團(tuán)隊已在GitHub上開源了Alpaca模型微調(diào)所用到的數(shù)據(jù)集和代碼，并提供了一個在線演示網(wǎng)站供用戶體驗。數(shù)據(jù)集包含了5.2萬個由OpenAI API生成并人工篩選過后的問題-答案對。代碼則基于華盛頓大學(xué)去年提出的Self-Instruct方法，讓AI自己從種子任務(wù)中組合出新任務(wù)，并生成相應(yīng)答案。
項目地址：https://github.com/tatsu-lab/stanford_alpaca
3、Databricks：Dolly2.0，全開源可商用
沒錯，這個模型正是借用了克隆羊Dolly的名字。4月12日，Databricks發(fā)布了Dolly 2.0大型語言模型。Databricks表示，Dolly2.0是業(yè)內(nèi)第一個開源、指令跟隨型LLM，其在透明免費(fèi)的數(shù)據(jù)集上進(jìn)行微調(diào)，可用于研究和商業(yè)用途。此外，Databricks還發(fā)布了Dolly 2.0在其上進(jìn)行微調(diào)的數(shù)據(jù)集，稱為databricks-dolly-15k。
作為Dolly模型的升級版，Dolly2.0使用了基于 EleutherAI的Pythia模型家族中的120億參數(shù)語言模型。雖然由于參數(shù)量和數(shù)據(jù)限制，Dolly2.0的綜合性能表現(xiàn)略遜于同類型大模型，但對大部分開發(fā)者而言也已經(jīng)足夠了。并且Dolly2.0完全開源及可商用的屬性，使其順理成章的成為中小企業(yè)及個人開發(fā)者的福音。
項目鏈接：https://huggingface.co/databricks/dolly-v2-12b
4、Hugging Face：BLOOM，體量驚人
BLOOM是去年由1000多名志愿者在一個名為BigScience的項目中創(chuàng)建的，該項目由AI初創(chuàng)公司Hugging Face利用法國政府的資金運(yùn)作的。BLOOM擁有1760億參數(shù)，研究人員表示它提供了與GPT3模型相似的準(zhǔn)確性和有毒文本生成水平。
作為目前體量最大的開源大型語言模型之一，BLOOM的訓(xùn)練集包含45種自然語言（含中文）和12種編程語言，1.5TB的預(yù)處理文本轉(zhuǎn)化為了350B的唯一token。實(shí)驗證明BLOOM在各種基準(zhǔn)測試中都取得了有競爭力的表現(xiàn)，在經(jīng)過多任務(wù)提示微調(diào)后也取得了更好的結(jié)果。
項目地址：huggingface.co/bigscience/bloom
5、阿卜杜拉國王科技大學(xué)MiniGPT4，圖像對話能力可觀
MiniGPT4是近期由沙特阿拉伯阿卜杜拉國王科技大學(xué)研究團(tuán)隊推出的一款全新開源模型。據(jù)研究人員透露，MiniGPT4具有許多類似于GPT4的功能。除了可執(zhí)行復(fù)雜的視覺語言任務(wù)外，MiniGPT4還擁有與GPT4相似的圖片解析功能。
研究團(tuán)隊所發(fā)布的論文顯示，為了構(gòu)建MiniGPT4，研究人員使用了基于LLaMA所構(gòu)建的Vicuna作為語言解碼器，并使用BLIP-2視覺語言模型作為視覺解碼器，且由于使用開源軟件的緣故，MiniGPT可以用較少的數(shù)據(jù)和費(fèi)用進(jìn)行訓(xùn)練和微調(diào)。雖然由于模型發(fā)布較晚，該模型相關(guān)測評并未公布，但據(jù)GitHub顯示，目前該研究團(tuán)隊已將MiniGPT的代碼、預(yù)訓(xùn)練模型和數(shù)據(jù)集進(jìn)行了開源。
項目地址：github.com/Vision-CAIR/MiniGPT-4
6、Stability AIStableLM，萬億token訓(xùn)練
4月19日，Stability AI發(fā)布了一個新的開源語言模型——StableLM。該模型的Alpha版本有30億和70億參數(shù)，后續(xù)還會推出150億和650億參數(shù)的版本。根據(jù)CC BY-SA-4.0許可證的條款，開發(fā)人員可以出于商業(yè)或研究目的自由檢查、使用和修改我們的StableLM基本模型。
據(jù)官方介紹，StableLM的構(gòu)建基于非盈利研究中心EleutherAI所開源的多個語言模型，包括GPT-J，GPT-NeoX等，該模型在The Pile基礎(chǔ)上構(gòu)建的新數(shù)據(jù)集上進(jìn)行訓(xùn)練，該數(shù)據(jù)集包含 1.5 萬億個token。可支持4096的上下文寬度，且RL調(diào)試模型可用。
但值得注意的是，該模型并為發(fā)布基準(zhǔn)測試，也沒有發(fā)布有關(guān)模型的詳細(xì)信息，其基本型號上也存在一些限制性許可證。并且StableLM會抓取ChatGPT的輸出內(nèi)容，這會違反OpenAI的使用條款，OpenAI有權(quán)在收到通知后終止用戶的訪問。因此，在進(jìn)行商用時，該模型依然存在一定的潛在風(fēng)險。
項目地址：github.com/Stability-AI/StableLM/issues
7、元語智能ChatYuan，首個中文開源對話模型
作為首個中文版開源對話模型，元語智能ChatYuan大模型自發(fā)布以來便在人工智能社區(qū)引發(fā)了廣泛的討論。而在近期，元語智能團(tuán)隊再次開源了一個全新ChatYuan系列大模型：ChatYuan-large-v2。
據(jù)介紹，ChatYuan-large-v2支持在單張消費(fèi)級顯卡、PC甚至手機(jī)上進(jìn)行推理使用。新版本支持中英雙語、支持輸入輸出總長度最長4k，這也是繼此前PromptCLUE-base、PromptCLUE- v1-5、ChatYuan-large-v1模型之后，元語智能的再一力作。
技術(shù)方面，ChatYuan-large-v2使用了和v1版本相同的方案，并在指令微調(diào)、人類反饋強(qiáng)化學(xué)習(xí)、思維鏈等方面進(jìn)行了優(yōu)化。作為ChatYuan系列模型中的代表，ChatYuan-large-v2僅通過7億參數(shù)量可以實(shí)現(xiàn)業(yè)界100億參數(shù)模型的基礎(chǔ)效果。
項目地址：https://github.com/clue-ai/ChatYuan
8、清華大學(xué)ChatGLM，開辟小而精方向
ChatGLM是由清華技術(shù)成果轉(zhuǎn)化的公司智譜AI開發(fā)的開源、支持中英雙語的對話語言模型，基于General Language Model (GLM) 架構(gòu)研發(fā)，擁有62億參數(shù)，支持在單張消費(fèi)級顯卡上進(jìn)行推理使用，在保障平民消費(fèi)能力的情況下，具有小而精的特點(diǎn)。
ChatGLM當(dāng)前版本模型的能力提升主要來源于獨(dú)特的千億基座模型GLM-130B。其不同于BERT、GPT-3以及T5架構(gòu)，包含多目標(biāo)函數(shù)的自回歸預(yù)訓(xùn)練模型。研發(fā)團(tuán)隊參考了ChatGPT的設(shè)計思路，為ChatGLM在基座模型GLM-130B中注入了代碼預(yù)訓(xùn)練，通過有監(jiān)督微調(diào)等技術(shù)實(shí)現(xiàn)人類意圖對齊。
從具體數(shù)據(jù)及測試表現(xiàn)來看，ChatGLM具備兼具雙語能力；易微調(diào)、部署門檻低；支持長對話與應(yīng)用以及內(nèi)容輸出格式簡單等優(yōu)勢。但由于模型容量較小，ChatGLM也不可避免的存在著模型記憶和語言能力較弱；可能產(chǎn)生錯誤內(nèi)容和多輪對話能力不足等一些缺點(diǎn)。
項目地址：github.com/THUDM/ChatGLM-6B
9、昆侖萬維天工系列模型，新模型實(shí)現(xiàn)智能涌現(xiàn)
去年年底，昆侖萬維發(fā)布了昆侖天工系列模型并宣布模型開源，包括天工巧繪SkyPaint、天工樂府SkyMusic、天工妙筆SkyText、天工智碼SkyCode，分別涉及AI圖像、AI音樂、AI文本、AI編程方面，目前已經(jīng)有中國移動、咪咕等企業(yè)測試使用。
而就在近日，昆侖萬維再次發(fā)布了最新迭代升級的大語言模型天工3.5。據(jù)官方表示，天工3.5是第一個實(shí)現(xiàn)智能涌現(xiàn)的國產(chǎn)大語言模型，已“非常接近ChatGPT的智能水平”，可滿足文案創(chuàng)作、問答、代碼生成、邏輯推理與數(shù)理推算等需求。
10、大模型時代：開源vs閉源
PC時代，Linux打破了Wintel聯(lián)盟的壟斷；在iOS的封閉生態(tài)和Android的準(zhǔn)封閉生態(tài)下，開源RISC-V實(shí)現(xiàn)了異軍突起。開源從始至終都意味著自由開放、意味著全球開發(fā)者能夠同時貢獻(xiàn)和維護(hù)所帶來的迭代效率與風(fēng)險控制。
在大模型時代，開源與閉源的問題被再次搬上桌面。從短期角度講，無論是出于安全性、版權(quán)問題還是商業(yè)競爭的考量，OpenAI或是其他擁有大模型的科技企業(yè)選擇閉源都無可厚非。但從長期角度出發(fā)，對于每個大模型以及整個領(lǐng)域的發(fā)展而言，開源生態(tài)所帶來的幫助勢必將超越企業(yè)本身。
回首往昔，Linux的成功，并不是依靠技術(shù)的先進(jìn)性擊敗了其他操作系統(tǒng)，而是借助蓬勃的開源生態(tài)在激烈的市場競爭中占據(jù)了主導(dǎo)地位。而這樣的故事在今天或是未來是否依然會繼續(xù)發(fā)生，就讓我們一起拭目以待。
