ChatGPT和Bard太貴，介紹八個免費開源的大模型解決方案！
1.LLaMA
LLaMA項目包含了一組基礎(chǔ)語言模型，其規(guī)模從70億到650億個參數(shù)不等。這些模型在數(shù)以百萬計的token上進行訓(xùn)練，而且它完全在公開的數(shù)據(jù)集上進行訓(xùn)練。結(jié)果，LLaMA-13B超過了GPT-3（175B），而LLaMA-65B的表現(xiàn)與Chinchilla-70B和PaLM-540B等最佳模型相似。
圖片來自LLaMA
資源：
- 研究論文：“LLaMA: Open and Efficient Foundation Language Models (arxiv.org)” [https://arxiv.org/abs/2302.13971]
- GitHub：facebookresearch/llama [https://github.com/facebookresearch/llama]
- 演示：Baize Lora 7B [https://huggingface.co/spaces/project-baize/Baize-7B]
2.Alpaca
斯坦福大學(xué)的Alpaca聲稱它可以與ChatGPT競爭，任何人都可以在不到600美元的情況下復(fù)制它。Alpaca 7B是在52K指令遵循的示范上從LLaMA 7B模型中進行微調(diào)。
訓(xùn)練內(nèi)容｜圖片來自斯坦福大學(xué)CRFM
資源：
- 博客：斯坦福大學(xué)CRFM。[https://crfm.stanford.edu/2023/03/13/alpaca.html]
- GitHub：tatsu-lab/stanford_alpaca [https://github.com/tatsu-lab/stanford_alpaca]
- 演示：Alpaca-LoRA (官方演示已經(jīng)丟失，這是Alpaca模型的再現(xiàn)) [https://huggingface.co/spaces/tloen/alpaca-lora]
3.Vicuna
Vicuna是在從ShareGPT收集到的用戶共享對話上的LLaMA模型基礎(chǔ)上進行微調(diào)。Vicuna-13B模型已經(jīng)達到了OpenAI ChatGPT和Google Bard的90%以上的質(zhì)量。它還在90%的情況下超過了LLaMA和斯坦福大學(xué)Alpaca模型。訓(xùn)練Vicuna的成本約為300美元。
圖片來自Vicuna
資源：
- 博客文章：“Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality” [https://vicuna.lmsys.org/]
- GitHub：lm-sys/FastChat [https://github.com/lm-sys/FastChat#fine-tuning]
- 演示：FastChat (lmsys.org) [https://chat.lmsys.org/]
4.OpenChatKit
OpenChatKit：開源的ChatGPT替代方案，是一個用于創(chuàng)建聊天機器人的完整工具包。它提供了用于訓(xùn)練用戶自己的指令調(diào)整的大型語言模型、微調(diào)模型、用于更新機器人響應(yīng)的可擴展檢索系統(tǒng)以及用于過濾問題的機器人審核的指令。
圖片來自TOGETHER
可以看到，GPT-NeoXT-Chat-Base-20B模型在問答、提取和分類任務(wù)上的表現(xiàn)優(yōu)于基礎(chǔ)模式GPT-NoeX。
資源：
- 博客文章：“Announcing OpenChatKit”—TOGETHER [https://www.together.xyz/blog/openchatkit]
- GitHub: togethercomputer/OpenChatKit [https://github.com/togethercomputer/OpenChatKit]
- 演示：OpenChatKit [https://huggingface.co/spaces/togethercomputer/OpenChatKit]
- 模型卡：togethercomputer/GPT-NeoXT-Chat-Base-20B [https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-20B]
5.GPT4ALL
GPT4ALL是一個社區(qū)驅(qū)動的項目，并在一個大規(guī)模的輔助交互語料庫上進行訓(xùn)練，包括代碼、故事、描述和多輪對話。該團隊提供了數(shù)據(jù)集、模型權(quán)重、數(shù)據(jù)管理過程和訓(xùn)練代碼以促進開源。此外，他們還發(fā)布了模型的量化4位版本，可以在筆記本電腦上運行。甚至可以使用Python客戶端來運行模型推理。
圖片來自GPT4ALL
資源：
- 技術(shù)報告：GPT4All [https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf]
- GitHub: nomic-ai/gpt4al [https://github.com/nomic-ai/gpt4all]
- 演示：GPT4All（非官方）。[https://huggingface.co/spaces/rishiraj/GPT4All]
- 模型卡：nomic-ai/gpt4all-lora · Hugging Face [https://huggingface.co/nomic-ai/gpt4all-lora]
6.Raven RWKV
Raven RWKV 7B是一個開源的聊天機器人，它由RWKV語言模型驅(qū)動，生成的結(jié)果與ChatGPT相似。該模型使用RNN，可以在質(zhì)量和伸縮性方面與transformer相匹配，同時速度更快，節(jié)省VRAM。Raven在斯坦福大學(xué)Alpaca、code-alpaca和更多的數(shù)據(jù)集上進行了微調(diào)。
圖片來自Raven RWKV 7B
資源：
- GitHub：BlinkDL/ChatRWKV [https://github.com/BlinkDL/ChatRWKV]
- 演示：Raven RWKV 7B [https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B]
- 模型卡：BlinkDL/rwkv-4-raven [https://huggingface.co/BlinkDL/rwkv-4-raven]
7.OPT
OPT：Open Pre-trained Transformer語言模型并不像ChatGPT那樣強大，但它在零樣本和少樣本學(xué)習(xí)以及刻板偏見分析方面表現(xiàn)出卓越的能力。還可以將它與Alpa、Colossal-AI、CTranslate2和FasterTransformer集成以獲得更好的結(jié)果。注意：它上榜的原因是它的受歡迎程度，因為它在文本生成類別中每月有624,710次下載。
圖片來自（arxiv.org）
資源：
- 研究論文：“OPT: Open Pre-trained Transformer Language Models (arxiv.org)” [https://arxiv.org/abs/2205.01068]
- GitHub: facebookresearch/metaseq [https://github.com/facebookresearch/metaseq]
- 演示：A Watermark for LLMs [https://huggingface.co/spaces/tomg-group-umd/lm-watermarking]
- 模型卡：facebook/opt-1.3b [https://huggingface.co/facebook/opt-1.3b]
8.Flan-T5-XXL
Flan-T5-XXL在以指令形式表述的數(shù)據(jù)集上微調(diào)了T5模型。指令的微調(diào)極大地提高了各種模型類別的性能，如PaLM、T5和U-PaLM。Flan-T5-XXL模型在1000多個額外的任務(wù)上進行了微調(diào)，涵蓋了更多語言。
圖片來自Flan-T5-XXL
資源：
- 研究論文：“Scaling Instruction-Fine Tuned Language Models” [https://arxiv.org/pdf/2210.11416.pdf]
- GitHub: google-research/t5x [https://github.com/google-research/t5x]
- 演示：Chat Llm Streaming [https://huggingface.co/spaces/olivierdehaene/chat-llm-streaming]
- 模型卡：google/flan-t5-xxl [https://huggingface.co/google/flan-t5-xxl?text=Q%3A+%28+False+or+not+False+or+False+%29+is%3F+A%3A+Let%27s+think+step+by+step]
總結(jié)
現(xiàn)在有很多開源的可供選擇的大模型，本文涉及到其中比較流行的8個大模型。
