Open LLM集中爆發(fā)的一周，卷瘋了！
開源大模型領(lǐng)域熱鬧非凡的一周，各種開源，PaperAgent進行了概括：端側(cè)、Code、RAG、Agent、Reflection（反思糾正）、MoE，你關(guān)注的都在這里了。
Reflection Llama-3.1-70B 開源
Reflection Llama-3.1 70B是世界上頂尖的Open LLM，通過反思微調(diào)技術(shù)（Reflection-Tuning）訓練，能夠檢測并糾正推理錯誤，具有很高的熱度，Hugging Face熱門排行Top1。
Agent中需要LLM具有很強的推理規(guī)劃能力，這種反思技術(shù)訓練的模型是否很契合Agent尼？有待進一步驗證
- 該模型使用Glaive生成的合成數(shù)據(jù)進行訓練，Glaive是一個強大的模型訓練工具。
- 模型可以通過特定的代碼和管道進行采樣，使用與標準Llama3.1相同的聊天模板格式。
- 采樣時，模型會先在<thinking>標簽內(nèi)輸出推理過程，然后使用<reflection>標簽修正錯誤，最后在<output>標簽內(nèi)提供最終答案。
- 這種設(shè)計使得模型能夠區(qū)分內(nèi)部思考和最終答案，提升用戶體驗。
從實驗對結(jié)果看，是擊敗GPT-4o、Claude 3.5 Sonnet，遙遙領(lǐng)先的，更強405B版本預(yù)計下周推出，非常期待
https://hf-mirror.com/mattshumer/Reflection-Llama-3.1-70B面壁小鋼炮MiniCPM 3.0開源
面壁智能開源新一代全面開掛的小鋼炮，4B規(guī)模達到ChatGPT級能力：
- 長文本方向：無限長文本，榜單性能超Kimi，超長文本也不崩。
- Function Calling方向：性能比肩GPT-4o ，端側(cè)最強，超越 GLM-4-9B-Chat、Qwen2-7B-Instruct。
- RAG 方向：超強 RAG 外掛三件套，基于 MiniCPM 系列模型的MiniCPM-Embedding、MiniCPM-Reranker在中文、中英跨語言檢索測試中取得 SOTA 表現(xiàn)；針對 RAG 場景的 MiniCPM3-RAG-LoRA 在開放域問答等多項任務(wù)上超越 Llama3-8B、Baichuan2-13B 等模型。
https://github.com/OpenBMB/MiniCPM
https://huggingface.co/openbmb/MiniCPM3-4B零一萬物Yi-Coder系列模型開源
Yi-Coder 有兩種規(guī)?！?strong>15億和90億參數(shù)——提供基礎(chǔ)版和聊天版，旨在實現(xiàn)高效的推理和靈活的訓練。值得注意的是，Yi-Coder-9B 在 Yi-9B 的基礎(chǔ)上，額外增加了2.4萬億高質(zhì)量的標記，這些標記精心挑選自 GitHub 上的代碼庫級別的代碼語料庫，以及從 CommonCrawl 篩選出的與代碼相關(guān)的數(shù)據(jù)。
Yi-Coder 的關(guān)鍵特性包括：
- 在52種主要編程語言上的2.4萬億高質(zhì)量標記上繼續(xù)預(yù)訓練。
- 長上下文建模：最大上下文窗口為128K標記，能夠?qū)崿F(xiàn)項目級別的代碼理解和生成。
- 小巧但強大：Yi-Coder-9B 在性能上超越了其他參數(shù)少于100億的模型，如 CodeQwen1.5 7B 和 CodeGeex4 9B，甚至達到了與 DeepSeek-Coder 33B 相當?shù)男阅芩健?/li>
https://hf-mirror.com/01-ai/Yi-Coder-9B-Chat
https://hf-mirror.com/01-ai/Yi-Coder-1.5B-Chat
https://01-ai.github.io/blog.html?post=en/2024-09-05-A-Small-but-Mighty-LLM-for-Code.mdDeepSeek-V2.5版本發(fā)布
DeepSeek-V2.5 是一個升級版本，它結(jié)合了 DeepSeek-V2-Chat 和 DeepSeek-Coder-V2-Instruct。這個新模型整合了前兩個版本的通用和編碼能力。
DeepSeek-V2.5 更好地符合人類的偏好，并在多個方面進行了優(yōu)化，包括寫作和指令遵循：
https://hf-mirror.com/deepseek-ai/DeepSeek-V2.5首個完全開源MoE大模型：OLMoE
OLMoE-1B-7B 是一個具有10億活躍參數(shù)和70億總參數(shù)的專家混合（Mixture-of-Experts）大型語言模型（LLM），于2024年9月（0924）發(fā)布。它在成本相似（10億）的模型中提供了最先進的性能，并且與像 Llama2-13B 這樣的更大模型具有競爭力。OLMoE 是100%開源的。
開放 MoE 和密集型語言模型（LMs）的性能、成本和開放程度
checkpoints: https://huggingface.co/allenai/OLMoE-1B-7B-0924
paper: https://arxiv.org/pdf/2409.02060
code：https://github.com/allenai/OLMoE
data：https://huggingface.co/datasets/allenai/OLMoE-mix-0924
logs：https://wandb.ai/ai2-llm/olmoe/reports/OLMoE-1B-7B-0924--Vmlldzo4OTcyMjU3本文轉(zhuǎn)載自?? PaperAgent??，作者： PaperAgent
