整理 | 星璇
不走尋常路的面壁智能，又一次“掀桌子”了！
面壁昨天發(fā)布了第三代小鋼炮MiniCPM3.0，參數(shù)只有4B，性能卻足以叫板市面上千億參數(shù)規(guī)模的大模型！端側(cè)的“面壁定律”又一次發(fā)威了！
圖片
話不多說，直接上干貨。
1.綜合能力：4B規(guī)模干翻GPT-3.5
提前近 4 個月，面壁智能實(shí)現(xiàn)了初代面壁小鋼炮發(fā)布時立下的 Flag：今年內(nèi)讓 GPT-3.5 水平的模型在端側(cè)跑起來！
圖片
MiniCPM 3.0 再次挖掘端側(cè)模型的極致性能，僅 4B 參數(shù)，在包括知識水平、數(shù)學(xué)邏輯、代碼能力、指令遵循、工具調(diào)用等多項(xiàng)能力上對 GPT-3.5 實(shí)現(xiàn)趕超，Overall Acc（所有分類任務(wù)的準(zhǔn)確率平局值）超過了Llama3.1-8B-instruct、Qwen2-7B-Instruct、GLM-4-9B-Chat、Phi-3.5，可謂一匹黑馬。
2.小鋼炮挑戰(zhàn)無限長文本
小鋼炮3.0采用了一種LLMxMapReduce長文本分幀處理的技術(shù)，通過將長上下文切分為多個片段，讓模型并行處理，并從不同片段中提取關(guān)鍵信息，匯總最終答案，實(shí)現(xiàn)無限長文本。這一技術(shù)對模型長文本能力，具有普遍增強(qiáng)作用，且在文本不斷加長情況，仍保持穩(wěn)定性能、減少長文本隨加長掉分情況。
LLMxMapReduce 技術(shù)框架圖
更長的上下文長度，意味大模型擁有更大的“內(nèi)存”和更長的“記憶”，不僅能提高大模型處理數(shù)據(jù)的能力上限，還能拓寬大模型應(yīng)用的廣度和深度。
長上下文：小模型也可以無限長文本
而小鋼炮這種無限上下文技術(shù)， 可以讓模型一次性讀取不限字?jǐn)?shù)的書籍或不限量的學(xué)術(shù)論文、簡歷等材料，成為你身邊更加強(qiáng)大的終端個人助手。
這也就意味著，搭載小鋼炮的手機(jī)，AI能力將會得到真正的釋放，比如讀取你的大眾點(diǎn)評美食、酒店評價、微博互動內(nèi)容，并牢牢記住你和AI 跨越多年的聊天記錄，成為最懂你的AI陪伴者，為你提供“共情”的推薦與內(nèi)容。
3.超強(qiáng) RAG 外掛三件套，中文檢索第一、生成超 Llama3-8B
現(xiàn)在RAG已經(jīng)成為AI原生應(yīng)用開發(fā)的標(biāo)配，讓模型引用外部知識庫，檢索到最新、最可靠的專業(yè)知識，確保生成內(nèi)容更加可信，大大減少大模型的幻覺問題，尤其是對法律、醫(yī)療等依賴專業(yè)知識庫、對大模型幻覺容忍度極低的垂直行業(yè)。
在檢索、重排、生成這三個重要的RAG環(huán)節(jié)，面壁這次一口氣把三件套全都放了出來：MiniCPM-Embedding（檢索模型）、MiniCPM-Reranker（重排序模型）和面向 RAG 場景的 LoRA 插件（生成模型）。
- MiniCPM-Embedding（檢索模型）中英跨語言檢索取得 SOTA 性能，在評估模型文本嵌入能力的權(quán)威評測集 MTEB 的檢索榜單上中文第一、英文第十三 ；
- MiniCPM-Reranker（重排序模型）在中文、英文、中英跨語言測試上取得 SOTA 性能 ；
- 經(jīng)過針對 RAG 場景的 LoRA 訓(xùn)練后，MiniCPM 3.0-RAG-LoRA 在開放域問答（NQ、TQA、MARCO）、多跳問答（HotpotQA）、對話（WoW）、事實(shí)核查（FEVER）和信息填充（T-REx）等多項(xiàng)任務(wù)上的性能表現(xiàn)，超越 Llama3-8B 和 Baichuan2-13B 等業(yè)內(nèi)優(yōu)秀模型。
圖片
4.端側(cè)智能體：GPT-4o 級 Function calling
智能體應(yīng)用是端側(cè)AI 必爭之地，而這其中一項(xiàng)至關(guān)重要的技術(shù)是 Function Calling（函數(shù)調(diào)用），它能夠?qū)⒂脩裟：妮斎胝Z義轉(zhuǎn)換為機(jī)器可以精確理解執(zhí)行的結(jié)構(gòu)化指令，并讓大模型連接外部工具和系統(tǒng)，例如通過語音在手機(jī)上調(diào)用日歷、天氣、郵件、瀏覽器等 APP 或相冊、文件等本地數(shù)據(jù)庫，從而打開終端設(shè)備 Agent 應(yīng)用的無限可能，也讓人機(jī)交互更加自然和方便。
小鋼炮 3.0 這次發(fā)布的數(shù)據(jù)來看，堪比具備端側(cè)最強(qiáng) Function calling 性能 ，在權(quán)威評測榜單 Berkeley Function-Calling Leaderboard 上，其性能接近 GPT-4o，并超越 Llama 3.1-8B、Qwen-2-7B、GLM-4-9B 等眾多模型。
圖片
最后，上地址。MiniCPM 3.0 開源地址：
GitHub: https://github.com/OpenBMB/MiniCPM
HuggingFace: https://huggingface.co/openbmb/MiniCPM3-4B
