350億參數(shù)、開放權(quán)重，Transformer作者創(chuàng)業(yè)后推出新大模型

作者：機器之心 2024-03-12 13:22:00

開源大語言模型宇宙又來了一個強勁對手。Transformer 作者參與創(chuàng)立的 Cohere 公司推出的大模型 Command-R 在可擴展、RAG和工具使用三個方面具有顯著的優(yōu)勢。

今天，由 Transformer 作者之一 Aidan Gomez 參與創(chuàng)立的人工智能初創(chuàng)公司 Cohere 迎來了自家大模型的發(fā)布。

Cohere 推出的模型名為「Command-R」，參數(shù)量為 35B，它是一個針對大規(guī)模生產(chǎn)工作負(fù)載的全新大語言模型研究版本。該模型屬于「可擴展」模型類別，能夠平衡高效率和高精度，使企業(yè)用戶超越概念驗證，進入生產(chǎn)階段。

作為一種生成模型，Command-R 針對檢索增強生成（RAG）等長上下文任務(wù)以及使用外部 API 和工具進行了優(yōu)化。該模型旨在與自家行業(yè)領(lǐng)先的嵌入（Embed）和重新排序（Rerank）模型配合使用，為 RAG 應(yīng)用程序提供一流的集成，并在企業(yè)用例中具有出色表現(xiàn)。

就其架構(gòu)而言，Command-R 是一種使用優(yōu)化后 transformer 架構(gòu)的自回歸語言模型。在預(yù)訓(xùn)練后，模型使用監(jiān)督微調(diào)（SFT）和偏好訓(xùn)練使自身與人類偏好保持一致，并實現(xiàn)有用性和安全性。

具體而言，Command-R 具有以下功能特征：

RAG 和工具使用方面的高度準(zhǔn)確性
低延遲、高吞吐量
更長的 128k 上下文和更低的價格
跨 10 種主要語言的強大功能
HuggingFace 上提供模型權(quán)重以供研究和評估

Command-R 可以在 Cohere 的托管 API 上使用，并在不久的將來在主要云服務(wù)商上可用。Command-R 是一系列模型中的首個版本，提高了對企業(yè)大規(guī)模采用至關(guān)重要的功能。

目前，Cohere 在 Huggingface 上開放了模型權(quán)重。

Huggingface 地址：https://huggingface.co/CohereForAI/c4ai-command-r-v01

高性能檢索增強生成（RAG）

檢索增強生成（RAG）已成為大語言模型部署中的關(guān)鍵模式。通過 RAG，企業(yè)能夠讓模型訪問原本無法獲得的私有知識，搜索私有數(shù)據(jù)庫并使用相關(guān)信息形成響應(yīng)，從而準(zhǔn)確性和實用性將顯著提升。RAG 的關(guān)鍵組件是：

檢索：搜索與響應(yīng)用戶相關(guān)的信息語料庫。
增強生成：使用檢索到的信息形成更明智的響應(yīng)。

對于檢索，Cohere 的 Embed 模型通過搜索數(shù)百萬甚至數(shù)十億文檔來改善上下文和語義理解，顯著提高了檢索步驟的實用性和準(zhǔn)確性。同時，Cohere 的 Rerank 模型有助于進一步提高檢索到信息的價值，優(yōu)化相關(guān)性和個性化等自定義指標(biāo)的結(jié)果。

對于增強生成，通過識別最相關(guān)的信息，Command-R 可以總結(jié)、分析、打包這些信息，并幫助員工提高工作效率或者創(chuàng)造全新的產(chǎn)品體驗。Command-R 的獨特之處在于：該模型的輸出帶有明確的引文，可以降低出現(xiàn)幻覺的風(fēng)險，并能夠從源材料中呈現(xiàn)更多背景信息。

即使不使用自家的 Embed 和 Rerank 模型，Command-R 在可擴展的生成模型類別中也優(yōu)于其他模型。不過當(dāng)配合使用時，領(lǐng)先優(yōu)勢顯著擴大，從而在更復(fù)雜的領(lǐng)域?qū)崿F(xiàn)更高的性能。

下圖左為 Command-R 與 Mixtral 在一系列與企業(yè)相關(guān)的 RAG 應(yīng)用上，進行了 Head-to-Head 整體人類偏好評估，充分考慮流暢度、答案實用性和引用。圖右為 Command-R（Embed+Rerank）、Command-R 與 Llama 2 70B（chat）、Mixtral、GPT3.5-Turbo 等模型在 Natural Questions、TriviaQA 和 HotpotQA 等基準(zhǔn)上的比較結(jié)果。Cohere 的大模型實現(xiàn)了領(lǐng)先。

強大的工具使用能力

大語言模型應(yīng)該是核心的推理引擎，可以自動執(zhí)行任務(wù)并采取實際行動，而不僅僅提取和生成文本的機器。Command-R 通過使用工具（API）來實現(xiàn)這一目標(biāo)，例如代碼解釋器和其他用戶定義的工具，使模型能夠自動執(zhí)行高度復(fù)雜的任務(wù)。

Tool Use 功能使企業(yè)開發(fā)人員能夠?qū)?Command-R 轉(zhuǎn)變?yōu)橐妫灾С中枰褂谩笖?shù)據(jù)庫和軟件工具等內(nèi)部基礎(chǔ)設(shè)施」以及「CRM、搜索引擎等外部工具」的任務(wù)和工作流程的自動化。這樣一來，我們可以實現(xiàn)跨多個系統(tǒng)且需要復(fù)雜推理和決策的耗時手動任務(wù)的自動化。

下圖為 Command-R 與 Llama 2 70B（chat）、Mixtral、GPT3.5-turbo，在使用搜索工具時的多步推理能力比較。這里使用到的數(shù)據(jù)集為 HotpotQA 和 Bamboogle。

多語言生成能力

Command-R 模型擅長全球 10 種主要商業(yè)語言，包括英語、法語、西班牙語、意大利語、德語、葡萄牙語、日語、韓語、阿拉伯語和中文。

此外，Cohere 的 Embed 和 Rerank 模型本身就支持 100 多種語言。這使得用戶能夠從大量數(shù)據(jù)源中得出答案，無論使用何種語言，都能以母語提供清晰準(zhǔn)確的對話。

下圖為 Command-R 與 Llama 2 70B（chat）、Mixtral、GPT3.5-turbo 在多語言 MMLU 和 FLORES 上的比較。

更長的上下文和更低的價格

Command-R 支持了更長的上下文窗口 ——128k tokens。此次升級還降低了 Cohere 托管 API 的價格，并顯著提高了 Cohere 私有云部署的效率。通過將更長的上下文窗口與更便宜的定價相結(jié)合，Command-R 解鎖了 RAG 用例，其中附加上下文可以顯著提高性能。