自從 Meta 發(fā)布并開(kāi)源了 LLaMA 系列模型，來(lái)自斯坦福大學(xué)、UC 伯克利等機(jī)構(gòu)的研究者們紛紛在 LLaMA 的基礎(chǔ)上進(jìn)行「二創(chuàng)」，先后推出了 Alpaca、Vicuna 等多個(gè)「羊駝」大模型。

羊駝已然成為開(kāi)源社區(qū)的新晉頂流。由于「二創(chuàng)」過(guò)于豐富，生物學(xué)羊駝屬的英文單詞都快不夠用了，但是用其他動(dòng)物的名字給大模型命名也是可以的。

最近，UC 伯克利的伯克利人工智能研究院（BAIR）發(fā)布了一個(gè)可以在消費(fèi)級(jí) GPU 上運(yùn)行的對(duì)話模型 Koala（直譯為考拉）。Koala 使用從網(wǎng)絡(luò)收集的對(duì)話數(shù)據(jù)對(duì) LLaMA 模型進(jìn)行微調(diào)。

項(xiàng)目地址：?https://bair.berkeley.edu/blog/2023/04/03/koala/?

Koala 已經(jīng)推出線上測(cè)試 demo：

• Demo 地址：https://chat.lmsys.org/?model=koala-13b
• 開(kāi)源地址：https://github.com/young-geng/EasyLM

Koala 概述

與 Vicuna 類似，Koala 也使用從網(wǎng)絡(luò)收集的對(duì)話數(shù)據(jù)對(duì) LLaMA 模型進(jìn)行微調(diào)，其中重點(diǎn)關(guān)注與 ChatGPT 等閉源大模型對(duì)話的公開(kāi)數(shù)據(jù)。

研究團(tuán)隊(duì)表示，Koala 模型在 EasyLM 中使用 JAX/Flax 實(shí)現(xiàn)，并在配備 8 個(gè) A100 GPU 的單個(gè) Nvidia DGX 服務(wù)器上訓(xùn)練 Koala 模型。完成 2 個(gè) epoch 的訓(xùn)練需要 6 個(gè)小時(shí)。在公共云計(jì)算平臺(tái)上，進(jìn)行此類訓(xùn)練的成本通常低于 100 美元。

研究團(tuán)隊(duì)將 Koala 與 ChatGPT 和斯坦福大學(xué)的 Alpaca 進(jìn)行了實(shí)驗(yàn)比較，結(jié)果表明：具有 130 億參數(shù)的 Koala-13B 可以有效地響應(yīng)各種用戶查詢，生成的響應(yīng)通常優(yōu)于 Alpaca，并且在超過(guò)一半的情況下與 ChatGPT 性能相當(dāng)。

Koala 最重要的意義是它表明：在質(zhì)量較高的數(shù)據(jù)集上進(jìn)行訓(xùn)練，那么小到可以在本地運(yùn)行的模型也可以獲得類似大模型的優(yōu)秀性能。這意味著開(kāi)源社區(qū)應(yīng)該更加努力地管理高質(zhì)量數(shù)據(jù)集，因?yàn)檫@可能比簡(jiǎn)單地增加現(xiàn)有系統(tǒng)的規(guī)模更能實(shí)現(xiàn)安全、真實(shí)和強(qiáng)大的模型。從這個(gè)角度看，Koala 是 ChatGPT 一種小而精的平替。

不過(guò)，Koala 還只是一個(gè)研究原型，在內(nèi)容、安全性和可靠性方面仍然存在重大缺陷，也不應(yīng)用于研究之外的任何用途。

數(shù)據(jù)集和訓(xùn)練

構(gòu)建對(duì)話模型的主要障礙是管理訓(xùn)練數(shù)據(jù)。ChatGPT、Bard、Bing Chat 和 Claude 等大型對(duì)話模型都使用帶有大量人工注釋的專有數(shù)據(jù)集。為了構(gòu)建 Koala 的訓(xùn)練數(shù)據(jù)集，研究團(tuán)隊(duì)從網(wǎng)絡(luò)和公共數(shù)據(jù)集中收集對(duì)話數(shù)據(jù)并整理，其中包含用戶公開(kāi)分享的與大型語(yǔ)言模型（例如 ChatGPT）對(duì)話的數(shù)據(jù)。

不同于其他模型盡可能多地抓取網(wǎng)絡(luò)數(shù)據(jù)來(lái)最大化數(shù)據(jù)集，Koala 是專注于收集小型高質(zhì)量數(shù)據(jù)集，包括公共數(shù)據(jù)集中的問(wèn)答部分、人類反饋（正面和負(fù)面）以及與現(xiàn)有語(yǔ)言模型的對(duì)話。具體而言，Koala 的訓(xùn)練數(shù)據(jù)集包括如下幾個(gè)部分：

ChatGPT 蒸餾數(shù)據(jù)：?

• 公開(kāi)可用的與 ChatGPT 對(duì)話數(shù)據(jù)（ShareGPT）；
• Human ChatGPT 比較語(yǔ)料庫(kù) (HC3)，其中同時(shí)使用來(lái)自 HC3 數(shù)據(jù)集的人類和 ChatGPT 響應(yīng)。

開(kāi)源數(shù)據(jù)：?

• Open Instruction Generalist (OIG)；
• 斯坦福 Alpaca 模型使用的數(shù)據(jù)集；
• Anthropic HH；
• OpenAI WebGPT；
• OpenAI Summarization。

實(shí)驗(yàn)與評(píng)估

該研究進(jìn)行了一項(xiàng)人工評(píng)估，將 Koala-All 與 Koala-Distill、Alpaca 和 ChatGPT 幾個(gè)模型的生成結(jié)果進(jìn)行比較，結(jié)果如下圖所示。其中，使用兩個(gè)不同的數(shù)據(jù)集進(jìn)行測(cè)試，一個(gè)是斯坦福的 Alpaca 測(cè)試集，其中包括 180 個(gè)測(cè)試查詢（Alpaca Test Set），另一個(gè)是 Koala Test Set。

總的來(lái)說(shuō)，Koala 模型足以展示 LLM 的許多功能，同時(shí)又足夠小，方便進(jìn)行微調(diào)或在計(jì)算資源有限的情況下使用。研究團(tuán)隊(duì)希望 Koala 模型成為未來(lái)大型語(yǔ)言模型學(xué)術(shù)研究的有用平臺(tái)，潛在的研究應(yīng)用方向可能包括：

• 安全性和對(duì)齊：Koala 允許進(jìn)一步研究語(yǔ)言模型的安全性并更好地與人類意圖保持一致。
• 模型偏差：Koala 使我們能夠更好地理解大型語(yǔ)言模型的偏差，深入研究對(duì)話數(shù)據(jù)集的質(zhì)量問(wèn)題，最終有助于改進(jìn)大型語(yǔ)言模型的性能。
• 理解大型語(yǔ)言模型：由于 Koala 模型可以在相對(duì)便宜的消費(fèi)級(jí) GPU 上運(yùn)行，并且執(zhí)行多種任務(wù)，因此 Koala 使我們能夠更好地檢查和理解對(duì)話語(yǔ)言模型的內(nèi)部結(jié)構(gòu)，使語(yǔ)言模型更具可解釋性。