距離 ChatGPT 的最初發(fā)布，過去差不多四個(gè)月的時(shí)間了。就在上星期 GPT-4 發(fā)布時(shí)，ChatGPT 第一時(shí)間上線了新版本。不過眾所周知的一個(gè)秘密是，不管是 ChatGPT 還是 GPT-4 都不大可能開源。加上巨大的算力投入以及海量的訓(xùn)練數(shù)據(jù)等，都為研究界復(fù)制其實(shí)現(xiàn)過程設(shè)下重重關(guān)卡。

面對(duì) ChatGPT 等大模型的來勢(shì)洶洶，開源平替是一個(gè)不錯(cuò)的選擇。本月初，Meta「開源」了一個(gè)新的大模型系列 ——LLaMA（Large Language Model Meta AI），參數(shù)量從 70 億到 650 億不等。130 億參數(shù)的 LLaMA 模型「在大多數(shù)基準(zhǔn)上」可以勝過參數(shù)量達(dá) 1750 億的 GPT-3，而且可以在單塊 V100 GPU 上運(yùn)行。

時(shí)隔幾天，斯坦?；?LLaMA 7B 微調(diào)出一個(gè)具有 70 億參數(shù)的新模型 Alpaca，他們使用了 Self-Instruct 論文中介紹的技術(shù)生成了 52K 條指令數(shù)據(jù)，同時(shí)進(jìn)行了一些修改，在初步的人類評(píng)估中，Alpaca 7B 模型在 Self-Instruct 指令評(píng)估上的表現(xiàn)類似于 text-davinci-003（GPT-3.5）模型。

但遺憾的是，Alpaca 的種子任務(wù)都是英語，收集的數(shù)據(jù)也都是英文，因此訓(xùn)練出來的模型未對(duì)中文優(yōu)化。為了提升對(duì)話模型在中文上的效果，有沒有更好的方法呢？別急，接下來介紹的這個(gè)項(xiàng)目就能很好的解決這個(gè)問題。

開源中文對(duì)話大模型70 億參數(shù)的 BELLE（Bloom-Enhanced Large Language model Engine）來了。它基于斯坦福的 Alpaca 完成，但進(jìn)行了中文優(yōu)化，并對(duì)生成代碼進(jìn)行了一些修改，不僅如此，模型調(diào)優(yōu)僅使用由 ChatGPT 生產(chǎn)的數(shù)據(jù)（不包含任何其他數(shù)據(jù)）。

在數(shù)據(jù)方面，該項(xiàng)目開源了基于 Alpaca 的數(shù)據(jù)收集代碼，基于這段代碼生成了約 100 萬條中文數(shù)據(jù)，結(jié)合 Alpaca 的 5 萬條英文數(shù)據(jù)，在 BLOOMZ-7B 模型訓(xùn)練得到的 checkpoint 上傳在 Hugging Face。

Hugging Face 地址：https://huggingface.co/BelleGroup

項(xiàng)目作者表示：該項(xiàng)目旨在促進(jìn)中文對(duì)話大模型開源社區(qū)的發(fā)展。

項(xiàng)目地址：https://github.com/LianjiaTech/BELLE

項(xiàng)目介紹

該項(xiàng)目主要包含以下四部分內(nèi)容：

• 175 個(gè)中文種子任務(wù)
• 生成數(shù)據(jù)的代碼
• 0.5M 生成的數(shù)據(jù)
• 基于 BLOOMZ-7B1-mt 優(yōu)化后的模型

數(shù)據(jù)發(fā)布

1. zh_seed_tasks.jsonl：包含 175 個(gè)種子任務(wù)，樣例如下

    {"id": "seed_task_20", "name": "horror_movie_opening", "instruction": "你需要為一部恐怖電影寫一個(gè)創(chuàng)意的開場(chǎng)場(chǎng)景。", "instances": [{"input": "","output":" 太陽已經(jīng)落山，留下了一個(gè)黑暗的小鎮(zhèn)。微風(fēng)吹拂空蕩的街道，讓每一個(gè)冒險(xiǎn)走出門外的人感到一陣寒意。唯一的聲音是被風(fēng)吹動(dòng)的樹葉發(fā)出的輕微沙沙聲。突然，一聲令人毛骨悚然的尖叫聲劃破了寂靜，隨后是玻璃破碎的聲音。一所房子亮起了燈光，可以看到一個(gè)人影朝鎮(zhèn)中心奔跑。當(dāng)> 那個(gè)人影越來越靠近時(shí)，清楚地看到那是一個(gè)年輕女子，她渾身血跡斑斑。"}],"is_classification": false}

2. prompt_cn.txt: 生成所使用的提示語

3. 0.5M 生成的數(shù)據(jù)

數(shù)據(jù)生成

沿用 Alpaca 的方式：

pip install -r requirements.txt
export OPENAI_API_KEY=YOUR_API_KEY
python generate_instruction.py generate_instruction_following_data

默認(rèn)使用 Completion API，模型 text-davinci-003。如果想使用 Chat API 并使用 gpt-3.5-turbo 模型，可通過參數(shù)控制：

python generate_instruction.py generate_instruction_following_data \
    --api=chat --model_name=gpt-3.5-turbo

輸出文件在 Belle.train.json，可以人工篩選后再使用。

模型調(diào)優(yōu)

該項(xiàng)目基于 BLOOMZ-7B1-mt 模型和 Belle.train.json 訓(xùn)練模型，具體參數(shù)如下：

此外，該項(xiàng)目還采取了不同大小規(guī)模（20 萬、60 萬、100 萬和 200 萬樣本）的指令學(xué)習(xí)的數(shù)據(jù)集訓(xùn)練模型，得到不同的模型版本如下所示:

模型使用例子

局限性和使用限制

基于當(dāng)前數(shù)據(jù)和基礎(chǔ)模型訓(xùn)練得到的 SFT 模型，在效果上仍存在以下問題：

• 在涉及事實(shí)性的指令上可能會(huì)產(chǎn)生違背事實(shí)的錯(cuò)誤回答。
• 對(duì)于具備危害性的指令無法很好的鑒別，由此會(huì)產(chǎn)生危害性言論。
• 在一些涉及推理、代碼等場(chǎng)景下模型的能力仍有待提高。
• 基于以上模型局限性，該項(xiàng)目要求開發(fā)者僅將開源的代碼、數(shù)據(jù)、模型及后續(xù)用此項(xiàng)目生成的衍生物用于研究目的，不得用于商業(yè)，以及其他會(huì)對(duì)社會(huì)帶來危害的用途。