本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

國(guó)產(chǎn)大模型隊(duì)伍正當(dāng)“百模大戰(zhàn)”之際，現(xiàn)在又添一員——

BBT-2，全稱BigBang Tansformer-2（乾元2），120億參數(shù)的通用大模型。

以其為基礎(chǔ)，項(xiàng)目團(tuán)隊(duì)還訓(xùn)練出了代碼、金融、文生圖等專業(yè)模型。

根據(jù)官方數(shù)據(jù)，其中的代碼大模型在CSDN的自動(dòng)編程評(píng)測(cè)標(biāo)準(zhǔn)上能達(dá)到C3，和GPT-3.5處于同一等級(jí)“條件自動(dòng)編程”。

目前，專業(yè)的代碼問(wèn)答，已有demo可在線試玩～

據(jù)悉，BBT系列模型其中3個(gè)即將開(kāi)源到GitHub、UCloud和官網(wǎng)，開(kāi)箱可用。

會(huì)一并開(kāi)源的還有近1000億tokens的通用和金融預(yù)訓(xùn)練語(yǔ)料，以及8個(gè)中文金融大模型的評(píng)測(cè)數(shù)據(jù)集。

而這個(gè)項(xiàng)目的背后，是超對(duì)稱公司和復(fù)旦大學(xué)知識(shí)工場(chǎng)實(shí)驗(yàn)室。

術(shù)業(yè)有專攻的BBT-2系列

BBT-2，是基于GPT Decoder-only架構(gòu)的大模型，同系列BBT-1模型的2億參數(shù)版本去年已經(jīng)開(kāi)源。

此次發(fā)布的BBT-2系列模型，包含以下6個(gè)：

• BBT-2-12B-Text：120億參數(shù)的中文基礎(chǔ)模型
• BBT-2.5-13B-Text：130億參數(shù)的中文+英文雙語(yǔ)基礎(chǔ)模型
• BBT-2-12B-TC-001-SFT：經(jīng)過(guò)指令微調(diào)的代碼模型，可以進(jìn)行對(duì)話
• BBT-2-12B-TF-001：在120億模型上訓(xùn)的金融模型，用于解決金融領(lǐng)域任務(wù)
• BBT-2-12B-Image：文生圖模型
• BBT-2-12B-Science：科學(xué)論文模型

總體看下來(lái)，BBT-2系列既有通用大模型，也有術(shù)業(yè)有專攻的垂域模型。

通用模型

先看通用方面，利用BBT-2，可以進(jìn)行通用性的人機(jī)對(duì)話——

比如做一道居家旅行必備家?？焓植耍?/p>

又或者每天編一個(gè)童話故事，講給不肯睡覺(jué)的小朋友：

再或者提綱挈領(lǐng)，寫(xiě)個(gè)論文綱要：

專業(yè)模型

而專業(yè)模型提供的能力就相對(duì)聚焦。

利用BBT-TC，完成代碼撰寫(xiě)——這個(gè)代碼模型，是在百億基座模型BBT-2-12B-Text后接續(xù)訓(xùn)練代碼數(shù)據(jù)集，并通過(guò)有監(jiān)督執(zhí)行微調(diào)（supervised fine-tuing）等技術(shù)，實(shí)現(xiàn)人類意圖對(duì)齊。

BBT-TC是微調(diào)模型，比其通用大模型推理快不少。因此，代碼問(wèn)答也是本次BBT開(kāi)放的最主要的能力。

官方公布數(shù)據(jù)，專業(yè)測(cè)評(píng)中，BBT-TC寫(xiě)代碼的能力次于GPT-3.5，但高于Copilot。

△各產(chǎn)品分項(xiàng)得分（150 分制）

實(shí)際測(cè)評(píng)中，BBT-TC會(huì)出現(xiàn)大部分代碼模型都存在的問(wèn)題，就是首次回答不完全正確，只有在多次提問(wèn)后，才會(huì)微調(diào)出正確答案。

如讓它設(shè)計(jì)一個(gè)簡(jiǎn)化版的推特，并附帶一些額外功能。

首次給出的回答，并沒(méi)有查看推文這部分的代碼功能，卻擅自增加了顯示用戶列表的部分。

但再多嘗試幾次，也會(huì)出現(xiàn)一個(gè)比較不錯(cuò)的答案。

體驗(yàn)過(guò)程中還發(fā)現(xiàn)，偶爾BBT-TC還會(huì)出現(xiàn)只提供代碼實(shí)現(xiàn)思路，而非直接生成代碼的情況。

也就是說(shuō)，想要一次性生成能夠成功運(yùn)行的代碼，還是需要一些特殊的prompt輸入技巧。

（prompt工程師的重要性突然體現(xiàn)）

代碼模型外，利用對(duì)標(biāo)BloombergGPT的金融模型BBT-2-Finance，也可以完成金融領(lǐng)域的具體任務(wù)。

訓(xùn)練過(guò)程中，BBT-2-Finance搜集和爬取了幾乎所有公開(kāi)可以獲得的中文金融語(yǔ)料數(shù)據(jù)。

比如過(guò)去20年主流媒體的財(cái)經(jīng)新聞、上市公司公告和財(cái)報(bào)、金融社交平臺(tái)用戶發(fā)帖等。

所以用戶可以用它從長(zhǎng)篇文本中抓關(guān)鍵信息，撰寫(xiě)摘要：

△ChatGPT和BBT-2-Finance同題對(duì)比

和ChatGPT相比，BBT-2-Finance的摘要更簡(jiǎn)潔，同時(shí)也沒(méi)落下重要信息。

還能針對(duì)金融行業(yè)對(duì)數(shù)字的高精度需求，對(duì)單位進(jìn)行換算：

△ChatGPT和BBT-2-Finance同題對(duì)比

如上同題對(duì)比，ChatGPT就弄錯(cuò)了單位換算，但BBT-2-Finance完成了正確的單位轉(zhuǎn)換。

淺試了一下，表格什么的也能解讀且摘取相應(yīng)文字：

專業(yè)領(lǐng)域，除了文字生成，還有個(gè)文生圖模型BBT-Image。

和一般生成逼真圖像的文生圖模型不同，BBT-Image專門針對(duì)紡織行業(yè)，可以生成具有紋理、色彩和設(shè)計(jì)元素的紡織品團(tuán)。

可以對(duì)比一下它和Stable Diffusion的生成效果。

△prompt：熱帶花卉芙蓉花，熱帶葉子，水彩效果圖案，黑色背景，無(wú)縫圖，循環(huán)圖

△prompt：五顏六色的水母圖案，細(xì)節(jié)清晰，無(wú)縫圖，循環(huán)圖

至于在科研論文上訓(xùn)練構(gòu)建的BBT-Sicence，官方稱可以應(yīng)用在物理、化學(xué)、生物、數(shù)學(xué)領(lǐng)域，它能提供的能力主要有三方面：

• 一是快速精準(zhǔn)的知識(shí)檢索；
• 二是針對(duì)所研究領(lǐng)域的前沿問(wèn)題提供新的ideas；
• 三是利用多學(xué)科知識(shí)訓(xùn)練出的能力提供跨學(xué)科的建議。

還要提一句，整個(gè)BBT系列中的3個(gè)模型即將開(kāi)源，分別是金融模型BBT-1-1B、基礎(chǔ)模型BBT-2-12B-Text、基礎(chǔ)模型BBT-2.5-13B-Text。

背后團(tuán)隊(duì)

一系列操作的幕后玩家，是超對(duì)稱技術(shù)公司和復(fù)旦大學(xué)知識(shí)工場(chǎng)實(shí)驗(yàn)室。

超對(duì)稱技術(shù)公司在去年5月，發(fā)布了大模型BigBang Tansformer（乾元）的第一版BBT-1，在中文金融語(yǔ)料上訓(xùn)練而成的10億參數(shù)模型。

復(fù)旦大學(xué)知識(shí)工場(chǎng)實(shí)驗(yàn)室，源于復(fù)旦圖數(shù)據(jù)管理實(shí)驗(yàn)室（GDM@FUDAN），由教授肖仰華領(lǐng)銜。

整個(gè)過(guò)程，超對(duì)稱公司主導(dǎo)預(yù)訓(xùn)練部分，指令微調(diào)和評(píng)測(cè)工作則聯(lián)合復(fù)旦大學(xué)知識(shí)工場(chǎng)實(shí)驗(yàn)室完成。

據(jù)悉，有了系列模型后，背后團(tuán)隊(duì)也開(kāi)始致力于對(duì)科學(xué)大模型進(jìn)行評(píng)測(cè)。

超對(duì)稱合作復(fù)旦、上海交大、浙大、南航、中山、北師大等多所大學(xué)，號(hào)召全球一線科研人員共同構(gòu)建科研問(wèn)題評(píng)測(cè)數(shù)據(jù)集ResearchQA，覆蓋數(shù)學(xué)、物理、化學(xué)、生物、地理地質(zhì)、計(jì)算機(jī)和電子工程等前沿科研領(lǐng)域。

ResearchQA提交郵箱：researchqa@susymmetry.com
BBT-2地址：https://www.ssymmetry.com/