ChatGPT 的發(fā)布，攪動(dòng)了整個(gè) AI 領(lǐng)域，各大科技公司、創(chuàng)業(yè)公司以及高校團(tuán)隊(duì)都在跟進(jìn)。近段時(shí)間，機(jī)器之心報(bào)道了多家創(chuàng)業(yè)公司、高校團(tuán)隊(duì)的研究成果。

昨日，又一國產(chǎn) AI 對(duì)話大模型重磅登場：由清華技術(shù)成果轉(zhuǎn)化的公司智譜 AI 基于 GLM-130B 千億基座模型的 ChatGLM 現(xiàn)已開啟邀請(qǐng)制內(nèi)測。

值得一提的是，此次智譜 AI 也開源了中英雙語對(duì)話模型 ChatGLM-6B，支持在單張消費(fèi)級(jí)顯卡上進(jìn)行推理使用。

內(nèi)測申請(qǐng)網(wǎng)址：chatglm.cn

據(jù)了解，ChatGLM 當(dāng)前版本模型的能力提升主要來源于獨(dú)特的千億基座模型 GLM-130B。它是不同于 BERT、GPT-3 以及 T5 的架構(gòu)，是一個(gè)包含多目標(biāo)函數(shù)的自回歸預(yù)訓(xùn)練模型。

2022 年 8 月，清華大學(xué)聯(lián)合智譜 AI 向研究界和工業(yè)界開放了擁有 1300 億參數(shù)的中英雙語稠密模型 GLM-130B，該模型有一些獨(dú)特的優(yōu)勢：

• 雙語：同時(shí)支持中文和英文；
• 高精度（英文）：在公開的英文自然語言榜單 LAMBADA、MMLU 和 Big-bench-lite 上優(yōu)于 GPT-3 175B（API: davinci，基座模型）、OPT-175B 和 BLOOM-176B；
• 高精度（中文）：在 7 個(gè)零樣本 CLUE 數(shù)據(jù)集和 5 個(gè)零樣本 FewCLUE 數(shù)據(jù)集上明顯優(yōu)于 ERNIE TITAN 3.0 260B 和 YUAN 1.0-245B；
• 快速推理：首個(gè)實(shí)現(xiàn) INT4 量化的千億模型，支持用一臺(tái) 4 卡 3090 或 8 卡 2080Ti 服務(wù)器進(jìn)行快速且基本無損推理；
• 可復(fù)現(xiàn)性：所有結(jié)果（超過 30 個(gè)任務(wù)）均可通過我們的開源代碼和模型參數(shù)復(fù)現(xiàn)；
• 跨平臺(tái)：支持在國產(chǎn)的海光 DCU、華為昇騰 910 和申威處理器及美國的英偉達(dá)芯片上進(jìn)行訓(xùn)練與推理。

如今， 參考 ChatGPT 的設(shè)計(jì)思路，ChatGLM 在千億基座模型 GLM-130B 中注入了代碼預(yù)訓(xùn)練，通過有監(jiān)督微調(diào)（Supervised Fine-Tuning）等技術(shù)實(shí)現(xiàn)人類意圖對(duì)齊。

機(jī)器之心獲得了內(nèi)測邀請(qǐng)碼，這里簡單和 ChatGLM 進(jìn)行了對(duì)話，效果如下：

它能夠理解「站 CP」的實(shí)際涵義：

給 ChatGLM 一個(gè)數(shù)學(xué)問題試試：

自從學(xué)會(huì)了二元一次方程，像這種基礎(chǔ)的「雞兔同籠」問題就再也難不倒它了：

開源 ChatGLM-6B

ChatGLM-6B 是一個(gè)開源的、支持中英雙語問答的對(duì)話語言模型，并針對(duì)中文進(jìn)行了優(yōu)化。該模型基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署（INT4 量化級(jí)別下最低只需 6GB 顯存）。ChatGLM-6B 使用了和 ChatGLM 相同的技術(shù)，針對(duì)中文問答和對(duì)話進(jìn)行了優(yōu)化。經(jīng)過約 1T 標(biāo)識(shí)符的中英雙語訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾?、人類反饋?qiáng)化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的 ChatGLM-6B 雖然規(guī)模不及千億模型，但大大降低了推理成本，提升了效率，并且已經(jīng)能生成相當(dāng)符合人類偏好的回答。

模型開源地址：https://github.com/THUDM/ChatGLM-6B

具體來說，ChatGLM-6B 具備以下特點(diǎn)：

• 充分的中英雙語預(yù)訓(xùn)練：ChatGLM-6B 在 1:1 比例的中英語料上訓(xùn)練了 1T 的 token 量，兼具雙語能力。
• 優(yōu)化的模型架構(gòu)和大小：吸取 GLM-130B 訓(xùn)練經(jīng)驗(yàn)，修正了二維 RoPE 位置編碼實(shí)現(xiàn)，使用傳統(tǒng) FFN 結(jié)構(gòu)。6B（62 億）的參數(shù)大小，也使得研究者和個(gè)人開發(fā)者自己微調(diào)和部署 ChatGLM-6B 成為可能。
• 較低的部署門檻：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的顯存進(jìn)行推理，結(jié)合模型量化技術(shù)，這一需求可以進(jìn)一步降低到 10GB（INT8） 和 6GB（INT4），使得 ChatGLM-6B 可以部署在消費(fèi)級(jí)顯卡上。
• 更長的序列長度：相比 GLM-10B（序列長度 1024），ChatGLM-6B 序列長度達(dá) 2048，支持更長對(duì)話和應(yīng)用。
• 人類意圖對(duì)齊訓(xùn)練：使用了監(jiān)督微調(diào)（Supervised Fine-Tuning）、反饋?zhàn)灾‵eedback Bootstrap）、人類反饋強(qiáng)化學(xué)習(xí)（Reinforcement Learning from Human Feedback）等方式，使模型初具理解人類指令意圖的能力。輸出格式為 markdown，方便展示。

不過由于 ChatGLM-6B 模型的容量較小，不可避免的存在一些局限和不足，包括：

• 相對(duì)較弱的模型記憶和語言能力。在面對(duì)許多事實(shí)性知識(shí)任務(wù)時(shí)，ChatGLM-6B 可能會(huì)生成不正確的信息，也不太擅長邏輯類問題（如數(shù)學(xué)、編程）的解答。
• 可能會(huì)產(chǎn)生有害說明或有偏見的內(nèi)容：ChatGLM-6B 只是一個(gè)初步與人類意圖對(duì)齊的語言模型，可能會(huì)生成有害、有偏見的內(nèi)容。
• 較弱的多輪對(duì)話能力：ChatGLM-6B 的上下文理解能力還不夠充分，在面對(duì)長答案生成和多輪對(duì)話的場景時(shí)，可能會(huì)出現(xiàn)上下文丟失和理解錯(cuò)誤的情況。

GLM 團(tuán)隊(duì)表示，ChatGLM 距離國際頂尖大模型研究和產(chǎn)品還有一定差距，未來將持續(xù)研發(fā)并開源更新版本的 ChatGLM 和相關(guān)模型。GLM 團(tuán)隊(duì)也歡迎大家下載 ChatGLM-6B，基于它進(jìn)行研究和（非商用）應(yīng)用開發(fā)。