大模型的發(fā)展趨勢，開始朝著開源道路前進了。

眾所周知，ChatGPT、GPT-4 等這類明星大模型都是不開源的，與之相對應的，在開源領域，Meta 最近發(fā)布的 Llama 2 受到了大家的格外關注，因為這是一個免費且可商用的大模型系列。

今天，開源領域又迎來一個好消息，AI 模型社區(qū)魔搭 ModelScope 上架兩款開源模型 Qwen-7B 和 Qwen-7B-Chat，阿里云確認其為通義千問 70 億參數(shù)通用模型和對話模型。

最重要的是，兩款模型都是開源、免費、可商用的。

• 魔塔ModelScope：https://modelscope.cn/models/qwen/Qwen-7B/summaryhttps://modelscope.cn/models/qwen/Qwen-7B-Chat/summary
• Hugging Face 地址：https://huggingface.co/Qwen
• GitHub地址：https://github.com/QwenLM/Qwen-7B

具體而言：

• 通義千問 - 7B（Qwen-7B） 是阿里云研發(fā)的通義千問大模型系列的 70 億參數(shù)規(guī)模的模型。Qwen-7B 是基于 Transformer 的大語言模型，在超大規(guī)模預訓練數(shù)據(jù)上訓練得到。預訓練數(shù)據(jù)類型多樣，覆蓋廣泛，包括大量網(wǎng)絡文本、專業(yè)書籍、代碼等。它是支持中、英等多種語言的基座模型，在超過 2 萬億 token 數(shù)據(jù)集上訓練，上下文窗口長度達到 8k；
• Qwen-7B-Chat 是基于 Qwen-7B 基座模型的中英文對話模型，已實現(xiàn)與人類認知對齊。

此次開源的代碼支持對 Qwen-7B 和 Qwen-7B-Chat 的量化，支持用戶在消費級顯卡上部署和運行模型。

想要下載模型的用戶，既可從魔搭社區(qū)直接下載模型，也可通過阿里云靈積平臺訪問和調(diào)用 Qwen-7B 和 Qwen-7B-Chat，阿里云為用戶提供包括模型訓練、推理、部署、精調(diào)等在內(nèi)的全方位服務。

其實，早在今年 4 月，阿里云就推出了自家自研的大模型通義千問，此次開源的兩款模型，大大降低了研究者使用大模型的門檻。這一舉動也讓阿里云成為國內(nèi)首個加入大模型開源行列的大型科技企業(yè)。

在多個權威測評中，通義千問 7B 模型取得了遠超國內(nèi)外同等尺寸模型的效果，成為當下業(yè)界最強的中英文 7B 開源模型。

通義千問 7B 預訓練模型在多個權威基準測評中表現(xiàn)出色，中英文能力遠超國內(nèi)外同等規(guī)模開源模型，部分能力甚至超過了 12B、13B 大小的開源模型。

在英文能力測評基準 MMLU 上，通義千問 7B 模型得分超過 7B、12B、13B 主流開源模型。該基準包含 57 個學科的英文題目，考驗人文、社科、理工等領域的綜合知識和問題解決能力。

在中文常識能力測評基準 C-Eval 上，通義千問在驗證集和測試集中都是得分最高的 7B 開源模型，展現(xiàn)了扎實的中文能力。

在數(shù)學解題能力評測 GSM8K、代碼能力評測 HumanEval 等基準上，通義千問 7B 模型也有不俗表現(xiàn)，勝過所有同等尺寸開源模型和部分大尺寸開源模型。

阿里云表示，開源大模型可以幫助用戶簡化模型訓練和部署的過程，用戶不必從頭訓練模型，只需下載預訓練好的模型并進行微調(diào)，就可快速構建高質(zhì)量的模型。

隨著通義千問的開源，相信會有更多的公司、機構加入到這一行列，為更多的研究者帶來便利。