在對(duì)話(huà)型人工智能（AI）研究中，存在趨勢(shì)即朝著開(kāi)發(fā)參數(shù)更多的模型方向發(fā)展，如 ChatGPT 等為代表的模型。盡管這些龐大的模型能夠生成越來(lái)越好的對(duì)話(huà)響應(yīng)，但它們同時(shí)也需要大量的計(jì)算資源和內(nèi)存。本文研究探討的問(wèn)題是：一組小模型是否能夠協(xié)同達(dá)到與單一大模型相當(dāng)或更好的性能？ 

本文介紹了一種創(chuàng)新而簡(jiǎn)單的方法：混合。

作者展示了如果從一組小規(guī)模的對(duì)話(huà)型人工智能中隨機(jī)選擇回復(fù)，生成的對(duì)話(huà)型人工智能具有很強(qiáng)的性能和吸引力，可以勝過(guò)參數(shù)數(shù)量級(jí)大很多的系統(tǒng)。作者觀察到混合模型似乎具有 “最優(yōu)” 的特征，通過(guò)在對(duì)話(huà)歷史上進(jìn)行條件化響應(yīng)，一個(gè)具有特定屬性的單一模型能夠?qū)W習(xí)其他系統(tǒng)的能力?？梢詾橛脩?hù)提供更引人入勝和多樣化的回復(fù)和使用體驗(yàn)。

作者通過(guò)在 CHAI 平臺(tái)上進(jìn)行大規(guī)模 A/B 測(cè)試，證明了混合模型的有效性。在真實(shí)用戶(hù)的測(cè)試中，包含三個(gè) 6-13B 參數(shù) LLM 的混合模型，勝過(guò)了 OpenAI 的 175B + 參數(shù) ChatGPT。并且混合模型的用戶(hù)留存率顯著高于基于 ChatGPT 的對(duì)話(huà)型人工智能，說(shuō)明用戶(hù)認(rèn)為混合對(duì)話(huà)型人工智能更具吸引力、娛樂(lè)性和實(shí)用性，盡管混合模型僅需要消耗少量的推理成本和內(nèi)存開(kāi)銷(xiāo)。

• 論文：Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM
• 論文鏈接：https://arxiv.org/pdf/2401.02994.pdf
• 模型鏈接：https://huggingface.co/ChaiML

混合模型

對(duì)話(huà)型 AI

對(duì)話(huà)型人工智能的目標(biāo)是設(shè)計(jì)一個(gè)能夠生成引人入勝、富有娛樂(lè)性的對(duì)話(huà)系統(tǒng)，供人們進(jìn)行交互。設(shè) uk 表示用戶(hù)的第 k 輪對(duì)話(huà)，其中每個(gè)用戶(hù)輪次是一個(gè)單詞序列，uk = (w (k) 1 . . . , w (k) |uk| )。同樣地，設(shè) rk 表示系統(tǒng)生成的第 k 個(gè)響應(yīng)，也是一個(gè)單詞序列，rk = (w (k) 1 , . . . , w (k) |rk| )。作為一種隱式語(yǔ)言模型，一個(gè)特定的對(duì)話(huà)型人工智能，參數(shù)化為 θ，在給定先前對(duì)話(huà)歷史的情況下，建模預(yù)測(cè)下一個(gè)響應(yīng)出現(xiàn)的概率。

在訓(xùn)練過(guò)程中，系統(tǒng)隱式學(xué)習(xí)將更高的概率分配給流暢、引人入勝和高質(zhì)量的響應(yīng)。因此，可以通過(guò)從其分布中隨機(jī)采樣輸出，無(wú)論是通過(guò)隨機(jī)方法，還是通過(guò)像波束搜索這樣的近似搜索過(guò)程。

受 InstructGPT 的啟發(fā)，最先進(jìn)的對(duì)話(huà)型人工智能通常遵循三階段的流程。首先，對(duì)預(yù)訓(xùn)練語(yǔ)言模型 (PrLM) 進(jìn)行微調(diào)，該模型在相關(guān)的文本領(lǐng)域進(jìn)行訓(xùn)練，例如，在設(shè)計(jì)引人入勝的聊天機(jī)器人時(shí)使用有趣的文學(xué)作品。其次，使用明確的人類(lèi)反饋來(lái)訓(xùn)練獎(jiǎng)勵(lì)模型。最后，使用獎(jiǎng)勵(lì)模型改進(jìn)原始的 PrLM，可以采用近端策略?xún)?yōu)化或者采用簡(jiǎn)單的拒絕抽樣策略。

在開(kāi)發(fā)特定的對(duì)話(huà)型人工智能時(shí)，存在許多設(shè)計(jì)選擇，如基礎(chǔ) PrLM、用于微調(diào)的對(duì)話(huà)數(shù)據(jù)以及用于更新系統(tǒng)的人類(lèi)反饋。人們可能期望不同的方法和訓(xùn)練數(shù)據(jù)能產(chǎn)生高度多樣的系統(tǒng)，每個(gè)系統(tǒng)都展示出獨(dú)特的優(yōu)勢(shì)和特征。然后，可以考慮如何將一組對(duì)話(huà)型人工智能組合起來(lái)，形成具有總體更好特性的系統(tǒng)。

集成

根據(jù)貝葉斯統(tǒng)計(jì)原理，分配給特定響應(yīng)的概率可以被概念化為對(duì)所有合理的對(duì)話(huà)型人工智能參數(shù)取邊際期望，

在實(shí)踐中，當(dāng)只能訪(fǎng)問(wèn)有限的一組對(duì)話(huà)型人工智能系統(tǒng) {θ1, θ2...θN} 時(shí)，可以將連續(xù)積分近似為離散求和。此外可以假設(shè) PΘ(θ) 在這些系統(tǒng)上均勻分布，即 PΘ(θn) = 1/N，如果該集合包含性能相似的模型，這是一個(gè)有效的假設(shè)，可以得到下面的近似式：

混合

作者提出的方法目標(biāo)是從真實(shí)的集成分布 (方程 8) 中近似抽樣。為了實(shí)現(xiàn)這種近似，在每一輪對(duì)話(huà)混合模型都會(huì)隨機(jī) (均勻地) 選擇生成當(dāng)前響應(yīng)的對(duì)話(huà)型人工智能 θ。這個(gè)過(guò)程在下面的算法 1 中有詳細(xì)描述。需要注意的是，在對(duì)話(huà)過(guò)程中，特定對(duì)話(huà)型人工智能生成的響應(yīng)是在先前選擇的對(duì)話(huà)型人工智能生成的所有先前響應(yīng)的條件下進(jìn)行的。這意味著不同的對(duì)話(huà)型人工智能能夠隱式地影響當(dāng)前響應(yīng)的輸出。因此當(dāng)前響應(yīng)是個(gè)體對(duì)話(huà)型人工智能優(yōu)勢(shì)的混合，它們共同合作以創(chuàng)建整體更吸引人的對(duì)話(huà)。

實(shí)驗(yàn)

對(duì)于在 Chai Research 平臺(tái)上部署的每個(gè)對(duì)話(huà)型人工智能，作者根據(jù) A/B 測(cè)試設(shè)置中的 (文章 4.2 節(jié)的公式 15) 計(jì)算每一天 k 的用戶(hù)參與度。通過(guò)考慮第 20 天 (k=20)，圖 1 顯示了混合模型、其組成的對(duì)話(huà)型人工智能以及 OpenAI 的 GPT-3.5 的參與度比例。作者觀察到中等大小的對(duì)話(huà)型人工智能 (Pygmillion、Vicuna 和 ChaiLLM) 的參與度明顯低于 GPT3.5，這是在預(yù)期內(nèi)的，因?yàn)?GPT3.5 的參數(shù)數(shù)量要高一個(gè)數(shù)量級(jí)。然而，混合這三個(gè)基本對(duì)話(huà)型人工智能，混合模型的結(jié)果不僅比每個(gè)組成系統(tǒng)都具有更高的參與度，而且性能提升顯著，以至于混合模型可以勝過(guò) OpenAI 的 GPT3.5。與其他對(duì)話(huà)型人工智能相比，混合模型的成功也可以通過(guò)比較 k=20 的用戶(hù)留存比 (文章 4.1 節(jié)的公式 10) 來(lái)計(jì)算，結(jié)果如圖 1 所示。

混合模型總共有 25 億參數(shù)，而 OpenAI 有 1750 億參數(shù)。此外，由于混合模型的響應(yīng)是從單個(gè)對(duì)話(huà)型人工智能中隨機(jī)抽樣的，因此推理成本等同于單個(gè) 6B/13B 系統(tǒng)的成本。在圖 2 和圖 3 中，可以看出推理速度的顯著差異，可以觀察到混合模型在參與度和用戶(hù)留存方面有顯著的性能提升，而速度與小型對(duì)話(huà)型人工智能相當(dāng)。這具有重要意義：與其擴(kuò)大系統(tǒng)規(guī)模以提高質(zhì)量，不如簡(jiǎn)單地混合多個(gè)較小的開(kāi)源系統(tǒng)，而且在不增加任何推理成本的情況下，可以極大地改善用戶(hù)的對(duì)話(huà)體驗(yàn)。這證明了在設(shè)計(jì)引人入勝且成功的對(duì)話(huà)型人工智能時(shí)，模型協(xié)作比簡(jiǎn)單的模型參數(shù)擴(kuò)展更為重要。

作為客觀比較，表 1 報(bào)告了單一指標(biāo)摘要 (論文 3.3 節(jié))。以 Pygmillion 為控制組，作者提供了測(cè)試相對(duì)于控制組的參與度比率指標(biāo)?α 和?γ，以及測(cè)試相對(duì)于控制組的留存比率指標(biāo)?ζ 和?β?；旌夏Ｐ途哂凶罡叩南鄬?duì)初始參與度，?α，以及最佳的參與度比率衰減率，?γ。盡管 Vicuna 的留存比率衰減率?β 優(yōu)于混合模型，但 Vicuna 的初始留存比率?ζ 明顯較低，說(shuō)明 Vicuna 需要更長(zhǎng)的時(shí)間來(lái)達(dá)到混合模型的留存分?jǐn)?shù) 6，如前面圖 2 和 3 所示?？傮w而言，很明顯，混合模型通過(guò)協(xié)作多個(gè)較小的對(duì)話(huà)型人工智能，在提供比單個(gè)更大的對(duì)話(huà)型人工智能 (OpenAI 的 GPT3.5) 更高質(zhì)量的對(duì)話(huà)方面是有效的。