開源創(chuàng)新框架MoA，可極大增強(qiáng)大模型的能力
知名大模型平臺(tái)Together AI開源了一個(gè)創(chuàng)新框架Mixture-of-Agents（簡稱，MoA）。
MoA可以顯著提升大模型的生成內(nèi)容的能力和安全性，同時(shí)降低對(duì)AI算力的需求。研究人員在AlpacaEval 2.0、MT-Bench和FLASK等多個(gè)基準(zhǔn)上進(jìn)行了全面評(píng)測(cè)，涵蓋了從無害性、魯棒性、效率、可讀性、事實(shí)性等多個(gè)維度。
結(jié)果顯示，MoA在AlpacaEval 2.0上以65.1%的得分，擊敗了OpenAI的GPT-4o （57.5%），并且在使用開源大模型的條件下，仍然保持了明顯的優(yōu)勢(shì)。也就是說，開發(fā)人員在有限的算力預(yù)算下，MoA也能最大化開源大模型的能力。
開源地址：https://github.com/togethercomputer/moa?tab=readme-ov-file
論文地址：https://arxiv.org/abs/2406.04692
傳統(tǒng)的單一大模型在特定任務(wù)上表現(xiàn)卓越，例如，金融、醫(yī)療、營銷等，但它們受限于訓(xùn)練數(shù)據(jù)和參數(shù)的限制，無法達(dá)到更好的效果。
MoA則使用了一種創(chuàng)新架構(gòu)，構(gòu)建了一個(gè)由多個(gè)代理層組成的模型，每一層都包含若干個(gè)大模型代理。這些代理在模型的每一層中獨(dú)立地工作，但它們之間的協(xié)作卻非常緊密。
在MoA的每一層中，這些代理不僅僅是簡單地接收輸入并生成輸出，它們還會(huì)對(duì)前一層的輸出進(jìn)行深入分析和綜合，以生成更加精準(zhǔn)和全面的回答。簡單來說，有點(diǎn)像是一個(gè)交響樂團(tuán)，每個(gè)代理都扮演著演奏者的角色，共同演奏一首美妙的歌曲。
此外，這些代理會(huì)被統(tǒng)一劃分為提議者（Proposers）和聚合器（Aggregators）兩種角色。提議者擅長生成有用的參考響應(yīng)，即使這些響應(yīng)本身可能并不完美，但它們提供了豐富的上下文和多樣化的視角。
而聚合器則精于將這些來自不同提議者的響應(yīng)整合成一個(gè)高質(zhì)量的單一輸出。這種角色分配使得MoA能夠充分發(fā)揮每個(gè)模型的長處，同時(shí)彌補(bǔ)個(gè)別模型的不足。
為了確保模型之間的有效協(xié)作并提高整體響應(yīng)質(zhì)量，MoA在選擇每一層的大模型時(shí)非常謹(jǐn)慎。選擇過程主要基于兩個(gè)標(biāo)準(zhǔn)：性能指標(biāo)和多樣性考慮。
性能指標(biāo)確保所選模型在歷史上的表現(xiàn)是出色的，多樣性確保了不同模型的輸出能夠相互補(bǔ)充，從而豐富了最終的響應(yīng)內(nèi)容。
在大模型魯棒性方面，在面對(duì)復(fù)雜或模糊的輸入內(nèi)容時(shí)，單一的大模型可能會(huì)產(chǎn)生不確定或錯(cuò)誤的響應(yīng)。而MoA通過多模型代理協(xié)作，可以減少這種不確定性，提供更加穩(wěn)定和可靠的輸出。
這種魯棒性對(duì)于需要高可靠性的領(lǐng)域，如醫(yī)療咨詢、法律服務(wù)、以及客戶支持等，尤為重要，同時(shí)能增強(qiáng)多任務(wù)的學(xué)習(xí)能力，在執(zhí)行語言翻譯、摘要生成、情感分析等多個(gè)子任務(wù)的復(fù)雜查詢時(shí)，能夠提供更加全面和深入的解答。
在資源優(yōu)化方面，MoA通過智能地選擇和組合不同代理模型的輸出，能夠在保持高性能的同時(shí)，減少對(duì)計(jì)算資源的需求。使得MoA在資源受限的環(huán)境中，例如，手機(jī)、平板、筆記本等，也能發(fā)揮出大模型的能力。
本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
