超長小說可以用AI翻譯了，新型多智能體協(xié)作系統(tǒng)媲美人工翻譯
機(jī)器翻譯 (MT) 的最新進(jìn)展顯著提高了各個(gè)領(lǐng)域的翻譯質(zhì)量。然而，由于其復(fù)雜的語言、比喻表達(dá)和文化差異，文學(xué)文本的翻譯仍然是一個(gè)艱巨的挑戰(zhàn)。
最近，一篇題為《(Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts》的論文，提出了一種用于文學(xué)翻譯的基于大型語言模型（LLM）的新型多智能體框架，并構(gòu)建了一家名為 TRANSAGENTS 的虛擬出版公司（文學(xué)翻譯多智能體系統(tǒng)）。
- 論文：(Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts
- 論文地址：https://arxiv.org/abs/2405.11804
該框架通過利用多個(gè)智能體的集體能力來反映傳統(tǒng)的翻譯出版流程，以解決復(fù)雜的翻譯問題。為了評(píng)估系統(tǒng)的有效性，該研究還提出兩種創(chuàng)新的評(píng)估策略：?jiǎn)握Z人類偏好（MHP）和雙語 LLM 偏好（BLP）。MHP 從目標(biāo)語言的單語讀者的角度評(píng)估翻譯質(zhì)量，而 BLP 使用高級(jí) LLM 直接將翻譯與原文進(jìn)行比較。
實(shí)驗(yàn)結(jié)果表明，人類評(píng)估者和 LLM 都更喜歡 TRANSAGENTS 的翻譯，而不是人類撰寫的參考翻譯，特別是在需要特定領(lǐng)域知識(shí)的情況下。
多智能體虛擬公司 ——TRANSAGENTS
該研究構(gòu)建了一家虛擬多智能體翻譯出版公司 TRANSAGENTS，擁有多元化的員工，包括首席執(zhí)行官、高級(jí)編輯、初級(jí)編輯、譯員、本地化專家和校對(duì)員。當(dāng)人類客戶分配書籍翻譯任務(wù)時(shí)，由 TRANSAGENTS 選定的智能體團(tuán)隊(duì)將協(xié)作翻譯書籍。這模擬了整個(gè)圖書翻譯過程，其中不同角色的智能體協(xié)同工作，以確保翻譯始終保持高質(zhì)量和一致性。
為了增強(qiáng)翻譯過程中模擬的真實(shí)性和有效性，該研究利用 GPT-4-turbo 為每個(gè)不同的角色生成一組多樣化的虛擬智能體配置文件（30 個(gè)）。如下圖所示，這些配置文件經(jīng)過全面設(shè)計(jì)，包含遠(yuǎn)遠(yuǎn)超出語言技能范圍的廣泛屬性。
該研究使用兩種智能體協(xié)作策略，包括加減協(xié)作（Algorithm 1）和三方協(xié)作（Algorithm 2）。
加減協(xié)作策略僅涉及兩個(gè)智能體。一個(gè)充當(dāng)加法智能體，負(fù)責(zé)提取盡可能多的相關(guān)信息；另一個(gè)充當(dāng)減法智能體，負(fù)責(zé)檢查提取的信息，消除冗余細(xì)節(jié)，并向加法智能體提供反饋。
三方協(xié)作將協(xié)作分為三個(gè)分支：
- 行動(dòng)（Action）：遵循指令并實(shí)施所需行動(dòng)；
- 批評(píng)：審查生成的響應(yīng)并給行動(dòng)分支提供建設(shè)性反饋；
- 判斷：對(duì)響應(yīng)是否滿意做出最終決定，并決定是否需要進(jìn)一步修改。
每個(gè)分支分配一個(gè)智能體。
評(píng)估實(shí)驗(yàn)
該研究在 WMT2023 DLLT 測(cè)試集上進(jìn)行了自動(dòng)評(píng)估，結(jié)果如下表所示：
雖然 TRANSAGENTS 在 d-BLEU 指標(biāo)上表現(xiàn)不佳，但 d-BLEU 有局限性，可能不會(huì)充分捕捉生成文本的質(zhì)量和連貫性。
與 Reference 1、GPT-4（GPT-4-1106-PREVIEW）相比，TRANSAGENTS 生成的翻譯受到人類評(píng)估者偏好（MHP）情況如下圖所示。
該研究還使用雙語 LLM 偏好（BLP）評(píng)估了 TRANSAGENTS，結(jié)果如下圖所示：
感興趣的讀者可以閱讀論文原文，了解更多研究?jī)?nèi)容。
本文轉(zhuǎn)自 機(jī)器之心 ，作者：機(jī)器之心
