近年來，人工智能（Aritificial Intelligence, AI），尤其是以大語言模型（Large Language Models, LLMs）為代表的 AI 正以驚人的速度發(fā)展，這些模型在多種自然語言處理任務中展現了卓越的能力。然而，盡管在許多領域取得了突破，代表著人類頂尖語言水平的同聲傳譯（Simultaneous Interpretation, SI）依然是一個未被完全攻克的難題。

市面上傳統(tǒng)的同聲傳譯軟件通常采用級聯模型（cascaded model）的方法，即先進行自動語音識別（Automatic Speech Recognition, ASR），然后再進行機器翻譯（Machine Translation, MT）。這種方法存在一個顯著的問題 —— 錯誤傳播。ASR 過程中的錯誤會直接影響到后續(xù)的翻譯質量，導致嚴重的誤差累積。此外，傳統(tǒng)的同聲傳譯系統(tǒng)由于受限于低延時的要求，通常只使用了性能較差的小模型，這在應對復雜多變的實際應用場景時存在瓶頸。

來自字節(jié)跳動 ByteDance Research 團隊的研究人員推出了端到端同聲傳譯智能體：Cross Language Agent - Simultaneous Interpretation, CLASI，其效果已接近專業(yè)人工水平的同聲傳譯，展示了巨大的潛力和先進的技術能力。CLASI 采用了端到端的架構，規(guī)避了級聯模型中錯誤傳播的問題，依托于豆包基座大模型和豆包大模型語音組的語音理解能力，同時具備了從外部獲取知識的能力，最終形成了足以媲美人類水平的同聲傳譯系統(tǒng)。

• 論文地址：https://byteresearchcla.github.io/clasi/technical_report.pdf
• 展示頁面：https://byteresearchcla.github.io/clasi/

效果展示

視頻 Demo：首先用幾則即興視頻來感受一下 CLASI 的效果，所有字幕均為實時錄屏輸出。我們可以看到，無論是語速超快、發(fā)音復雜的繞口令，還是精妙絕倫的文言文，又或是充滿即興和靈感的隨意聊天，模型都能流暢自然地給出準確而地道的翻譯結果。更不用說，CLASI 在其老本行 —— 會議場景翻譯中表現得尤為出色。

即興對話-星座

朗讀-赤壁賦

繞口令

更多視頻可點擊「閱讀原文」進行查看

定量對比：研究人員分別在中英、英中翻譯語向上，針對 4 個不同領域邀請專業(yè)的同傳譯員進行了人工評測，使用了與人工同傳一致的評價指標：有效信息占比（百分制）。圖中可以看到，CLASI 系統(tǒng)大幅領先所有商業(yè)系統(tǒng)和開源 SOTA 系統(tǒng)，并且在某些測試集上甚至達到或超過了人類同傳水平（一般認為人類同傳平均水平大概在 80%）。

系統(tǒng)架構

系統(tǒng)架構上，CLASI 采用了基于 LLM 智能體的架構（下圖左），將同聲傳譯定義為一系列簡單且協(xié)調的操作，包括讀入音頻流，檢索（可選），讀取記憶體，更新記憶體，輸出等。整個流程由大語言模型自主控制，從而在實時性和翻譯質量之間達到了高效的平衡。該系統(tǒng)能夠根據實際需求靈活調整各個環(huán)節(jié)的處理策略，確保在高效傳遞信息的同時，保持翻譯內容的準確性和連貫性。CLASI 底層模型是一個 Encoder-conditioned LLM，在海量的無監(jiān)督和有監(jiān)督數據上進行了預訓練。CLASI 模型的系統(tǒng)架構如下圖所示。

圖 1：圖示展示了 CLASI 的整體操作流程。在步驟 1 中，CLASI 處理當前輸入的音頻數據。接下來檢索器會被激活（可選），從用戶自定義的知識庫中獲取相關信息。在這個示例中，使用知識庫中的翻譯對 “伊辛模型: Ising model” 能夠幫助模型輸出正確的譯文。在步驟 3 中，CLASI 從上一輪的記憶體中加載轉寫（可選）和翻譯。接下來（步驟 4 和步驟 5），CLASI 可能會啟用思維鏈（CoT）來輸出轉寫（可選）和翻譯結果，然后更新其記憶體。最后，返回步驟 1 以處理下一輪的語音。

圖 2：CLASI 的結構圖。在第 r 輪中，CLASI 將當前音頻流、前序的記憶體（r-1）和檢索到的知識（如果有）作為輸入。CLASI 根據給定的指令輸出響應，然后更新記憶體。同時，CLASI 還會輸出截止當前，最后一個語義片段的截止時間戳。對于給定的示例，短語 “就在” 之前的內容被認為是完整的語義片段，所以截止時間戳就在此短語之前。

實驗結果

表 1：人工評測有效字段占比（Valid Information Proportion, VIP）中，CLASI 系統(tǒng)顯著超過了其他所有競品，并且在兩個語向上均達到了 78% 以上的準確性。一般而言，可以認為人類同傳的準確性在 70% 以上，理想情況下可以達到 95%，研究人員以 80% 的準確性作為高水平人類譯員的平均標準。

示例分析

中翻英：

英翻中：

可以看到在多個方面，CLASI 的翻譯均顯著優(yōu)于商用系統(tǒng)。

總結

來自字節(jié)跳動 ByteDance Research 團隊的研究人員提出了基于豆包大模型的同傳智能體：CLASI。得益于大規(guī)模預訓練和模仿學習，在人工評估中，CLASI 的表現顯著優(yōu)于現有的自動同聲傳譯系統(tǒng)的性能，幾乎達到人類同傳水平。

1. 研究人員提出了一種通過模仿專業(yè)人類譯員的、數據驅動的讀寫策略。該策略無需復雜的人類預設計，即可輕松平衡翻譯質量和延遲。與大多數商業(yè)系統(tǒng)在翻譯過程中頻繁重寫輸出以提高質量不同，該策略保證所有輸出在保持高質量的同時是確定性的。

2. 人類譯員一般需要預先準備同傳內容，受此啟發(fā)，研究人員引入了一種多模態(tài)檢索增強生成（MM-RAG）過程，使 LLM 實時地具有領域特定的知識。所提出的模塊在推理過程中以最小的計算開銷進一步提高了翻譯質量。

3. 研究人員與專業(yè)人類同傳譯員密切合作，制定了新的人工評估策略 “有效信息占比”(VIP)，并公開了詳細的指南。同時也發(fā)布了一個更接近現實場景的長語音翻譯的多領域人工標注測試集。