給AI看一眼圖，它就能找到對(duì)應(yīng)音樂。

比如一艘海上航行的海盜船，啪一下，就檢索到了加勒比海盜經(jīng)典配樂。

音樂信息檢索（Music Information Retrieval, MIR）一直面臨著多模態(tài)數(shù)據(jù)的復(fù)雜性和多語言文本理解的挑戰(zhàn)。

當(dāng)前的MIR系統(tǒng)主要關(guān)注特定模態(tài)對(duì)（如文本-音頻或文本-樂譜），限制了跨模態(tài)理解的潛力。

同時(shí)，現(xiàn)有的數(shù)據(jù)集主要以英語為主，缺乏多語言覆蓋，導(dǎo)致MIR在非英語環(huán)境下的泛化能力受限。

為此，來自中央音樂學(xué)院、清華大學(xué)、香港科技大學(xué)大學(xué)、上海紐約大學(xué)等機(jī)構(gòu)的研究者推出CLaMP 3（Contrastive Language-Music Pre-training）——一個(gè)跨模態(tài)、跨語言的統(tǒng)一音樂信息檢索框架。

通過對(duì)比學(xué)習(xí)，CLaMP 3首次實(shí)現(xiàn)了樂譜、演奏信號(hào)、音頻錄音等音樂模態(tài)與多語言文本的聯(lián)合對(duì)齊，使得不同模態(tài)之間可以通過文本橋接進(jìn)行高效檢索。其多語言文本編碼器能夠適應(yīng)從未見過的語言，在跨語言檢索任務(wù)上表現(xiàn)卓越。

CLaMP3基于檢索增強(qiáng)生成（Retrieval-Augmented Generation, RAG）策略，構(gòu)建了規(guī)模達(dá)到2.31M音樂-文本對(duì)的M4-RAG數(shù)據(jù)集，并結(jié)合詳細(xì)的音樂元數(shù)據(jù)，覆蓋27種語言、194個(gè)國家的音樂文化。此外，研究團(tuán)隊(duì)還推出了WikiMT-X，一個(gè)由樂譜、音頻和多樣化文本描述組成的1000個(gè)樣本的基準(zhǔn)數(shù)據(jù)集，推動(dòng)跨模態(tài)音樂理解的研究。

實(shí)驗(yàn)結(jié)果表明，CLaMP 3在多個(gè)MIR任務(wù)上取得了當(dāng)前最優(yōu)性能，不僅大幅超越已有基線模型，還在跨模態(tài)、跨語言的檢索任務(wù)中展現(xiàn)了卓越的泛化能力。

圖1：CLaMP 3展現(xiàn)出強(qiáng)大的跨模態(tài)和跨語言泛化能力。監(jiān)督對(duì)齊（實(shí)線箭頭）連接成對(duì)的模態(tài)，而涌現(xiàn)對(duì)齊（虛線箭頭）則彌合未對(duì)齊的模態(tài)。多語言文本編碼器使得在對(duì)齊過程中未見（灰色氣泡）的語言中也能進(jìn)行檢索。

動(dòng)機(jī)：MIR需要真正的跨模態(tài)、跨語言對(duì)齊

音樂是全球性的，但MIR的發(fā)展仍然面臨以下關(guān)鍵問題：

• 多模態(tài)數(shù)據(jù)對(duì)齊難度高：樂譜、MIDI（演奏信號(hào)）、音頻各自有獨(dú)特的數(shù)據(jù)表示方式，傳統(tǒng)方法難以統(tǒng)一處理不同模態(tài)。
• 多語言音樂信息檢索受限：現(xiàn)有數(shù)據(jù)集以英語為主，缺乏對(duì)其他語言的覆蓋，導(dǎo)致MIR模型難以泛化到全球音樂語境。
• 缺乏高質(zhì)量的多模態(tài)-多語言數(shù)據(jù)：音樂文本數(shù)據(jù)多為簡短的標(biāo)簽，缺乏詳細(xì)的長文本描述，限制了MIR系統(tǒng)的理解能力。

為解決上述問題，CLaMP 3構(gòu)建了一個(gè)通用的跨模態(tài)-跨語言檢索框架，通過對(duì)比學(xué)習(xí)構(gòu)建共享表示空間，使得不同模態(tài)的音樂數(shù)據(jù)可以在無配對(duì)訓(xùn)練數(shù)據(jù)的情況下進(jìn)行檢索。

方法：對(duì)比學(xué)習(xí)+檢索增強(qiáng)生成，構(gòu)建統(tǒng)一音樂表示空間

CLaMP 3采用對(duì)比學(xué)習(xí)（Contrastive Learning）作為核心優(yōu)化目標(biāo)，通過多階段訓(xùn)練策略對(duì)齊不同模態(tài)，并利用檢索增強(qiáng)生成（RAG）擴(kuò)展高質(zhì)量音樂-文本數(shù)據(jù)。

圖2：CLaMP 3采用對(duì)比學(xué)習(xí)來對(duì)齊不同模態(tài)的特征。樂譜和演奏信號(hào)被分割為單元（小節(jié)或MIDI消息），并由符號(hào)音樂編碼器處理，而音頻則被分割為5秒片段，并通過音頻特征提取器和音頻音樂編碼器處理。符號(hào)和音頻表示均與來自多語言文本編碼器的文本表示對(duì)齊。

訓(xùn)練策略：多階段模態(tài)對(duì)齊

CLaMP 3的訓(xùn)練策略借鑒了ImageBind的思想，采用四階段跨模態(tài)對(duì)齊：

• 文本與樂譜對(duì)齊：訓(xùn)練文本編碼器與樂譜編碼器。
• 文本與音頻對(duì)齊：凍結(jié)文本編碼器，訓(xùn)練音頻編碼器。
• 優(yōu)化文本對(duì)齊：解凍文本編碼器，細(xì)調(diào)文本-音頻對(duì)齊。
• 修正跨模態(tài)漂移：重新對(duì)齊文本-樂譜，以減少前一階段的對(duì)齊偏差。

這一策略確保了所有模態(tài)最終映射到統(tǒng)一的表示空間，避免模態(tài)漂移問題。

核心組件：多模態(tài)Transformer編碼器

CLaMP 3由多個(gè)基于Transformer的編碼器組成，每個(gè)編碼器針對(duì)不同模態(tài)進(jìn)行處理，以確?？缒B(tài)對(duì)齊和信息融合。

多語言文本編碼器

CLaMP 3的文本編碼器基于XLM-R-base，一個(gè)預(yù)訓(xùn)練于2.5TB CommonCrawl數(shù)據(jù)的模型，涵蓋100種語言。該編碼器具有12層Transformer，隱藏維度為768，具備強(qiáng)大的跨語言泛化能力，可用于處理未見語言的數(shù)據(jù)。

符號(hào)音樂編碼器

CLaMP 3采用M3作為符號(hào)音樂編碼器，它是一種自監(jiān)督學(xué)習(xí)模型，可處理多軌ABC記譜格式和MIDI。

• 輸入格式：ABC以小節(jié)（bar）為單位分割，MIDI以消息（message）為單位分割。
• 模型結(jié)構(gòu)：12層Transformer，隱藏層大小768。
• 處理能力：支持512個(gè)片段（patches）或32,768個(gè)字符，可捕捉復(fù)雜的符號(hào)音樂模式。

音頻音樂編碼器

CLaMP 3的音頻編碼器是一個(gè)12層Transformer，隱藏維度同樣為768，專為音樂音頻處理而訓(xùn)練。

• 特征提取：利用MERT-v1-95M預(yù)訓(xùn)練特征，MERT作為凍結(jié)的音頻特征提取器。
• 輸入單位：將音頻分割為5秒片段，并計(jì)算所有MERT層的時(shí)間步均值，生成單個(gè)嵌入向量。
• 處理能力：最多支持128個(gè)嵌入向量（對(duì)應(yīng)640秒音頻），能夠建模長時(shí)音樂特征。

統(tǒng)一表示空間

所有編碼器的輸出都經(jīng)過線性層和平均池化（average pooling）處理，最終生成全局語義特征，確保不同模態(tài)數(shù)據(jù)在共享表示空間中對(duì)齊。

數(shù)據(jù)集：M4-RAG

CLaMP 3的訓(xùn)練依賴于大規(guī)模的高質(zhì)量多模態(tài)多語言音樂數(shù)據(jù)集M4-RAG。

數(shù)據(jù)來源

CLaMP 3結(jié)合符號(hào)音樂數(shù)據(jù)和音頻音樂數(shù)據(jù)以構(gòu)建多模態(tài)學(xué)習(xí)基礎(chǔ)：

• 符號(hào)音樂數(shù)據(jù)：

• WebMusicText（WebMT）：1.4M ABC記譜文件。
• Million MIDI Dataset（MMD）：1.5M MIDI文件。
• 數(shù)據(jù)轉(zhuǎn)換：MMD轉(zhuǎn)換為ABC，WebMT轉(zhuǎn)換為MIDI，最終形成3M統(tǒng)一格式的符號(hào)音樂數(shù)據(jù)。

• 音頻音樂數(shù)據(jù)：

• 從網(wǎng)絡(luò)收集1.8M音軌，總計(jì)16萬小時(shí)音頻，并預(yù)提取音頻特征以減少計(jì)算成本。

元數(shù)據(jù)處理

CLaMP 3依賴音樂標(biāo)題（Title）作為主要檢索信號(hào)，通過檢索增強(qiáng)生成（RAG）從Web獲取豐富的元數(shù)據(jù)，包括風(fēng)格、標(biāo)簽、背景信息等，最終借助Qwen2.5-72B構(gòu)建M4-RAG：

• 數(shù)據(jù)量：2.31M元數(shù)據(jù)條目。
• 音樂-文本對(duì)齊：

• ABC-文本：0.58M
• MIDI-文本：0.17M
• 音頻-文本：1.56M

元數(shù)據(jù)涵蓋短文本（如流派、標(biāo)簽）和長文本（如背景介紹、音樂分析），提供全面的音樂描述信息。

表1：M4-RAG的元數(shù)據(jù)概覽，按基本信息、注釋和翻譯進(jìn)行分類。在注釋（Annotations）部分，地區(qū)（Region）和語言（Language）以英語書寫，其他字段遵循對(duì)應(yīng)的語言規(guī)范。

語言&地理覆蓋

M4-RAG涵蓋27種語言，其中大部分元數(shù)據(jù)原始語言為英語。

翻譯增強(qiáng)：使用Qwen2.5-72B進(jìn)行翻譯，增加低資源語言的數(shù)據(jù)量（如馬來語、緬甸語）。

全球覆蓋：數(shù)據(jù)來源于194個(gè)國家，涵蓋主流音樂市場(chǎng)及多樣化的地域音樂風(fēng)格。

圖3：M4-RAG中原始數(shù)據(jù)和翻譯數(shù)據(jù)的語言分布，覆蓋27種語言。

圖4：M4-RAG中音樂曲目的國家分布，涵蓋194個(gè)國家。

實(shí)驗(yàn)：CLaMP 3在跨模態(tài)、跨語言檢索上超越現(xiàn)有SOTA

CLaMP 3在多個(gè)MIR任務(wù)上取得了當(dāng)前最優(yōu)（SOTA）性能，相比前代CLaMP 2和其他基線模型，如CLAP、TTMR++，有顯著提升。

跨模態(tài)音樂檢索

在文本-音頻、文本-樂譜等任務(wù)上，CLaMP 3在WikiMT-X、MidiCaps、MusicCaps-Remake等基準(zhǔn)數(shù)據(jù)集上的MRR（Mean Reciprocal Rank）均超越基線：

• 文本-ABC檢索：MRR 0.4498（提升>10%）
• 文本-音頻檢索：MRR 0.1985（超越CLAP與TTMR++）

表2：英文文本到音樂檢索任務(wù)的結(jié)果，涵蓋多個(gè)基準(zhǔn)數(shù)據(jù)集。WikiMT和MidiCaps各包含1,010對(duì)樣本，Song Describer Dataset(SDD)包含706個(gè)音頻和1,106條文本描述，MusicCaps-Remake(MC-R)包含2,777對(duì)樣本。MC-R通過使用完整音頻和來自AudioSet評(píng)估集的重寫文本描述，避免了數(shù)據(jù)泄漏。

跨語言音樂檢索

在非英語文本到音樂的檢索任務(wù)中，CLaMP 3展現(xiàn)了極強(qiáng)的跨語言泛化能力，即使在訓(xùn)練集中未見過的語言上，依然能取得優(yōu)異表現(xiàn)。例如：

• 俄語-樂譜檢索：MRR 0.3614
• 中文-音頻檢索：MRR 0.1459
• 芬蘭語（未見語言）-音頻檢索：MRR 0.1770

表3：多語言文本到音樂檢索任務(wù)的結(jié)果，基于WikiMT-X翻譯后的背景注釋。標(biāo)有星號(hào)（*）的語言未包含在M4-RAG訓(xùn)練數(shù)據(jù)中。每種語言下方的BLEU分?jǐn)?shù)通過SeamlessM4T模型對(duì)文本進(jìn)行回譯，并與原始英語文本進(jìn)行對(duì)比計(jì)算。

無配對(duì)跨模態(tài)檢索

在沒有配對(duì)訓(xùn)練數(shù)據(jù)的情況下，CLaMP 3依然可以進(jìn)行跨模態(tài)檢索，例如：

• 樂譜→音頻（S→A）：MRR 0.0578
• 音頻→樂譜（A→S）：MRR 0.0492

表4：WikiMT-X不同音樂模態(tài)配對(duì)的涌現(xiàn)跨模態(tài)檢索結(jié)果。S：樂譜（ABC記譜）、P：演奏信號(hào)（MIDI，由ABC轉(zhuǎn)換）、A：音頻錄音。

結(jié)論：CLaMP 3開啟跨模態(tài)、跨語言MIR新時(shí)代

CLaMP 3首次實(shí)現(xiàn)了樂譜、演奏信號(hào)、音頻與多語言文本的統(tǒng)一表示學(xué)習(xí)，突破了MIR的跨模態(tài)與跨語言限制。

項(xiàng)目主頁：https://sanderwood.github.io/clamp3

在線Demo：https://huggingface.co/spaces/sander-wood/clamp3

GitHub代碼：https://github.com/sanderwood/clamp3