隨著人工智能技術(shù)的飛速發(fā)展，3D語(yǔ)言模型（3D-LLMs）已成為研究的熱點(diǎn)，它們?cè)诶斫夂蜕烧Z(yǔ)言指令方面展現(xiàn)出了巨大的潛力。這些模型不僅能夠處理文本信息，還能理解和操作三維空間中的物體，這對(duì)于發(fā)展能夠與物理世界互動(dòng)的智能系統(tǒng)至關(guān)重要。

3D語(yǔ)言模型的核心在于其能夠?qū)⒄Z(yǔ)言與三維場(chǎng)景緊密結(jié)合。傳統(tǒng)的大型語(yǔ)言模型（LLMs）如GPT和BERT等已經(jīng)在文本處理方面取得了顯著成就，但它們主要處理的是二維圖像和文本數(shù)據(jù)。而3D-LLMs則是在此基礎(chǔ)上的進(jìn)一步擴(kuò)展，它們能夠處理和理解三維點(diǎn)云數(shù)據(jù)，從而在空間理解和物體操作方面提供更為豐富的信息。

然而，3D-LLMs的發(fā)展仍面臨一些挑戰(zhàn)，尤其是在數(shù)據(jù)集的構(gòu)建和模型訓(xùn)練方面。目前，與二維圖像和文本配對(duì)的數(shù)據(jù)集已經(jīng)非常豐富，但專門針對(duì)三維場(chǎng)景和語(yǔ)言指令的大規(guī)模數(shù)據(jù)集還相對(duì)較少。這限制了模型在理解復(fù)雜三維環(huán)境中的能力。

為了解決這一問題，研究人員開發(fā)了3D-GRAND數(shù)據(jù)集，這是一個(gè)創(chuàng)新的大規(guī)模數(shù)據(jù)集，包含了超過40,000個(gè)家庭場(chǎng)景和620萬(wàn)個(gè)與場(chǎng)景密切相關(guān)的語(yǔ)言指令。這一數(shù)據(jù)集的推出，極大地推動(dòng)了3D-LLMs在空間理解和語(yǔ)言生成方面的研究，使模型能夠更好地理解和描述復(fù)雜的三維環(huán)境。

此外，為了系統(tǒng)評(píng)估3D-LLMs在處理虛構(gòu)對(duì)象（即“幻覺”問題）方面的表現(xiàn)，研究人員還提出了3D-POPE基準(zhǔn)測(cè)試。這一測(cè)試旨在通過一系列的評(píng)估任務(wù)，檢測(cè)模型在確認(rèn)三維場(chǎng)景中對(duì)象存在與否方面的準(zhǔn)確性。

通過這些先進(jìn)的數(shù)據(jù)集和評(píng)估工具，3D語(yǔ)言模型正在逐步克服早期的限制，展現(xiàn)出在多種實(shí)際應(yīng)用中的巨大潛力，例如在機(jī)器人技術(shù)、虛擬現(xiàn)實(shí)和自動(dòng)化系統(tǒng)中的應(yīng)用。這些研究不僅推動(dòng)了人工智能技術(shù)的發(fā)展，也為我們提供了一個(gè)全新的視角，來理解和創(chuàng)造與三維世界互動(dòng)的智能系統(tǒng)。

論文信息及下載鏈接在文末

3D-GRAND數(shù)據(jù)集的創(chuàng)新與重要性

1. 數(shù)據(jù)集規(guī)模與密集地面實(shí)體關(guān)聯(lián)

3D-GRAND數(shù)據(jù)集是一個(gè)開創(chuàng)性的大規(guī)模數(shù)據(jù)集，包含40,087個(gè)家庭場(chǎng)景和6.2百萬(wàn)個(gè)與場(chǎng)景密切相關(guān)的語(yǔ)言指令。這種密集的短語(yǔ)到對(duì)象的地面實(shí)體關(guān)聯(lián)是此數(shù)據(jù)集的一大特色，它極大地豐富了3D語(yǔ)言模型的訓(xùn)練材料，使得模型在理解和生成與3D環(huán)境相關(guān)的語(yǔ)言時(shí)更為準(zhǔn)確和自然。

2. 提高模型性能與減少幻覺

通過在3D-GRAND上進(jìn)行指令調(diào)整訓(xùn)練，顯著提高了3D語(yǔ)言模型的地面實(shí)體關(guān)聯(lián)能力，并有效減少了模型在生成語(yǔ)言時(shí)的幻覺現(xiàn)象。這一點(diǎn)在模型訓(xùn)練和評(píng)估中表現(xiàn)尤為突出，通過系統(tǒng)的實(shí)驗(yàn)驗(yàn)證，使用3D-GRAND數(shù)據(jù)集訓(xùn)練的模型在多個(gè)基準(zhǔn)測(cè)試中都顯示出優(yōu)越的性能。

3. 支持多樣化的語(yǔ)言任務(wù)

3D-GRAND不僅僅支持基本的對(duì)象引用任務(wù)，還包括空間推理、場(chǎng)景理解等復(fù)雜的語(yǔ)言任務(wù)。這種多樣化的任務(wù)支持使得3D-GRAND能夠更全面地評(píng)估和訓(xùn)練3D語(yǔ)言模型，推動(dòng)模型在更廣泛的應(yīng)用場(chǎng)景中的部署和使用。

4. 高質(zhì)量的注釋和可擴(kuò)展性

3D-GRAND的語(yǔ)言注釋經(jīng)過嚴(yán)格的人工評(píng)估，確保了數(shù)據(jù)的高質(zhì)量和多樣性。此外，該數(shù)據(jù)集的設(shè)計(jì)考慮到了未來的可擴(kuò)展性，支持從仿真數(shù)據(jù)到真實(shí)世界數(shù)據(jù)的轉(zhuǎn)換，這為使用合成數(shù)據(jù)進(jìn)行3D文本理解提供了新的可能性。

5. 早期信號(hào)顯示有效的仿真到現(xiàn)實(shí)的轉(zhuǎn)換

初步結(jié)果表明，通過在3D-GRAND上訓(xùn)練的模型能夠有效地轉(zhuǎn)移到真實(shí)世界的3D掃描數(shù)據(jù)上，這為未來低成本、可持續(xù)的3D數(shù)據(jù)擴(kuò)展提供了有力的早期信號(hào)。

總之，3D-GRAND數(shù)據(jù)集的引入不僅解決了現(xiàn)有3D語(yǔ)言模型訓(xùn)練數(shù)據(jù)不足的問題，還通過提供大規(guī)模、高質(zhì)量和密集地面實(shí)體關(guān)聯(lián)的數(shù)據(jù)，極大地推動(dòng)了3D語(yǔ)言模型在理解和交互3D環(huán)境方面的研究和應(yīng)用。

3D-POPE基準(zhǔn)測(cè)試：評(píng)估3D語(yǔ)言模型的幻覺行為

在3D語(yǔ)言模型（3D-LLMs）的研究和應(yīng)用中，一個(gè)重要的挑戰(zhàn)是如何準(zhǔn)確地識(shí)別和處理模型在處理3D場(chǎng)景時(shí)可能出現(xiàn)的“幻覺”行為，即模型錯(cuò)誤地識(shí)別或生成不存在的對(duì)象。為了系統(tǒng)地評(píng)估這一行為，我們引入了一個(gè)全新的基準(zhǔn)測(cè)試——3D-POPE（3D Polling-based Object Probing Evaluation）。

1. 3D-POPE基準(zhǔn)測(cè)試的設(shè)計(jì)

3D-POPE旨在通過一系列標(biāo)準(zhǔn)化的測(cè)試來評(píng)估3D-LLMs在3D場(chǎng)景中對(duì)對(duì)象存在性的判斷能力。這些測(cè)試包括向模型提出關(guān)于場(chǎng)景中某個(gè)對(duì)象是否存在的問題，并根據(jù)模型的是或否回答來評(píng)估其性能。

為了構(gòu)建這一基準(zhǔn)測(cè)試，我們從ScanNet數(shù)據(jù)集中挑選了一組場(chǎng)景，并使用ScanNet200的語(yǔ)義類別來定義測(cè)試對(duì)象。我們特別關(guān)注模型對(duì)于對(duì)象存在性的判斷能力，因此設(shè)計(jì)了一系列包含存在和不存在對(duì)象的問題，以確保測(cè)試的全面性和平衡性。

2. 采樣策略

在構(gòu)建3D-POPE測(cè)試集時(shí)，我們采用了三種不同的采樣策略來選擇負(fù)樣本（即不存在的對(duì)象）：

• 對(duì)抗性采樣：對(duì)于場(chǎng)景中已確認(rèn)存在的每一個(gè)對(duì)象，我們選擇與之共現(xiàn)頻率最高的不存在對(duì)象作為對(duì)抗樣本。這種方法有助于測(cè)試模型在復(fù)雜場(chǎng)景中的魯棒性。

這些策略的設(shè)計(jì)旨在挑戰(zhàn)模型的魯棒性，評(píng)估其在不同級(jí)別的對(duì)象幻覺情況下的表現(xiàn)。

3. 性能評(píng)估指標(biāo)

我們使用幾個(gè)關(guān)鍵指標(biāo)來評(píng)估3D-LLMs在3D-POPE基準(zhǔn)測(cè)試上的表現(xiàn)，包括精確度（Precision）、召回率（Recall）、F1分?jǐn)?shù)、準(zhǔn)確率（Accuracy）以及錯(cuò)誤肯定率（Yes %）。這些指標(biāo)綜合反映了模型在確認(rèn)對(duì)象存在性方面的能力和可靠性。

4. 公開排行榜

為了促進(jìn)研究社區(qū)的公平比較和合作，我們?cè)O(shè)立了一個(gè)公開的3D-POPE排行榜，研究人員可以提交他們的3D-LLM結(jié)果，并與其他最先進(jìn)模型進(jìn)行比較。排行榜將根據(jù)上述評(píng)估指標(biāo)顯示每個(gè)模型的性能，為研究人員提供一個(gè)透明和標(biāo)準(zhǔn)化的評(píng)估平臺(tái)。

通過3D-POPE基準(zhǔn)測(cè)試，我們希望能夠深入了解3D-LLMs在處理復(fù)雜3D場(chǎng)景時(shí)的對(duì)象幻覺問題，為未來研究提供指導(dǎo)，并推動(dòng)更可靠和準(zhǔn)確的3D語(yǔ)言模型的發(fā)展。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

1. 實(shí)驗(yàn)設(shè)計(jì)

在本研究中，我們引入了一個(gè)全新的大規(guī)模數(shù)據(jù)集3D-GRAND，專為3D環(huán)境中的語(yǔ)言指令調(diào)整而設(shè)計(jì)。該數(shù)據(jù)集包含40,087個(gè)家庭場(chǎng)景，與6.2百萬(wàn)個(gè)密集地與場(chǎng)景語(yǔ)言指令相結(jié)合。為了評(píng)估3D語(yǔ)言模型（3D-LLMs）在處理這些數(shù)據(jù)時(shí)的表現(xiàn)，我們?cè)O(shè)計(jì)了一系列實(shí)驗(yàn)，旨在測(cè)試模型在不同數(shù)據(jù)規(guī)模下的性能，并探索模型訓(xùn)練的有效性。

我們還引入了一個(gè)新的基準(zhǔn)測(cè)試3D-POPE（3D Polling-based Object Probing Evaluation），用于系統(tǒng)地評(píng)估3D-LLMs在對(duì)象幻覺方面的表現(xiàn)。這一基準(zhǔn)測(cè)試通過提出存在性問題來評(píng)估模型的回答，從而檢測(cè)模型是否會(huì)產(chǎn)生幻覺——即錯(cuò)誤地認(rèn)為某個(gè)不存在的對(duì)象存在于場(chǎng)景中。

2. 結(jié)果分析

2.1 3D-GRAND數(shù)據(jù)集的影響

使用3D-GRAND進(jìn)行訓(xùn)練的結(jié)果顯示，該數(shù)據(jù)集顯著提高了3D-LLMs的地面真實(shí)性（grounding）能力，并有效減少了幻覺現(xiàn)象。具體來說，模型在3D-POPE基準(zhǔn)測(cè)試中的表現(xiàn)優(yōu)于所有基線模型，尤其是在隨機(jī)抽樣策略下，模型展示了93.34%的精確度和89.12%的準(zhǔn)確率。這一結(jié)果強(qiáng)調(diào)了密集地面數(shù)據(jù)對(duì)于提高模型性能的重要性。

2.2 3D-POPE基準(zhǔn)測(cè)試

在3D-POPE基準(zhǔn)測(cè)試中，我們采用了多種抽樣策略來評(píng)估模型對(duì)于不存在對(duì)象的識(shí)別能力。結(jié)果表明，盡管在更具挑戰(zhàn)性的抽樣設(shè)置（如流行和對(duì)抗樣本）中表現(xiàn)存在下降，3D-GRAND模型仍然能夠維持較高的性能，顯示出其魯棒性。

2.3 數(shù)據(jù)規(guī)模與模型性能的關(guān)系

我們的實(shí)驗(yàn)還揭示了數(shù)據(jù)規(guī)模與模型性能之間的正相關(guān)關(guān)系。隨著訓(xùn)練數(shù)據(jù)的增加，模型在真實(shí)世界3D掃描數(shù)據(jù)上的表現(xiàn)也隨之提高，這為使用合成3D場(chǎng)景數(shù)據(jù)進(jìn)行訓(xùn)練提供了一種可行的策略，可能會(huì)在未來降低成本并提高模型的可訪問性和擴(kuò)展性。

3. 模擬到真實(shí)的轉(zhuǎn)換

我們的研究結(jié)果提供了模擬到真實(shí)轉(zhuǎn)換的初步信號(hào)，表明在大規(guī)模合成數(shù)據(jù)上訓(xùn)練的模型能夠有效地遷移到真實(shí)世界的3D掃描中。這一發(fā)現(xiàn)對(duì)于未來3D-LLMs的應(yīng)用和發(fā)展具有重要意義，可能會(huì)推動(dòng)3D視覺語(yǔ)言模型在更廣泛的實(shí)際應(yīng)用中的部署。

通過這些實(shí)驗(yàn)和分析，我們不僅驗(yàn)證了3D-GRAND數(shù)據(jù)集的有效性，也展示了大規(guī)模、密集地面數(shù)據(jù)在提升3D語(yǔ)言模型性能中的關(guān)鍵作用。我們相信這些發(fā)現(xiàn)將為未來的研究提供寶貴的指導(dǎo)，并推動(dòng)3D-LLMs在各種實(shí)際應(yīng)用中的進(jìn)一步發(fā)展。

模型的消融研究與深入分析

在深入分析和消融研究中，我們關(guān)注的核心是評(píng)估3D-LLMs在處理3D場(chǎng)景時(shí)的性能，尤其是在減少幻覺（hallucination）和增強(qiáng)語(yǔ)言與3D場(chǎng)景的對(duì)應(yīng)（grounding）方面的能力。通過對(duì)3D-GRAND數(shù)據(jù)集的使用，我們能夠系統(tǒng)地評(píng)估模型在這些關(guān)鍵任務(wù)上的表現(xiàn)。

1. 消融研究的設(shè)計(jì)與實(shí)施

消融研究的目的是通過系統(tǒng)地移除或修改模型的某些部分，來理解這些部分對(duì)模型性能的具體影響。在我們的研究中，特別關(guān)注了以下幾個(gè)方面：

• 數(shù)據(jù)密集度的影響：我們比較了在不同密集度的數(shù)據(jù)訓(xùn)練下，3D-LLMs的性能變化。結(jié)果表明，使用密集標(biāo)注的數(shù)據(jù)（如3D-GRAND）可以顯著提高模型的地面真實(shí)性（ground truth fidelity）和減少幻覺現(xiàn)象。
• 輸入數(shù)據(jù)的變化：通過改變輸入數(shù)據(jù)的類型（如只使用文本指令而不是結(jié)合3D場(chǎng)景信息），我們?cè)u(píng)估了3D場(chǎng)景理解對(duì)模型性能的影響。
• 模型結(jié)構(gòu)的變化：我們嘗試了不同的模型架構(gòu)，包括更改層的深度和寬度，以及引入或去除特定的功能模塊，如對(duì)象檢測(cè)器和語(yǔ)義分割器。

2. 深入分析的關(guān)鍵發(fā)現(xiàn)

通過消融研究，我們得到了一些關(guān)鍵的發(fā)現(xiàn)，這些發(fā)現(xiàn)幫助我們更好地理解3D-LLMs在處理3D語(yǔ)言任務(wù)時(shí)的行為：

• 數(shù)據(jù)密集度對(duì)性能的顯著影響：在3D-GRAND這樣的大規(guī)模、密集標(biāo)注的數(shù)據(jù)集上訓(xùn)練的模型，在減少幻覺和提高語(yǔ)言地面真實(shí)性方面表現(xiàn)更好。這強(qiáng)調(diào)了高質(zhì)量、密集標(biāo)注數(shù)據(jù)在訓(xùn)練有效的3D-LLMs中的重要性。
• 模型對(duì)3D場(chǎng)景信息的依賴性：輸入數(shù)據(jù)中包含的3D場(chǎng)景信息對(duì)模型的性能至關(guān)重要。模型在沒有3D場(chǎng)景信息的情況下性能顯著下降，這表明了3D信息在理解和生成與場(chǎng)景相關(guān)的語(yǔ)言中的核心作用。
• 模型結(jié)構(gòu)的優(yōu)化：通過調(diào)整模型結(jié)構(gòu)，我們發(fā)現(xiàn)某些結(jié)構(gòu)變化（如增加層的深度）可以改善模型的細(xì)節(jié)理解能力，而其他變化（如去除語(yǔ)義分割器）則可能導(dǎo)致性能下降。

這些發(fā)現(xiàn)不僅增強(qiáng)了我們對(duì)3D-LLMs行為的理解，也為未來研究提供了 valuable insights，特別是在設(shè)計(jì)更高效和準(zhǔn)確的模型結(jié)構(gòu)以及創(chuàng)建更有效的訓(xùn)練數(shù)據(jù)集方面。

結(jié)論與未來展望

在本研究中，我們介紹了3D-GRAND和3D-POPE兩個(gè)創(chuàng)新的資源，它們?yōu)?D語(yǔ)言模型（3D-LLMs）的發(fā)展提供了重要的支持。通過這些資源，我們不僅顯著提高了模型在理解和生成與3D場(chǎng)景密切相關(guān)的語(yǔ)言指令的能力，還有效減少了模型在生成過程中的幻覺現(xiàn)象。

1. 主要成果

我們的研究首次在大規(guī)模的數(shù)據(jù)集上實(shí)現(xiàn)了3D場(chǎng)景與語(yǔ)言指令的密集配對(duì)，這在之前的研究中是未曾有過的。3D-GRAND數(shù)據(jù)集包含超過40,000個(gè)家庭場(chǎng)景和620萬(wàn)條語(yǔ)言指令，這些指令與場(chǎng)景中的具體對(duì)象緊密相關(guān)聯(lián)。使用這一數(shù)據(jù)集進(jìn)行訓(xùn)練的3D-LLMs在減少幻覺和提高語(yǔ)言地面真實(shí)性（grounding）方面表現(xiàn)出色。

此外，我們還開發(fā)了3D-POPE基準(zhǔn)測(cè)試，這是一個(gè)系統(tǒng)評(píng)估3D-LLMs在對(duì)象幻覺方面表現(xiàn)的工具。通過這一基準(zhǔn)測(cè)試，我們可以更公平、更系統(tǒng)地比較不同模型的性能，并進(jìn)一步理解模型在處理復(fù)雜3D場(chǎng)景時(shí)的行為。

2. 未來的研究方向

盡管我們?nèi)〉昧艘欢ǖ倪M(jìn)展，但在3D-LLMs的研究領(lǐng)域，仍有許多問題需要解決。首先，盡管3D-GRAND數(shù)據(jù)集的規(guī)模已經(jīng)很大，但與現(xiàn)實(shí)世界的復(fù)雜多變相比，它仍然有限。未來的工作可以探索如何進(jìn)一步擴(kuò)展這種類型的數(shù)據(jù)集，包括更多種類的3D場(chǎng)景和更復(fù)雜的語(yǔ)言指令。

其次，從模擬數(shù)據(jù)到真實(shí)世界數(shù)據(jù)的遷移仍是一個(gè)挑戰(zhàn)。雖然我們的模型在模擬數(shù)據(jù)上表現(xiàn)良好，但如何確保這些模型在現(xiàn)實(shí)世界中同樣有效仍需進(jìn)一步研究。這可能涉及到新的模型架構(gòu)或是更精細(xì)的訓(xùn)練策略。

最后，隨著技術(shù)的發(fā)展，我們預(yù)見到3D-LLMs將在更多實(shí)際應(yīng)用中發(fā)揮作用，如自動(dòng)駕駛、機(jī)器人導(dǎo)航等領(lǐng)域。因此，如何將這些模型有效地集成到具體的應(yīng)用場(chǎng)景中，也是未來研究的一個(gè)重要方向。

通過3D-GRAND和3D-POPE，我們?yōu)?D-LLMs的研究和應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)。我們期待未來的研究能在此基礎(chǔ)上，繼續(xù)推動(dòng)3D理解和交互技術(shù)的邊界，最終實(shí)現(xiàn)更智能、更自主的機(jī)器人和虛擬代理人。

標(biāo)題: 3D-GRAND: Towards Better Grounding and Less Hallucination for 3D-LLMs

作者: Jianing Yang, Xuweiyi Chen, Nikhil Madaan, Madhavan Iyengar, Shengyi Qian, David F. Fouhey, Joyce Chai

機(jī)構(gòu): University of Michigan, New York University

鏈接: https://3d-grand.github.io/

本文轉(zhuǎn)載自 AI論文解讀，作者：柏企