我們提出了一個僅基于狀態(tài)空間模型(SSM)的高效視頻理解架構(gòu)VideoMamba，并通過大量的實驗證明了它具備一系列良好的特性，包括(1)VisualDomainScalability;(2)ShorttermActionSensitivity;(3)LongtermVideoSuperiority;(4)ModalityCompatibility。這使得VideoMamba在一系列視頻benchmark上取得不俗的結(jié)果，尤其是長視頻benchmark，為未來更全面的視頻理解提供了更高效的方案。論文題目：VideoMamba:StateSpaceModelforEfficientV...

在構(gòu)建人工智能系統(tǒng)的過程中，數(shù)據(jù)的質(zhì)量至關(guān)重要，但現(xiàn)實世界中的數(shù)據(jù)往往充滿了噪聲，甚至被惡意投毒，這給人工智能的發(fā)展帶來了巨大的挑戰(zhàn)。如何有效地清洗這些“臟樣本”，以確保模型訓(xùn)練的準(zhǔn)確性和可靠性，成為了一個亟待解決的問題。近期，香港中文大學(xué)（深圳）與騰訊AILab的研究團(tuán)隊在ICLR2024提出了提出了一種通用的數(shù)據(jù)清洗框架（VDC），利用多模態(tài)大模型（MLLM）來識別數(shù)據(jù)集中的視覺語言不一致性，從而檢測出數(shù)據(jù)集...

針對目前音樂生成3D舞蹈動作中存在的長序列生成動作質(zhì)量差，生成效率低的問題，本文提出了Lodge，可以高效地根據(jù)輸入音樂生成極長的3D人體舞蹈動作。本文將Lodge設(shè)計為兩階段的由粗到細(xì)的Diffusion框架，并提出了特征化的舞蹈基元動作作為兩階段Diffusion的中間層表征，從而讓Lodge可以兼顧全局編舞規(guī)律和局部的動作質(zhì)量，并且增強舞蹈的表現(xiàn)力。此外，本文還提出了腳步優(yōu)化模塊以緩解腳和地面的接觸問題如腳滑、腳步漂浮等。文...

當(dāng)前研究關(guān)注大型語言模型在處理已知和未知問題時的知識邊界。主要問題可分為四類：單一已知問題可通過模型內(nèi)部知識解決，單一未知問題需調(diào)用外部工具獲取知識，組合已知問題需要復(fù)雜推理，而組合未知問題則包含其他可能性。如何選擇使用外部檢索或模型內(nèi)部知識來回答問題是個挑戰(zhàn)。一種方法是樸素RAG，另一種是先評估問題的確定性或不確定性，然后調(diào)用生成讀取或檢索讀取。然而，這兩種方法都有局限性，簡單地調(diào)用外部檢索并不...

人類的語言是一種對復(fù)雜世界的高度簡潔的編碼，特別是語言中顏色的概念，成功地將原本極大的色彩空間（如256三次方真色彩空間）壓縮至5到10種顏色。受此啟發(fā)，來自上海交大，日本理化學(xué)研究所，東京大學(xué)的研究人員，提出全新的基于視覺任務(wù)的色彩量化（colourquantisation）技術(shù)，利用深度學(xué)習(xí)重現(xiàn)人類數(shù)萬年的顏色概念的演化。這項技術(shù)不但能推進(jìn)文化人類學(xué)的研究，更是為網(wǎng)絡(luò)量化(neuralnetworkquantisation)以及多模態(tài)大語言...