今天給大家介紹一篇ICLR2025中關(guān)于時(shí)間序列異常檢測(cè)的工作。這篇文章采用基于MemoryBank和Prototype的異常檢測(cè)方法，提出在此基礎(chǔ)上引入多尺度patch和多周期性的建模方法，進(jìn)一步提升時(shí)間序列異常檢測(cè)效果。論文標(biāo)題：LEARNHYBRIDPROTOTYPESFORMULTIVARIATETIMESERIESANOMALYDETECTION下載地址：??https:openreview.netpdfid8TBGdH3t6a??1.研究背景時(shí)間序列異常檢測(cè)的主流方法，是使用正常的時(shí)間序列訓(xùn)練一個(gè)自編碼器，序列...

在這一節(jié)，重點(diǎn)展開為大家梳理在大模型之前的GPT、BERT等深度語(yǔ)言模型的發(fā)展過程。在大模型之前，預(yù)訓(xùn)練語(yǔ)言模型是NLP中的核心，在pretrainfinetune這一階段的NLP發(fā)展中發(fā)揮著舉足輕重的作用。預(yù)訓(xùn)練語(yǔ)言模型的無監(jiān)督訓(xùn)練屬性，使其非常容易獲取海量訓(xùn)練樣本，并且訓(xùn)練好的語(yǔ)言模型包含很多語(yǔ)義語(yǔ)法知識(shí)，對(duì)于下游任務(wù)的效果會(huì)有非常明顯的提升。本文首先介紹預(yù)訓(xùn)練語(yǔ)言模型的里程碑方法，然后進(jìn)一步介紹針對(duì)預(yù)訓(xùn)練語(yǔ)言模型中的...

今天給大家介紹一篇時(shí)間序列大模型研究工作。這項(xiàng)工作基于預(yù)訓(xùn)練的語(yǔ)言模型，增強(qiáng)時(shí)間序列預(yù)測(cè)效果，文中提出了多層次、多頻率表征抽取和語(yǔ)義對(duì)齊模塊，實(shí)現(xiàn)LLM在時(shí)間序列數(shù)據(jù)形式上更好的應(yīng)用。論文標(biāo)題：LLMPS:EmpoweringLargeLanguageModelsforTimeSeriesForecastingwithTemporalPatternsandSemantics下載地址：??https:arxiv.orgpdf2503.09656??1.研究背景使用大模型進(jìn)行時(shí)間序列預(yù)測(cè)已經(jīng)成為一個(gè)目前的熱點(diǎn)研究方向。...

在這個(gè)系列文章中，我會(huì)用通俗的語(yǔ)言，為大家介紹學(xué)習(xí)大模型的核心知識(shí)點(diǎn)。讀完這個(gè)系列的文章，你會(huì)深入理解語(yǔ)言大模型、多模態(tài)大模型的核心技術(shù)點(diǎn)，包括模型結(jié)構(gòu)、訓(xùn)練方式、數(shù)據(jù)處理、多模態(tài)融合等。大模型的前身是語(yǔ)言模型，圓圓是很早就開始在工業(yè)界研究和應(yīng)用語(yǔ)言模型的一批人，因此對(duì)整個(gè)深度學(xué)習(xí)時(shí)代語(yǔ)言模型的發(fā)展歷程都有見證。當(dāng)時(shí)還沒有Transformer、BERT，只有LSTM、Attention這種結(jié)構(gòu)。工業(yè)界效果最好、應(yīng)用最穩(wěn)...

今天給大家介紹一篇華為最近發(fā)表的時(shí)間序列分類大模型工作，填補(bǔ)了專門用于時(shí)間序列分類的大模型工作空白，借鑒了VisionTransformer的訓(xùn)練方式和模型結(jié)構(gòu)，遷移到時(shí)間序列分類任務(wù)中，在多種類型的數(shù)據(jù)集上取得了不錯(cuò)的效果。推薦閱讀：???2024時(shí)序預(yù)測(cè)都有哪些經(jīng)典工作——匯總篇??，2024時(shí)間序列預(yù)測(cè)相關(guān)最新SOTA工作匯總，涉及模型結(jié)構(gòu)、表示學(xué)習(xí)、頻域信息、擴(kuò)散模型10余個(gè)專題。論文標(biāo)題：Mantis:LightweightCalibrat...

今天給大家介紹一片最新的多模態(tài)時(shí)間序列預(yù)測(cè)工作。這篇文章采用了時(shí)間序列、圖像、文本三種模態(tài)的數(shù)據(jù)形式，進(jìn)行時(shí)間序列預(yù)測(cè)，增強(qiáng)底層信息的輸入，提升時(shí)序預(yù)測(cè)效果。論文標(biāo)題：TimeVLM:ExploringMultimodalVisionLanguageModelsforAugmentedTimeSeriesForecasting下載地址：??https:arxiv.orgpdf2502.04395??1.研究背景傳統(tǒng)的時(shí)間序列預(yù)測(cè)方法，都是最基礎(chǔ)的時(shí)間序列形式數(shù)據(jù)進(jìn)行建模的。然而，最近一些工作將文本信息...

今天給大家介紹一篇視頻多模態(tài)大模型工作，這篇文章的核心是探索了在現(xiàn)有的SOTA視頻多模態(tài)大模型中，引入顯示的視頻時(shí)序建模提升模型的視頻理解能力。論文標(biāo)題：ExploringtheRoleofExplicitTemporalModelinginMultimodalLargeLanguageModelsforVideoUnderstanding下載地址：??https:arxiv.orgpdf2501.16786??1.研究背景傳統(tǒng)的時(shí)間序列預(yù)測(cè)方法，都是最基礎(chǔ)的時(shí)間序列形式數(shù)據(jù)進(jìn)行建模的。然而，最近一些工作將文本信息、圖...

LLaMA是目前很多SOTA開源大模型的基礎(chǔ)，包括DeepSeek、千問等在內(nèi)的很多大模型的模型機(jī)構(gòu)大體上都沿用了LLaMA。因此，LLaMA在模型結(jié)構(gòu)的設(shè)計(jì)上可以說是目前大模型的一種最佳實(shí)踐。這篇文章就給大家匯總一下LLaMA的核心模型結(jié)構(gòu)。LLaMA的主體結(jié)構(gòu)仍然基于Transformer，本文主要介紹LLaMA各個(gè)版本相比于Transformer的改進(jìn)部分，包括PreNormalization、RMSNorm、SwiGLU激活函數(shù)、RotrayEmbedding等部分。1.PreNormalization基礎(chǔ)的T...

最近，DeepSeek在國(guó)際上很火，一方面其效果比肩非開源模型ChatGPT，另一方面其運(yùn)行成本很低?？梢哉f，DeepSeek是目前為止最先進(jìn)的大模型之一。今天這篇文章，就帶大家梳理一下從2024年至今DeepSeek發(fā)布的V1版本到V3版本的核心技術(shù)點(diǎn)，看看DeepSeek采用了哪些技術(shù)構(gòu)建了最先進(jìn)的大模型，每一次的升級(jí)基本都伴隨著訓(xùn)練數(shù)據(jù)的優(yōu)化、模型結(jié)構(gòu)的升級(jí)、優(yōu)化方式的更新。為了方便大家閱讀，本文會(huì)用比較簡(jiǎn)潔的語(yǔ)言進(jìn)行主要技術(shù)的介紹，...

今天這篇文章給大家匯總市面上的各類LargeLanguageModel，從模型角結(jié)構(gòu)的角度、模型類型的角度進(jìn)行劃分，涵蓋了目前市面上主流的LLM，一文了解各個(gè)LLM的基本實(shí)現(xiàn)方法和關(guān)系。從基礎(chǔ)模型結(jié)構(gòu)的角度，預(yù)訓(xùn)練語(yǔ)言模型可以分為Encoderonly、Decoderonly、EncoderDecoder三種類型。從市面上的LLM類型來看，可以分為GPT、LLaMA、PaLM等3個(gè)最主要的類型。下面，將這6個(gè)類別的模型，以及其中各個(gè)模型之間的關(guān)系給大家詳細(xì)介紹一下。1.模...

今天給大家介紹一篇時(shí)間序列表示學(xué)習(xí)的文章，這篇文章提出了一種和對(duì)比學(xué)習(xí)不同的表示學(xué)習(xí)方法，無需顯示構(gòu)造負(fù)樣本，避免了偽負(fù)樣本影響對(duì)比學(xué)習(xí)效果的問題。論文標(biāo)題：FrequencyMaskedEmbeddingInference:ANonContrastiveApproachforTimeSeriesRepresentationLearning下載地址：??https:arxiv.orgpdf2412.20790v1??1.研究背景?表示學(xué)習(xí)可用來將原始數(shù)據(jù)轉(zhuǎn)換成向量，用于后續(xù)的深度學(xué)習(xí)任務(wù)?，F(xiàn)有的表示學(xué)習(xí)基本都采用對(duì)...

今天給大家介紹一篇不規(guī)則時(shí)間序列建模的工作。本文的核心是研究不規(guī)則時(shí)序預(yù)測(cè)中的變量間關(guān)系建模問題，研究焦點(diǎn)是如何在保持計(jì)算效率的同時(shí)，有效地捕捉長(zhǎng)期依賴性和復(fù)雜變量間關(guān)系。研究者們提出了一個(gè)新穎的框架，通過結(jié)合局部的通道依賴（CD）策略和全局的通道獨(dú)立（CI）策略，顯著提升了模型在多個(gè)真實(shí)世界數(shù)據(jù)集上的性能。論文標(biāo)題：TimeCHEAT:AChannelHarmonyStrategyforIrregularlySampledMultivariateTimeSeriesAnaly...

直接基于預(yù)訓(xùn)練的大語(yǔ)言模型（LLM）解決時(shí)間序列問題，是一個(gè)最近的重要研究點(diǎn)。之前的研究中，主要嘗試用LLM進(jìn)行zeroshotlearning，或者基于LLM的參數(shù)進(jìn)行finetune。隨著研究的深入，研究者發(fā)現(xiàn)，單獨(dú)的一個(gè)LLM模型，或者單獨(dú)的用LLM在時(shí)序數(shù)據(jù)上finetune，并不能取得最優(yōu)的效果。因此除了上述優(yōu)化之外，另一些工作嘗試同時(shí)引入LLM構(gòu)建文本模型和時(shí)序模型，并對(duì)兩種模態(tài)的信息進(jìn)行對(duì)齊，提升時(shí)序預(yù)測(cè)效果。今天就給大家總結(jié)幾...

基于LargeLanguageModel做推薦系統(tǒng)可以說是最近2年推薦系統(tǒng)領(lǐng)域最火的研究點(diǎn)。一方面，LLM的理解能力、在各個(gè)領(lǐng)域的廣發(fā)應(yīng)用，使其自然而然衍生了和推薦系統(tǒng)結(jié)合的研究方向；另一方面，傳統(tǒng)的推薦模型優(yōu)化已逐漸進(jìn)入瓶頸，依然基于原有的建模思路進(jìn)一步優(yōu)化很難帶來顯著收益。因此無論是工業(yè)界還是學(xué)術(shù)界，都在LLM+推薦系統(tǒng)這個(gè)方向投入了很多的人力和資源。在2024年的推薦系統(tǒng)頂會(huì)工作中，大廠、學(xué)校合作的論文70%都是和大模型...

今天給大家介紹一篇北大、阿里聯(lián)合發(fā)布的多模態(tài)大模型工作。這篇文章重點(diǎn)解決多圖像輸入的多模態(tài)大模型建模方法，融合粗粒度、細(xì)粒度信息，顯著提升了多模態(tài)大模型在多圖輸入復(fù)雜場(chǎng)景中的效果。論文標(biāo)題：MaVEn:AnEffectiveMultigranularityHybridVisualEncodingFrameworkforMultimodalLargeLanguageModel下載地址：??https:arxiv.orgpdf2408.12321??1.研究背景現(xiàn)有的多模態(tài)大模型，大多數(shù)研究的都是一個(gè)圖像輸入的場(chǎng)景。而...

在大廠的推薦系統(tǒng)建模中，多場(chǎng)景建模是一個(gè)非常常見的業(yè)務(wù)場(chǎng)景。在很多app中，不同的場(chǎng)景都需要建模點(diǎn)擊率、轉(zhuǎn)化率等目標(biāo)，以此進(jìn)行排序給用戶展現(xiàn)最感興趣或最可能成交的候選。一種最簡(jiǎn)單的建模方法是每個(gè)場(chǎng)景分別訓(xùn)練一套模型，但是這種方式無法充分利用各個(gè)場(chǎng)景數(shù)據(jù)的共性信息，并且維護(hù)起來也非常麻煩。因此，如何有效聯(lián)合多場(chǎng)景數(shù)據(jù)進(jìn)行建模，或者進(jìn)行多場(chǎng)景之間的知識(shí)遷移，是工業(yè)界推薦系統(tǒng)近兩年研究的焦點(diǎn)。今天這篇文...

在現(xiàn)實(shí)世界中，觀測(cè)到的時(shí)間序列通常表現(xiàn)出復(fù)雜多樣的多尺度時(shí)間模式。盡管基于Transformer的方法在多尺度時(shí)間模式交互建模中取得了顯著成功，但是兩個(gè)關(guān)鍵問題限制了其在時(shí)間序列預(yù)測(cè)中的進(jìn)一步發(fā)展。一方面，單個(gè)的時(shí)間點(diǎn)包含的語(yǔ)義信息較少，利用attention建模pairwise交互會(huì)造成信息利用瓶頸。另一方面，時(shí)間模式中存在多種固有的時(shí)序變化，這些時(shí)序變化相互糾纏，為建模多尺度時(shí)間模式交互帶來了較大的挑戰(zhàn)。針對(duì)上述問題...

在這個(gè)系列里，圓圓會(huì)帶大家梳理2024年時(shí)間序列預(yù)測(cè)領(lǐng)域的經(jīng)典工作，涉及多個(gè)優(yōu)化方向。在這一節(jié)里，會(huì)為大家整體介紹2024年的時(shí)間序列一些具有突破性進(jìn)展的領(lǐng)域。后續(xù)章節(jié)將持續(xù)在知識(shí)星球中更新，深入解讀和串聯(lián)這些領(lǐng)域的相關(guān)工作。1.時(shí)間序列基礎(chǔ)模型2024年是時(shí)間序列預(yù)測(cè)與大模型深度結(jié)合的元年，涌現(xiàn)了很多時(shí)間序列基礎(chǔ)模型和大模型中建模方法在時(shí)間序列預(yù)測(cè)的應(yīng)用。一方面，今年出現(xiàn)了很多類型的時(shí)間序列基礎(chǔ)模型，希望...

這篇文章給大家介紹一下北郵在NeurIPS2024中發(fā)表的一篇時(shí)間序列預(yù)測(cè)工作，重點(diǎn)研究了如果有效利用時(shí)間戳特征提升時(shí)序預(yù)測(cè)效果，相關(guān)方法可以嵌入到現(xiàn)有的各類SOTA時(shí)序預(yù)測(cè)模型中。論文標(biāo)題：RethinkingthePowerofTimestampsforRobustTimeSeriesForecasting:AGlobalLocalFusionPerspective下載地址：https:arxiv.orgpdf2409.186961.研究背景現(xiàn)有的時(shí)間序列預(yù)測(cè)方法大多依賴于數(shù)值型的歷史數(shù)據(jù)，并且假設(shè)這些數(shù)據(jù)的分布是相對(duì)穩(wěn)定...

今天給大家介紹一篇南京大學(xué)、阿里巴巴聯(lián)合發(fā)表的多模態(tài)模型建模方法WINGS，解決基于LLM的多模態(tài)模型在進(jìn)行跨模態(tài)建模時(shí)的災(zāi)難遺忘問題。論文標(biāo)題：WINGS:LearningMultimodalLLMswithoutTextonlyForgetting下載地址：??https:arxiv.orgpdf2406.03496??1.研究背景隨著人工智能技術(shù)的進(jìn)步，多模態(tài)大型語(yǔ)言模型（MLLMs）作為大型語(yǔ)言模型（LLMs）的擴(kuò)展，已經(jīng)在視覺相關(guān)的描述生成、理解、推理等方面展現(xiàn)出驚人的性能。這些模...