一、背景2024年9月OpenAI發(fā)布的o1preview模型展現(xiàn)出了在解決復(fù)雜問(wèn)題上的強(qiáng)大邏輯思維能力。相比之前傳統(tǒng)的Chat類(lèi)模型，o1類(lèi)模型在解決問(wèn)題時(shí)會(huì)構(gòu)建出長(zhǎng)序列的思維鏈chainofthought（CoT）進(jìn)行推理，通過(guò)問(wèn)題拆解、中間步驟驗(yàn)證、思維探索等方法，最終找到問(wèn)題的正確解答方法。OpenAI對(duì)o1模型的介紹中也著重強(qiáng)調(diào)了CoT的重要性【1】。類(lèi)似于人類(lèi)在回答一個(gè)困難問(wèn)題時(shí)可能會(huì)思考很長(zhǎng)時(shí)間，o1在解決問(wèn)題時(shí)也采用了鏈?zhǔn)剿季S。通過(guò)強(qiáng)...

?DeepSeek的基本架構(gòu)仍然在Transformer框架內(nèi)，每個(gè)Transformer模塊由一個(gè)注意力模塊和一個(gè)前饋網(wǎng)絡(luò)組成。為實(shí)現(xiàn)更高效的推理和更經(jīng)濟(jì)的訓(xùn)練，在注意力和前饋網(wǎng)絡(luò)部分，設(shè)計(jì)并使用了創(chuàng)新的MLA（MultiHeadLatentAttention）和DeepSeekMoE架構(gòu)。本文將從MLA的提出背景、技術(shù)原理、解耦RoPE策略及MHA與MLA的緩存對(duì)比方面進(jìn)行詳細(xì)闡述。MLA是對(duì)多頭自注意力機(jī)制（MHA）的改進(jìn)，其核心是對(duì)鍵（Keys）和值（Values）進(jìn)行低秩聯(lián)合壓縮...

編輯言征GPT5真的要來(lái)了！最晚幾個(gè)月！最快一周內(nèi)！凌晨3點(diǎn)，OpenAI的首席執(zhí)行官SamAltman冷不防就在X上丟出一個(gè)“王炸”：OpenAI馬上要發(fā)布GPT4.5和GPT5，而且免費(fèi)，不再限制對(duì)話(huà)次數(shù)！帖子比較長(zhǎng)，許多點(diǎn)都值得大家注意：1.OpenAIGPT4.5和GPT5的路線圖更新——（言外之意：不再擠牙膏了）OpenAI希望更好地分享我們的計(jì)劃路線圖，并更好地簡(jiǎn)化我們的產(chǎn)品供應(yīng)。2.OpenAI希望AI能“正常工作”；我們意識(shí)到我們的模型和產(chǎn)品供應(yīng)變...

這個(gè)春節(jié)，DeepSeek實(shí)在太火爆了。“老板指示，我們要整合Deepseek，還得建立自己的知識(shí)庫(kù)……”這樣的聲音，哪個(gè)開(kāi)發(fā)者近期沒(méi)耳聞？Deepseek的火爆，智能推理的加速，以及算力成本的顯著降低，使得眾多原本對(duì)大型模型望而卻步的企業(yè)，一夜之間紛紛投向AI的懷抱，追求降本增效。在這個(gè)過(guò)程中，對(duì)于那些擁有優(yōu)質(zhì)私有數(shù)據(jù)和敏感數(shù)據(jù)的企業(yè)來(lái)說(shuō)，若想避免數(shù)據(jù)泄露，部署本地知識(shí)庫(kù)無(wú)疑是走向大模型的關(guān)鍵一步。然而，當(dāng)你深入調(diào)研...

這個(gè)春節(jié)，DeepSeek實(shí)在太火爆了。DeepSeekR1在其論文（??https:arxiv.orgabs2501.12948??）引言部分指出，R1模型通過(guò)融合冷啟動(dòng)數(shù)據(jù)、多階段訓(xùn)練流程以及純粹的強(qiáng)化學(xué)習(xí)策略，顯著增強(qiáng)了大型語(yǔ)言模型的推理能力。這使得R1模型在性能上與OpenAI的o1系列模型持平，并且通過(guò)蒸餾技術(shù)，成功地將這種推理能力傳遞給了更小型化的模型。在DeepSeekR1的“貢獻(xiàn)”章節(jié)中，著重強(qiáng)調(diào)了以下兩點(diǎn)創(chuàng)新：1.模型訓(xùn)練完成后：對(duì)基礎(chǔ)模型實(shí)施...

論文鏈接：https:arxiv.orgpdf2502.05179項(xiàng)目鏈接：https:github.comFoundationVisionFlashVideo亮點(diǎn)直擊提出了FlashVideo，一種將視頻生成解耦為兩個(gè)目標(biāo)的方法：提示匹配度和視覺(jué)質(zhì)量。通過(guò)在兩個(gè)階段分別調(diào)整模型規(guī)模、分辨率和優(yōu)化策略，本文的方法相比現(xiàn)有方法實(shí)現(xiàn)了更高的效果和效率。通過(guò)流匹配（flowmatching）構(gòu)造了從低質(zhì)量視頻到高質(zhì)量視頻的近乎直線的ODE軌跡，使得視頻在僅4次函數(shù)評(píng)估內(nèi)即可融入豐富細(xì)節(jié)。本文的...

文章鏈接：https:arxiv.orgpdf2502.04896項(xiàng)目鏈接：https:saiyanworld.github.iogoku亮點(diǎn)直擊業(yè)界領(lǐng)先的文本生成圖像和視頻能力，在多個(gè)基準(zhǔn)測(cè)試中創(chuàng)下新紀(jì)錄。創(chuàng)新性地引入RectifiedFlowTransformer，提高圖像視頻的聯(lián)合生成質(zhì)量。構(gòu)建大規(guī)模高質(zhì)量數(shù)據(jù)集，結(jié)合MLLM&LLM提高文本描述質(zhì)量。優(yōu)化計(jì)算效率與訓(xùn)練穩(wěn)定性，支持大規(guī)模分布式訓(xùn)練，實(shí)現(xiàn)高效推理?？偨Y(jié)速覽解決的問(wèn)題現(xiàn)有的圖像與視頻生成模型在質(zhì)量、一致性和計(jì)算效率...

OpenAI發(fā)布全新AI智能體Operator，本文帶你一探如何用它簡(jiǎn)化軟件測(cè)試、減少工作量并提高準(zhǔn)確性。測(cè)試是項(xiàng)既關(guān)鍵、又相當(dāng)繁雜的過(guò)程。保障每項(xiàng)功能、每個(gè)流程和每種極端情況都能按預(yù)期運(yùn)作往往要占用大量時(shí)間和人力。而手動(dòng)測(cè)試雖然更全面，但卻極易出現(xiàn)人為錯(cuò)誤并影響效率。OpenAI最近發(fā)布一款先進(jìn)AI智能體，有望為傳統(tǒng)軟件測(cè)試方法帶來(lái)新的可能性。Operator是什么？Openrator是一款由AI驅(qū)動(dòng)的智能體，旨在以擬人方式與數(shù)字系統(tǒng)...

新年伊始，DeepSeek的爆火席卷了全球。更為難得地是，這款十分優(yōu)秀的模型變得人人可以免費(fèi)擁有。在生成式AI大行其道的今天，DeepSeek正在憑借其開(kāi)源、高效、多場(chǎng)景適應(yīng)等優(yōu)勢(shì)，成為開(kāi)發(fā)者、行業(yè)從業(yè)者以及個(gè)人用戶(hù)的必備利器。為了幫助大家更好地了解和掌握DeepSeek，51CTO智能研究院、51CTO傳媒、51CTO學(xué)堂聯(lián)合傾力打造了這份《DeepSeek入門(mén)寶典》，這份DeepSeek寶典共分為四冊(cè)：《技術(shù)解析篇》、《開(kāi)發(fā)實(shí)戰(zhàn)篇》、《個(gè)人使用篇...

DeepSeekR1火遍海內(nèi)外，但推理服務(wù)器頻頻宕機(jī)，專(zhuān)享版按GPU小時(shí)計(jì)費(fèi)的天價(jià)成本更讓中小團(tuán)隊(duì)望而卻步。而市面上所謂“本地部署”方案，多為參數(shù)量縮水90%的蒸餾版，背后原因是671B參數(shù)的MoE架構(gòu)對(duì)顯存要求極高——即便用8卡A100也難以負(fù)荷。因此，想在本地小規(guī)模硬件上跑真正的DeepSeekR1，被認(rèn)為基本不可能。但就在近期，清華大學(xué)KVCache.AI團(tuán)隊(duì)聯(lián)合趨境科技發(fā)布的KTransformers開(kāi)源項(xiàng)目公布更新：支持24G顯存在本地運(yùn)行DeepSee...

DeepSeek的估值，被曝已達(dá)1500億美元，達(dá)到了OpenAI的一半？最近，Bloomberg的這個(gè)數(shù)據(jù)，引起了軒然大波。圖片所有人都在問(wèn)：真的假的？圖片此前，外媒福布斯也曾給出一個(gè)估值，當(dāng)時(shí)的數(shù)字是10億美元。圖片短短幾天，估值卻已經(jīng)漲到了150倍？外媒曝光，DeepSeek估值或高達(dá)1500億Bloomberg是這么說(shuō)的。根據(jù)七位初創(chuàng)公司創(chuàng)始人和AI專(zhuān)家的說(shuō)法，DeepSeek的市值大約在10億美元到超過(guò)1500億美元不等。根據(jù)彭博億萬(wàn)富翁指數(shù)（Bloomber...

一、引言推理大語(yǔ)言模型（LLM），如OpenAI的o1系列、Google的Gemini、DeepSeek和QwenQwQ等，通過(guò)模擬人類(lèi)推理過(guò)程，在多個(gè)專(zhuān)業(yè)領(lǐng)域已超越人類(lèi)專(zhuān)家，并通過(guò)延長(zhǎng)推理時(shí)間提高準(zhǔn)確性。推理模型的核心技術(shù)包括強(qiáng)化學(xué)習(xí)（ReinforcementLearning）和推理規(guī)模（Inferencescaling）。主流的大模型強(qiáng)化學(xué)習(xí)算法，如DPO、PPO、GRPO等，通常需要在完整的思維鏈上進(jìn)行微調(diào)，需要高質(zhì)量數(shù)據(jù)、精確的獎(jiǎng)勵(lì)函數(shù)、快速反饋和在線迭代、以及大量的...

高性能大模型在訓(xùn)練的過(guò)程中通常需要數(shù)千個(gè)GPU，耗費(fèi)數(shù)月甚至更長(zhǎng)時(shí)間才能完成一次訓(xùn)練。這種巨大的資源投入使得模型的每一層都必須高效訓(xùn)練，才能確保算力資源最大化利用。但大連理工、西湖大學(xué)、牛津大學(xué)等研究人員對(duì)DeepSeek、Qwen、Llama和Mistral研究發(fā)現(xiàn)，這些模型的深層在訓(xùn)練過(guò)程中表現(xiàn)并不好，甚至可以被完全剪枝而不會(huì)影響模型性能。例如，研究人員對(duì)DeepSeek7B模型進(jìn)行了逐層剪枝，以評(píng)估每一層對(duì)模型整體性能的貢獻(xiàn)...

研究背景與意義在當(dāng)前的人工智能研究領(lǐng)域，視覺(jué)語(yǔ)言模型（VLMs）正迅速發(fā)展，特別是在大型語(yǔ)言模型（LLMs）和視覺(jué)模型（LVMs）取得顯著進(jìn)展的背景下。本文提出的EVEv2.0模型，旨在解決現(xiàn)有編碼器驅(qū)動(dòng)的VLMs在多模態(tài)理解和推理中的局限性。研究表明，現(xiàn)有的編碼器驅(qū)動(dòng)方法在靈活性和適用性上存在一定挑戰(zhàn)，尤其是在處理復(fù)雜的視覺(jué)信息時(shí)。因此，EVEv2.0通過(guò)引入無(wú)編碼器的設(shè)計(jì)，試圖減少視覺(jué)和語(yǔ)言之間的干擾，從而提升模型的整...

論文概述本文針對(duì)可解釋人工智能(XAI)中的一個(gè)關(guān)鍵問(wèn)題展開(kāi)研究局部代理模型在文本領(lǐng)域中的穩(wěn)定性估計(jì)。研究重點(diǎn)關(guān)注了相似度度量方法對(duì)XAI穩(wěn)定性評(píng)估的影響,并提出了一種基于同義詞權(quán)重的新型評(píng)估框架。研究背景可解釋AI的重要性隨著AIML技術(shù)的快速發(fā)展,模型的復(fù)雜度不斷提高,其內(nèi)部工作機(jī)制越來(lái)越難以理解。這種"黑盒"特性在醫(yī)療、金融等高風(fēng)險(xiǎn)領(lǐng)域尤其令人擔(dān)憂(yōu)。例如:醫(yī)療診斷系統(tǒng)的錯(cuò)誤判斷可能導(dǎo)致嚴(yán)重后果金融模型的決策...

最近，DeepSeekR1的發(fā)布為國(guó)產(chǎn)大模型爭(zhēng)光了（太強(qiáng)了），不過(guò)GRPO算法源自DeepSeekMath7B模型，該模型在MATH基準(zhǔn)測(cè)試中取得了優(yōu)異成績(jī)，論文發(fā)表于2024年2月份：https:huggingface.copapers2402.03300，以下是該論文的摘要原文：Mathematicalreasoningposesasignificantchallengeforlanguagemodelsduetoitscomplexandstructurednature.Inthispaper,weintroduceDeepSeekMath7B,whichcontinuespretrainingDeepSeekCoderBasev1.57Bw...

經(jīng)歷了一年多的發(fā)展，AIAgent正在越來(lái)越多地參與到教育工作之中。TobyHudson構(gòu)建了一個(gè)Agent用于支持他的化學(xué)基礎(chǔ)單元的學(xué)生。這個(gè)Agent以教育公平為目標(biāo)，有助于縮小專(zhuān)業(yè)學(xué)生與以前沒(méi)有學(xué)習(xí)過(guò)化學(xué)的學(xué)生的學(xué)習(xí)差距。這個(gè)Agent還能幫助學(xué)生廣泛理解基本概念，指示學(xué)生提問(wèn)以檢查他們的理解情況，并估計(jì)他們的知識(shí)水平。JoanneHinitt正在構(gòu)建一個(gè)AIAgent，以幫助她的學(xué)生學(xué)習(xí)如何構(gòu)建措辭合理的職業(yè)治療目標(biāo)，這些目標(biāo)對(duì)臨床環(huán)境...

主流RAG框架可以分為以下五個(gè)主要的進(jìn)化方向：成本控制型（適合初創(chuàng)公司）、實(shí)時(shí)互動(dòng)型（適用于財(cái)經(jīng)新聞場(chǎng)景）、域?qū)＜翌?lèi)型、認(rèn)知增強(qiáng)型、安全與合規(guī)類(lèi)型。接下來(lái)，讓我們?cè)敿?xì)了解一下這25種RAG變體。一、標(biāo)準(zhǔn)RAG一個(gè)基本的RAG系統(tǒng)由檢索模塊和生成模塊組成。系統(tǒng)會(huì)對(duì)查詢(xún)進(jìn)行編碼，檢索相關(guān)的文檔塊，然后為基于transformer的LLM構(gòu)建豐富的提示。查詢(xún)編碼器：使用預(yù)訓(xùn)練的轉(zhuǎn)換器（例如DPR）生成密集的查詢(xún)嵌入。代碼實(shí)現(xiàn)如下：...

1.深度學(xué)習(xí)的算力饑渴與HPC的成本困境深度學(xué)習(xí)的浪潮，正以勢(shì)不可擋的姿態(tài)席卷而來(lái)。從圖像識(shí)別領(lǐng)域的AlexNet和ResNet，到自然語(yǔ)言處理領(lǐng)域的Transformer，再到如今參數(shù)規(guī)模動(dòng)輒千億、萬(wàn)億的大型語(yǔ)言模型(LLM)，如GPT3和PaLM，以及混合專(zhuān)家模型(MoE)和多模態(tài)模型，深度學(xué)習(xí)模型的能力在不斷突破，但其背后對(duì)計(jì)算資源的需求也呈現(xiàn)出爆炸式的增長(zhǎng)。高性能計(jì)算(HPC)集群，作為支撐深度學(xué)習(xí)訓(xùn)練的基石，其重要性日益凸顯。然而，傳...

DeepSeekR1模型的出現(xiàn)引起了廣泛關(guān)注，眾多開(kāi)源復(fù)現(xiàn)項(xiàng)目紛紛涌現(xiàn)（OpenR1、simpleRLreason、TinyZero、MiniR1等）。然而，受GPU條件的限制，有些小伙伴可能無(wú)法順利運(yùn)行這些項(xiàng)目。今天，我們就來(lái)介紹一個(gè)神奇的工具——UnslothAI，它可以幫助我們?cè)谟邢薜馁Y源下訓(xùn)練自己的DeepSeekR1推理模型，特別是通過(guò)GRPO（GroupRelativePolicyOptimization）技術(shù)，實(shí)現(xiàn)了資源的大幅降低。1.UnslothAI的神奇之處1.1GRPO技術(shù)簡(jiǎn)介GRPO是一種強(qiáng)...