01、概述近年來(lái)，隨著大型語(yǔ)言模型（LLMs）的興起，自然語(yǔ)言處理技術(shù)取得了飛速發(fā)展。從GPT到Llama，這些前沿的語(yǔ)言模型在各個(gè)領(lǐng)域中展現(xiàn)出了令人驚嘆的能力。然而，訓(xùn)練這些頂級(jí)模型的過程卻充滿了挑戰(zhàn)。以Llama3.1405B為例，其訓(xùn)練過程中需要約3900萬(wàn)個(gè)GPU小時(shí)，相當(dāng)于4500年單GPU計(jì)算時(shí)間。為了在幾個(gè)月內(nèi)完成這樣的訓(xùn)練，工程師們采用了4D并行化的策略，跨越數(shù)據(jù)、張量、上下文和管道等多個(gè)維度進(jìn)行優(yōu)化。這種方法雖然高效...

編輯伊風(fēng)月初，騰訊被美國(guó)國(guó)防部列進(jìn)了“中國(guó)軍工企業(yè)清單”（1260H清單）已經(jīng)夠離譜了！沒想到剛過去10天，更離譜的事情出現(xiàn)了：大模型公司也登上了美國(guó)黑名單！昨晚深夜，美國(guó)商務(wù)部工業(yè)和安全局（BIS）修訂了實(shí)體清單，其中大模型六小虎之一的智譜公司赫然在列。圖片把手伸向大模型公司，美國(guó)官方也給定了理由：“十個(gè)實(shí)體因其通過發(fā)展和整合先進(jìn)的人工智能研究來(lái)推動(dòng)中國(guó)的軍事現(xiàn)代化而被列入清單。”令人驚訝的是，這十家...

在人工智能的持續(xù)演進(jìn)中，多模態(tài)大語(yǔ)言模型（MLLMs）已成為核心研究領(lǐng)域之一，其在整合語(yǔ)言和視覺信息方面的潛力備受關(guān)注。李飛飛、謝賽寧團(tuán)隊(duì)的最新研究成果猶如一顆璀璨的新星，照亮了MLLM在空間智能領(lǐng)域的探索之路，引發(fā)了學(xué)界和業(yè)界的廣泛關(guān)注。本文將深入剖析該團(tuán)隊(duì)的研究，詳細(xì)闡述MLLM在空間智能方面的突破與挑戰(zhàn)，一同探索MLLMs在視覺空間智能方面的進(jìn)展與難題。1.引言視覺空間智能在人類的日常生活中，視覺空間智能起...

1.算法介紹樸素貝葉斯是一種基于貝葉斯定理的分類算法,廣泛應(yīng)用于文本分類、垃圾郵件過濾、情感分析等領(lǐng)域。它是一種簡(jiǎn)單但非常有效的分類方法,特別適用于高維度特征空間的分類問題。樸素貝葉斯分類器的"樸素"來(lái)源于它對(duì)特征之間獨(dú)立性的假設(shè)。盡管這個(gè)假設(shè)在現(xiàn)實(shí)中往往不成立,但該算法在許多實(shí)際應(yīng)用中仍然表現(xiàn)出色。2.算法原理3.案例分析我們使用著名的鳶尾花(Iris)數(shù)據(jù)集來(lái)演示樸素貝葉斯分類器的應(yīng)用。首先建立樸素貝葉斯分...

1.MiniMax01:ScalingFoundationModelswithLightningAttention我們推出了MiniMax01系列，包括MiniMaxText01和MiniMaxVL01。這兩款產(chǎn)品不僅性能可與頂尖模型相媲美，而且在處理更長(zhǎng)文本上下文方面具備卓越能力。其核心技術(shù)是LightningAttention及其高效的擴(kuò)展方法。為充分發(fā)揮計(jì)算能力，我們將其與混合專家（MoE）技術(shù)相結(jié)合，打造出擁有32個(gè)專家模塊、共計(jì)4560億參數(shù)的模型，每個(gè)Token激活459億參數(shù)。針對(duì)MoE和閃電注意力機(jī)制，...

在機(jī)器學(xué)習(xí)中，損失函數(shù)是用來(lái)衡量模型預(yù)測(cè)值與真實(shí)值之間差距的一個(gè)函數(shù)。它在模型訓(xùn)練過程中起著至關(guān)重要的作用，因?yàn)橥ㄟ^最小化損失函數(shù)，模型能夠調(diào)整其參數(shù)，從而使得預(yù)測(cè)結(jié)果越來(lái)越接近真實(shí)值。為了幫助理解這一點(diǎn)，我們將以均方誤差（MSE）為例，詳細(xì)講解什么是損失函數(shù)，以及它在實(shí)際應(yīng)用中的作用。什么是損失函數(shù)？損失函數(shù)是一個(gè)用于評(píng)估模型預(yù)測(cè)準(zhǔn)確性的數(shù)學(xué)函數(shù)。具體來(lái)說(shuō)，損失函數(shù)通過對(duì)比模型的預(yù)測(cè)值與真實(shí)值，...

在近日的Nvidia發(fā)布會(huì)上，CEO黃仁勛展示了一張令人印象深刻的指數(shù)型曲線，勾勒出人工智能（AI）技術(shù)的發(fā)展路徑。這張圖不僅體現(xiàn)了AI技術(shù)的過去、現(xiàn)在與未來(lái)，還為AI的應(yīng)用場(chǎng)景和發(fā)展階段提供了清晰的愿景。本文將結(jié)合這張圖表，解析AI技術(shù)的四個(gè)發(fā)展階段：感知智能（PerceptionAI）、生成式AI（GenerativeAI）、代理智能（AgenticAI）和物理智能（PhysicalAI）。1.感知智能：AI的起點(diǎn)感知智能是AI發(fā)展的第一階段，位于曲線的起...

AI指令的秘密：三個(gè)關(guān)鍵詞就能讓AI效果翻倍大多數(shù)人用AI的方式都太直接了。他們輸入問題，得到答案，就像在用計(jì)算器，這通常也能夠取得不錯(cuò)的效果。但有趣的是，僅僅加入幾個(gè)特定的關(guān)鍵詞，就能讓AI的回答質(zhì)量產(chǎn)生質(zhì)的飛躍。神奇的關(guān)鍵詞效應(yīng)我發(fā)現(xiàn)三個(gè)特別受歡迎的關(guān)鍵詞模式：1."roast"普通提示："幫我看看這段代碼有什么問題"roast提示："請(qǐng)用最犀利的方式roast一下這段代碼，指出所有可能的問題，不用顧及我的感受"或者是更...

在人工智能領(lǐng)域，Kimi作為一款自研的大模型產(chǎn)品，近期受到了廣泛的關(guān)注和討論。許多用戶和業(yè)內(nèi)人士都在探討，為何Kimi在實(shí)際應(yīng)用中的表現(xiàn)似乎超越了騰訊、百度、字節(jié)跳動(dòng)等大型科技公司的大模型。本文將從技術(shù)角度出發(fā)，分析Kimi的長(zhǎng)文本處理能力，并探討其背后的原因?；竽Ｐ偷陌l(fā)展路徑當(dāng)前，大多數(shù)廠商在基座大模型的開發(fā)上，選擇了OpenAI的路線，即通過增加模型參數(shù)規(guī)模和引入多模態(tài)來(lái)提升模型的推理能力。模型參數(shù)的增...

摘要文章圍繞LLMOps（大語(yǔ)言模型運(yùn)維）展開，詳細(xì)解析了企業(yè)如何使用大語(yǔ)言模型（LLMs），以及LLMOps在優(yōu)化LLM開發(fā)、部署和管理中的核心作用。文章首先介紹了提示詞工程（PromptEngineering）、檢索增強(qiáng)生成（RAG）和微調(diào)（Finetuning）等常見LLM應(yīng)用場(chǎng)景，并深入探討了這些方法的挑戰(zhàn)和局限性。隨后，通過對(duì)比MLOps和LLMOps，突出了后者在管理復(fù)雜模型生命周期中的獨(dú)特價(jià)值。文章還列舉了Agenta、Deeplake、MLflow、Dify和Heli...

隨著人工智能發(fā)展，大語(yǔ)言模型取得顯著成果，但距離人類水平的通用智能仍有差距。理解并解決大語(yǔ)言模型在實(shí)現(xiàn)通用智能過程中的關(guān)鍵問題，如具身性、符號(hào)接地等，對(duì)推動(dòng)人工智能邁向通用智能階段至關(guān)重要，這不僅能拓展AI應(yīng)用領(lǐng)域，還能深化對(duì)智能本質(zhì)的理解，為構(gòu)建更強(qiáng)大、更智能的系統(tǒng)奠定基礎(chǔ)。本文聚焦于大語(yǔ)言模型（LLMs）通向通用人工智能（AGI）的研究，探討了實(shí)現(xiàn)AGI的基礎(chǔ)原理，包括具身性、符號(hào)接地、因果關(guān)系和記憶...

文章鏈接：https:arxiv.orgpdf2412.17812項(xiàng)目鏈接：https:www.wlyu.meFaceLift亮點(diǎn)直擊本文提出了FaceLift，這是一種兩階段框架，通過視圖生成和大規(guī)模重建模型從單張圖像重建高保真3D頭像。結(jié)合了用于視圖一致性訓(xùn)練的合成頭部數(shù)據(jù)和大型圖像生成基礎(chǔ)模型的豐富先驗(yàn)，從而實(shí)現(xiàn)了強(qiáng)大的泛化能力。通過全面的定量和定性評(píng)估，證明了本文的方法在重建精度和身份保持方面達(dá)到了SOTA?？偨Y(jié)速覽解決的問題當(dāng)前的3D頭像重建方法存在以...

前言在眾多的GPU云平臺(tái)中，AutoDL是我們常用的一個(gè)。它因?yàn)轱@卡可快速擴(kuò)展、實(shí)例運(yùn)行穩(wěn)定、網(wǎng)絡(luò)連接速度快，深受大家的喜愛。不過其端口映射略微復(fù)雜，所以本篇文章，我們將介紹在AutoDL平臺(tái)上進(jìn)行模型訓(xùn)練的過程。環(huán)境準(zhǔn)備1.1創(chuàng)建實(shí)例通過查看LLamaFactory的官方文檔，我們可以得知，LLamaFactory的運(yùn)行需要依賴以下環(huán)境：必需依賴最低版本推薦版本python3.83.11torch1.13.12.4.0transformers4.41.24.43.4datasets2.16.02.20.0...

“學(xué)習(xí)一門技術(shù)，先找一套工具和理論研究下去；千萬(wàn)不要反復(fù)橫跳，什么都想學(xué)”大模型作為未來(lái)重要的發(fā)展方向，很多人想學(xué)習(xí)大模型技術(shù)，但又苦于無(wú)從下手；而本公眾號(hào)前前后后也寫過一些怎么學(xué)習(xí)大模型技術(shù)的方法論；但大部分都是從應(yīng)用的角度作為切入點(diǎn)。但是，有一個(gè)問題就是，如果你是一個(gè)技術(shù)從業(yè)者，想學(xué)習(xí)和設(shè)計(jì)一款屬于自己的大模型，應(yīng)該怎么做？設(shè)計(jì)一個(gè)自己的大模型大模型作為一門快速發(fā)展的新型技術(shù)，其理論與實(shí)現(xiàn)...

在這個(gè)AI技術(shù)飛速發(fā)展的時(shí)代，AIAgent智能體已經(jīng)成為了眾多開發(fā)者與企業(yè)目光匯聚的核心。在AI的時(shí)代背景下，大模型如同大腦，而AIAgent智能體則是為這個(gè)大腦裝上了眼睛、嘴巴、雙手和耳朵的“人類”。AIAgent智能體就好比移動(dòng)互聯(lián)網(wǎng)時(shí)代的應(yīng)用程序APP，極大地拓寬了大模型的潛能邊界。作為AI原生時(shí)代的產(chǎn)物，AIAgent智能體成為了內(nèi)容、信息和服務(wù)的新介質(zhì)，它是實(shí)現(xiàn)型模型應(yīng)用落地的理想途徑。在眾多AIAgent智能體開發(fā)平臺(tái)中，C...

編輯星璇出品51CTO技術(shù)棧（微信號(hào)：blog51cto）圣誕節(jié)12場(chǎng)直播過后，OpenAI終于在2025開年亮劍了一款新功能！美東時(shí)間1月14日周二，OpenAI宣布推出名為Tasks的測(cè)試版新功能，從周二開始，三個(gè)不同版本ChatGPT——ChatGPTPlus、Team和Pro的訂閱用戶將可以試用這個(gè)新功能。Tasks這個(gè)功能有什么本領(lǐng)？用戶能利用它告訴ChatGPT，提醒用戶未來(lái)需要做什么，以及何時(shí)需要完成。比如用戶的護(hù)照要到期了，可以讓ChatGPT提醒用戶辦理，用...

編輯伊風(fēng)出品51CTO技術(shù)棧（微信號(hào)：blog51cto）繼微軟之后，又一個(gè)科技巨頭接棒硅谷的“末位淘汰”了。扎克伯格宣布：Meta計(jì)劃裁員約5%，主要針對(duì)公司表現(xiàn)最差的員工！小扎在通知中說(shuō)，2025年將是“充滿挑戰(zhàn)的高強(qiáng)度之年”（Intenseyear）。Meta既然要打硬仗，必須精簡(jiǎn)部隊(duì)，“更快地淘汰表現(xiàn)不佳的員工”。據(jù)悉，扎克伯格在公司內(nèi)部的辦公平臺(tái)上，通過一份備忘錄，向員工做了裁員通知，詳細(xì)內(nèi)容如下：Meta正在構(gòu)建全球最重要的...

背景在RetrievalAugmentedGeneration(RAG，檢索增強(qiáng)生成)系統(tǒng)中，分塊（chunking）是一個(gè)基礎(chǔ)而關(guān)鍵的步驟，它將較大的文檔分割成更小的文本塊，以便后續(xù)處理和檢索。雖然分塊能夠提高文檔處理效率，但這些分塊可能仍然包含冗余信息、噪聲或缺乏上下文支持，從而影響檢索和生成的效果。為了提升檢索質(zhì)量，微軟提出了“ChunkEnrichmentPhase”（分塊優(yōu)化階段）這一概念，通過對(duì)文本塊進(jìn)行清理和增強(qiáng)，顯著提高RAG系統(tǒng)的性能。本...

總結(jié)在項(xiàng)目中，如果你沒有任何參考，那么選擇2次方（即64、128、256、512、1024等）可以會(huì)更加直接和易于管理，然后對(duì)上限來(lái)說(shuō)，batchsize大小最好<數(shù)據(jù)集樣本數(shù)0.1。梯度下降算法在更新模型參數(shù)時(shí)，我們一般會(huì)用到梯度下降算法。這個(gè)時(shí)候，我們就會(huì)有一個(gè)問題，每次拿多少訓(xùn)練樣本進(jìn)行更新參數(shù)呢？這個(gè)時(shí)候有兩個(gè)極端情況，資源夠，那我們把所有數(shù)據(jù)都丟進(jìn)去，我們稱之為批量梯度下降法（BatchGradientDescent，BGD）。另外一...

1.通義PPT創(chuàng)作體驗(yàn)最近在研究知識(shí)圖譜，搜集網(wǎng)上資料和理解，寫了一篇學(xué)習(xí)筆記剛好看到通義千問里面有一套效率工具，其中就有PPT創(chuàng)作，于是拿著學(xué)習(xí)筆記試試PPT生成的效果。首先我選擇的是上傳文件生成PPT，當(dāng)然你也可以寫一句話生成主題PPT生成過程如下圖所示，整體操作非常簡(jiǎn)單。開始創(chuàng)作上傳文件生成PPT選擇要上傳的具體文件，支持的格式非常多等待生成大綱?編輯生成的大綱?選擇模板生成完成，看看效果生成過程：根據(jù)文件...