編輯伊風(fēng)出品51CTO技術(shù)棧（微信號：blog51cto）太震撼了。阿里直接扔了一張王炸！QwQ32B，一個(gè)參數(shù)量如此小的小模型，居然追平了671B的DeepSeekR1？？！這也太卷了，看看他們給的數(shù)據(jù)，真的給人看麻了：圖片這個(gè)模型到底小到什么概念呢？評論區(qū)網(wǎng)友在用了一臺(tái)配置M4Max芯片的蘋果電腦就跑起來了。網(wǎng)友本人直呼震撼的程度！小模型還有個(gè)震撼而實(shí)用的優(yōu)點(diǎn)，價(jià)格真的低。API成本才R1的十分之一！圖片一向大方的通義這次又是上線即...

“神經(jīng)網(wǎng)絡(luò)模型雖然是一個(gè)整體，但卻是由多個(gè)環(huán)節(jié)和步驟組成的。”對學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)的人來說，自己設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)模型是很多人都想做的事情；也是神經(jīng)網(wǎng)絡(luò)技術(shù)學(xué)習(xí)過程中必不可少的一個(gè)環(huán)節(jié)；但是很多人又不知道應(yīng)該怎么下手。所以今天就介紹一下怎么設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)模型。實(shí)現(xiàn)一個(gè)神經(jīng)網(wǎng)絡(luò)很多人認(rèn)為神經(jīng)網(wǎng)絡(luò)復(fù)雜的原因是因?yàn)闆]有了解過神經(jīng)網(wǎng)絡(luò)的組成結(jié)構(gòu)；因此，就很難弄清楚神經(jīng)網(wǎng)絡(luò)模型中每個(gè)環(huán)節(jié)的作用，所以我們就...

今天要帶大家走進(jìn)一個(gè)超級酷炫的技術(shù)領(lǐng)域，它正在悄悄改變我們與計(jì)算機(jī)交互的方式，甚至可能重塑未來的數(shù)字世界。你有沒有想過，有一天，我們跟電腦交流就像跟身邊的小伙伴聊天一樣自然，隨口說句話，電腦就能幫我們把復(fù)雜的事情都搞定？這可不是科幻電影里的情節(jié)，隨著大語言模型操作系統(tǒng)（LLMOS）的出現(xiàn)，這一切正在慢慢成為現(xiàn)實(shí)。今天，咱們就來深入聊聊這個(gè)神奇的LLMOS，看看它到底是怎么做到的。一、傳統(tǒng)操作系統(tǒng)的困境在...

隨著生成式AI技術(shù)的快速發(fā)展，RAG（RetrievalAugmentedGeneration）和Agent成為企業(yè)應(yīng)用大模型的最直接途徑。然而，傳統(tǒng)的RAG系統(tǒng)在準(zhǔn)確性和動(dòng)態(tài)學(xué)習(xí)能力上存在明顯不足，尤其是在處理復(fù)雜上下文和關(guān)聯(lián)性任務(wù)時(shí)表現(xiàn)不佳。近期，一篇論文提出了HippoRAG2，這一新型RAG框架在多個(gè)方面取得了顯著進(jìn)步，為企業(yè)級AI應(yīng)用提供了更強(qiáng)大的解決方案。1.HippoRAG2簡介：模仿人類記憶的RAG框架HippoRAG2是一種創(chuàng)新的檢索增強(qiáng)生成框架，旨在...

簡單來說，如果你沒有足夠的機(jī)器資源和時(shí)間，那么就跑到你預(yù)期的epoch，只需要保證驗(yàn)證集預(yù)期的準(zhǔn)確率或其他指標(biāo)滿足要求即可。局部極小值和鞍點(diǎn)如果你想追求極致的loss下降，那么你需要了解兩個(gè)知識(shí)點(diǎn)——局部極小值和鞍點(diǎn)。一般我們的loss降不了，是因?yàn)樵撐恢玫膮?shù)對損失的微分為零，導(dǎo)致梯度下降不再更新參數(shù)了，那么此時(shí)loss也就不會(huì)繼續(xù)下降。那么提到梯度為零的時(shí)候，我們一般想象到的是局部極小值。其實(shí)也沒錯(cuò)，因?yàn)槌?..

01、概述隨著人工智能（AI）技術(shù)的不斷發(fā)展，越來越多的智能系統(tǒng)開始在復(fù)雜的推理任務(wù)上取得了長足的進(jìn)步。然而，即便如此，許多系統(tǒng)依然在面臨復(fù)雜問題時(shí)表現(xiàn)得不盡如人意。例如，推理過程不一致、思維鏈條的限制以及偶爾出現(xiàn)的事實(shí)錯(cuò)誤等問題，仍然困擾著現(xiàn)實(shí)世界中許多應(yīng)用的推廣。尤其是在科研和軟件開發(fā)領(lǐng)域，精確和細(xì)致的理解能力至關(guān)重要。為了克服這些難題，AI模型的構(gòu)建和訓(xùn)練方式正不斷被重新審視，透明度和可靠性的...

01、概述在當(dāng)今數(shù)字化飛速發(fā)展的時(shí)代，軟件開發(fā)已經(jīng)成為推動(dòng)科技進(jìn)步的核心力量。而如今，隨著人工智能（AI）技術(shù)的不斷突破，軟件開發(fā)領(lǐng)域也迎來了前所未有的變革。2025年2月27日，Google正式推出了GeminiCodeAssist，一款面向個(gè)人開發(fā)者的免費(fèi)AI輔助開發(fā)工具，這不僅是Google在AI軟件開發(fā)領(lǐng)域的一次重大突破，更是整個(gè)行業(yè)邁向智能化開發(fā)的關(guān)鍵一步。02、GeminiCodeAssist：開啟智能開發(fā)新時(shí)代（一）核心功能：讓代碼“寫”得...

預(yù)計(jì)到2028年，AI的應(yīng)用將促使企業(yè)數(shù)據(jù)存儲(chǔ)需求呈現(xiàn)指數(shù)級增長態(tài)勢。根據(jù)我們于2024年11月開展的一項(xiàng)調(diào)查顯示，在主要依賴云存儲(chǔ)管理AI數(shù)據(jù)的基礎(chǔ)設(shè)施采購決策者中，61%的受訪者預(yù)計(jì)其存儲(chǔ)需求到2028年將至少實(shí)現(xiàn)翻番。驅(qū)動(dòng)這一需求增長的關(guān)鍵因素包括：數(shù)據(jù)保留周期的顯著延長（從6個(gè)月延長至永久保存）；73%的受訪者表示，他們采用了每日或每周一次的大型語言模型（LLM）檢查點(diǎn)機(jī)制80%的受訪者認(rèn)為數(shù)據(jù)多副本對于AI數(shù)據(jù)管理“...

解讀：AI生成未來文章鏈接：https:arxiv.orgpdf2502.20313Git鏈接：https:github.comjiaosiyu1999FlexVAR亮點(diǎn)直擊生成各種分辨率和寬高比的圖像，甚至可以超過訓(xùn)練分辨率；支持圖像到圖像的任務(wù)，例如圖像修復(fù)、圖像細(xì)化和圖像擴(kuò)展，而無需微調(diào)；享受靈活的推理步驟，允許通過減少步驟加速推理或通過增加步驟提高圖像質(zhì)量。總結(jié)速覽原文來源本文作者來自北京交通大學(xué)、悉尼科技大學(xué)、美團(tuán)、佐治亞理工學(xué)院。解決的問題靈活性不...

本文將全面探討VAE的理論基礎(chǔ)、數(shù)學(xué)原理、實(shí)現(xiàn)細(xì)節(jié)以及在實(shí)際中的應(yīng)用，助你全面掌握這一前沿技術(shù)。一、變分自編碼器（VAE）概述變分自編碼器是一種結(jié)合了概率圖模型與深度神經(jīng)網(wǎng)絡(luò)的生成模型。與傳統(tǒng)的自編碼器不同，VAE不僅關(guān)注于數(shù)據(jù)的重建，還致力于學(xué)習(xí)數(shù)據(jù)的潛在分布，從而能夠生成逼真的新樣本。1.1VAE的主要特性生成能力：VAE能夠通過學(xué)習(xí)數(shù)據(jù)的潛在分布，生成與訓(xùn)練數(shù)據(jù)相似的全新樣本。隱空間的連續(xù)性與結(jié)構(gòu)化：VAE在...

01、概述近日，微軟研究團(tuán)隊(duì)發(fā)布了一個(gè)令人振奮的突破性成果——Magma。這一多模態(tài)AI基礎(chǔ)模型的問世，不僅為未來的智能機(jī)器人與虛擬助手鋪設(shè)了新道路，也讓我們看到了數(shù)字世界與物理世界深度融合的曙光。今天，就讓我們一起深入了解這個(gè)能跨越不同任務(wù)和環(huán)境的智能系統(tǒng)，它如何為我們創(chuàng)造出前所未有的可能性。想象未來的AI助手：數(shù)字與物理的無縫連接在科幻小說中，我們常?？吹竭@樣的場景：一名機(jī)器人不僅能流暢地操作電腦，完...

前段時(shí)間比較火的Deepseek+多維表格大家應(yīng)該都有了解：圖片來源機(jī)器之心：飛書中的每個(gè)表格都相當(dāng)于一個(gè)prompt輸入框，你可以把需求和背景當(dāng)作一列數(shù)據(jù)粘貼進(jìn)去，DeepSeekR1就能按這個(gè)隊(duì)列全自動(dòng)處理了。那么你有沒有想過Deepseek（滿血版）+畫布呢？OpenAI研究主管KarinaNguyen所說，‘我心目中的終極AGI界面是一張空白畫布（Canvas）’，它隨著人類的偏好不斷演變，自我變形，給予用戶無限的創(chuàng)作空間和自由度，讓交互方式更加...

前言隨著近期DeepsSeek大模型在AI領(lǐng)域的快速崛起，人工智能技術(shù)正在快速進(jìn)化，在這場智能革命的浪潮中，一個(gè)關(guān)鍵命題愈發(fā)凸顯：當(dāng)大模型能力不斷進(jìn)化時(shí)，我們該如何建立與之匹配的評估體系。本文將以2篇論文??《ASurveyontheEvaluationofLargeLanguageModels》???、??《TRUSTWORTHYLLMS:ASURVEYANDGUIDELINEFOREVALUATINGLARGELANGUAGEMODELS'ALIGNMENT》??內(nèi)容作為基礎(chǔ)，探討大模型評價(jià)體系的重要性(Why)、評價(jià)什么(W...

前言DeepSeek作為國產(chǎn)頂尖大模型，在代碼生成和邏輯推理方面表現(xiàn)優(yōu)異。本文提供三種不同場景下的接入方案，滿足從普通用戶到開發(fā)者的不同需求。當(dāng)前問題由于訪問量激增和網(wǎng)絡(luò)攻擊，官網(wǎng)服務(wù)可能出現(xiàn)不穩(wěn)定。本文提供三種備用接入方案：方法一：使用??chatbox+硅基流動(dòng)??接入云端API使用(適合于普通用戶使用)方法二：使用??Cursor+硅基流動(dòng)??接入云端API使用(適合于程序員人群)方法三：使用??ollama本地化部署??使用...

摘要：現(xiàn)有的對齊已有能力模型與期望行為的方法通常依賴于人類提供監(jiān)督的能力。然而，未來的超人類模型將超越人類的能力。因此，人類將只能對超人類模型進(jìn)行弱監(jiān)督。這種預(yù)期的人類評估不足將削弱未來AI系統(tǒng)的安全性?？蓴U(kuò)展監(jiān)督和從弱到強(qiáng)的泛化是解決這一問題的兩種互補(bǔ)方法。在本文中，我們嘗試結(jié)合這兩種方法的優(yōu)勢，以進(jìn)一步改進(jìn)對齊。具體來說，我們研究了如何通過一個(gè)強(qiáng)大的預(yù)訓(xùn)練模型來改進(jìn)人類監(jiān)督，然后用增強(qiáng)的弱人...

摘要：最近的多模態(tài)大語言模型（MLLMs）在視覺語言任務(wù)（如圖像描述和問答）中表現(xiàn)出色，但缺乏關(guān)鍵的感知能力，即目標(biāo)檢測。本文提出了一種新的研究問題——上下文目標(biāo)檢測，即在人機(jī)交互的上下文中理解可見物體。我們研究了三種代表性場景：語言填空測試、視覺描述生成和問答。此外，我們提出了ContextDET，一種統(tǒng)一的多模態(tài)模型，能夠端到端地對視覺語言上下文進(jìn)行可微分建模，從而定位、識(shí)別并將視覺對象與語言輸入關(guān)聯(lián)起來...

近年來，人工智能（AI）和機(jī)器學(xué)習(xí)（ML）引發(fā)的熱潮達(dá)到了頂點(diǎn)。無論行業(yè)如何，每家公司似乎都急于宣稱：“我們正在使用AIML！”雖然這些技術(shù)具有變革潛力，但盲目跟風(fēng)往往導(dǎo)致我稱之為“熱潮驅(qū)動(dòng)的過度工程”的現(xiàn)象。這種現(xiàn)象指的是企業(yè)在不需要的項(xiàng)目上過度投資AIML，浪費(fèi)資源并使問題不必要地復(fù)雜化。什么是AIML過度工程？過度工程是指系統(tǒng)的復(fù)雜程度超出了其目的。在AIML領(lǐng)域，這種情況發(fā)生在團(tuán)隊(duì)將高級算法和模型應(yīng)用于可...

論文筆記，LongRoPE2:NearLosslessLLMContextWindowScaling，https:arxiv.orgpdf2502.20082。longropev1的升級工作，應(yīng)對長度外推的。longropev1簡單回顧，核心思想是非均勻插值+漸進(jìn)式微調(diào)：對比NTK、YaRN之類的插值方式，LongROPE的每個(gè)頻率都有自己的縮放因子。所以先進(jìn)行基于困惑度的進(jìn)化搜索，得到每個(gè)rope維度的最佳縮放因子。在應(yīng)用當(dāng)前階段的RescaledRoPE后，對模型進(jìn)行微調(diào)，讓模型權(quán)重適應(yīng)新的上下文窗口大小和位置編...

本文將利用基于文本和圖像的聯(lián)合搜索功能來開發(fā)一個(gè)多模態(tài)時(shí)裝輔助代理應(yīng)用程序。簡介傳統(tǒng)模型只能處理單一類型的數(shù)據(jù)，例如文本、圖像或表格數(shù)據(jù)。多模態(tài)是人工智能研究界的一個(gè)流行概念，指的是模型能夠同時(shí)從多種類型的數(shù)據(jù)中學(xué)習(xí)。這項(xiàng)新技術(shù)（并不是很新，但在過去幾個(gè)月里有了顯著的改進(jìn)）有許多潛在的應(yīng)用，它將改變許多產(chǎn)品的用戶體驗(yàn)。這方面一個(gè)很好的例子是未來搜索引擎的新工作方式：用戶可以使用多種方式輸入查詢...

歡迎來到AI.x社區(qū)。AI.x社區(qū)致力于為技術(shù)人提供一個(gè)和諧、融洽、氣氛良好、內(nèi)容優(yōu)質(zhì)的交流與學(xué)習(xí)的平臺(tái)。社區(qū)鼓勵(lì)大家積極踴躍發(fā)布有價(jià)值的內(nèi)容，與我們共建AIGC的專屬生態(tài)。一、原創(chuàng)要求（一）原創(chuàng)內(nèi)容特指以下含義：原創(chuàng)帖子：本人獨(dú)立完成的文章創(chuàng)作，不屬于歪曲、篡改他人創(chuàng)作或者抄襲、剽竊他人創(chuàng)作而產(chǎn)生的作品，亦不屬于改編、翻譯、注釋、整理他人已有創(chuàng)作而產(chǎn)生的作品。若用戶發(fā)布的內(nèi)容不符合原創(chuàng)內(nèi)容標(biāo)準(zhǔn)，社區(qū)有權(quán)...