最后一天，DeepSeek開源了全生命周期數(shù)據(jù)訪問引擎FireFlyerFileSystem（3FS），以及基于3FS的數(shù)據(jù)處理框架Smallpond。3FS（螢火蟲文件系統(tǒng)）是一個(gè)充分利用現(xiàn)代SSD和RDMA網(wǎng)絡(luò)帶寬的并行文件系統(tǒng)，其特點(diǎn)是：在180節(jié)點(diǎn)集群中實(shí)現(xiàn)了6.6TiBs的總讀取吞吐量在25節(jié)點(diǎn)集群的GraySort基準(zhǔn)測試中達(dá)到了3.66TiBmin的吞吐量每個(gè)客戶端節(jié)點(diǎn)的KVCache查詢峰值吞吐量超過40+GiBs采用分離式架構(gòu)，確保了強(qiáng)一致性全面支持V3R1的訓(xùn)練數(shù)據(jù)預(yù)處理...

剛剛，DeepSeek放出了開源第二彈——DeepEP！它擁有高效優(yōu)化的alltoall通信，并具有以下特點(diǎn)：內(nèi)部節(jié)點(diǎn)和節(jié)點(diǎn)間均支持NVLink和RDMA高吞吐量內(nèi)核用于訓(xùn)練和推理預(yù)填充低延遲推理解碼內(nèi)核本地FP8調(diào)度支持可靈活控制的GPU資源，用于計(jì)算通信重疊具體來說，DeepEP是一個(gè)專為混合專家系統(tǒng)（MoE）和專家并行（EP）設(shè)計(jì)的通信庫。它提供高吞吐量和低延遲的GPU全互聯(lián)內(nèi)核，也被稱為MoE的「調(diào)度」和「組合」操作。該庫還支持低精度運(yùn)算，...

Replit「Agent」正以迅猛之勢，推動著編程行業(yè)的深刻變革。Masad于2016年創(chuàng)立了Replit，成立以來一直積極擁抱AI技術(shù)，近年來推出了一系列自動化編程產(chǎn)品。回顧Masad近年的言論，會發(fā)現(xiàn)「Agent」的實(shí)現(xiàn)速度遠(yuǎn)超他之前的預(yù)期。他曾斷言「Agent」在2030年之前很難達(dá)成。促使這一轉(zhuǎn)變發(fā)生的關(guān)鍵因素，是Anthropic推出的新模型：Claude3.5Sonnet。此前，Replit一直專注于構(gòu)建自有模型，期望憑借專有數(shù)據(jù)形成獨(dú)特優(yōu)勢。然而，Claude3....

Anthropic終于要開始搞點(diǎn)事情啦！近期的「推理模型」熱潮中，Anthropic除了其CEO打了幾個(gè)嘴炮外，還沒有掏出一個(gè)拿得出手的產(chǎn)品。在這樣下去，可能要退出AI一線模型玩家行列了。Anthropic自己顯然不想看到這種情況發(fā)生。就在剛剛，有消息稱，Anthropic會在未來幾周內(nèi)發(fā)布其全新的「混合AI」模型。Anthropic版「推理模型」，測試時(shí)計(jì)算完全掌控在OpenAI去年秋季發(fā)布其「推理模型」后，谷歌以及國內(nèi)眾多AI公司紛紛推出了自己的模...

DeepSeek的估值，被曝已達(dá)1500億美元，達(dá)到了OpenAI的一半？最近，Bloomberg的這個(gè)數(shù)據(jù)，引起了軒然大波。圖片所有人都在問：真的假的？圖片此前，外媒福布斯也曾給出一個(gè)估值，當(dāng)時(shí)的數(shù)字是10億美元。圖片短短幾天，估值卻已經(jīng)漲到了150倍？外媒曝光，DeepSeek估值或高達(dá)1500億Bloomberg是這么說的。根據(jù)七位初創(chuàng)公司創(chuàng)始人和AI專家的說法，DeepSeek的市值大約在10億美元到超過1500億美元不等。根據(jù)彭博億萬富翁指數(shù)（Bloomber...

近年來，隨著文本屬性圖（TAG）在社交媒體、電子商務(wù)、推薦系統(tǒng)和學(xué)術(shù)引用網(wǎng)絡(luò)等領(lǐng)域的廣泛應(yīng)用，研究人員對如何有效地從這些復(fù)雜數(shù)據(jù)結(jié)構(gòu)中學(xué)習(xí)變得越來越感興趣。TAG不僅包含了節(jié)點(diǎn)之間的結(jié)構(gòu)關(guān)系，還包含了節(jié)點(diǎn)本身的文本特征，因此如何同時(shí)處理這兩種信息成為研究中的一個(gè)核心問題。當(dāng)前，圖神經(jīng)網(wǎng)絡(luò)（GNN）在TAG學(xué)習(xí)中得到了廣泛的應(yīng)用，然而其訓(xùn)練過程通常需要大量的人工標(biāo)注數(shù)據(jù)，這在實(shí)際應(yīng)用中往往難以獲取。大語言模...

全球玩家鏖戰(zhàn)《黑神話·悟空》！已經(jīng)有打通關(guān)的玩家了，我不羨慕，因?yàn)橥P(guān)后的空虛寂寞馬上就會找上你們。開啟二周目、三周目的同時(shí)，網(wǎng)上已有人用AI讓這個(gè)神話永不落幕，打開某書就發(fā)現(xiàn)網(wǎng)友已經(jīng)玩得不亦樂乎。讓我們的超級英雄去大戰(zhàn)西方異形怪物——甚至有人已經(jīng)提前展望《黑神話》系列的下一部了，看出取景地是祖國大好河山的哪里了嗎？更有「慈母」網(wǎng)友讓其愛子直接穿越到《黑神話》里，一躍成精——這些都可以通過AI實(shí)現(xiàn)...

曾經(jīng)在AI圖像生成領(lǐng)域無可匹敵的領(lǐng)導(dǎo)者M(jìn)idjourney，終于聽勸了，上周五推出了網(wǎng)頁版圖像編輯器。新編輯器巧妙集成了重繪、縮放等核心功能。不僅提高了操作效率，而且使整體交互邏輯更加清晰，對于高頻使用Midjourney的用戶來說，絕對欣喜！今天，Midjourney宣布，將升級后的新工具向所有人免費(fèi)開放試用。不論是產(chǎn)品更新，還是發(fā)放限時(shí)免費(fèi)試用券，Midjourney似乎都傳遞出了一種緊迫感——新興的Flux1強(qiáng)勢崛起，表現(xiàn)異常出色；最...

最近，提升多模態(tài)大模型處理高分辨率圖像的能力越來越引起這個(gè)領(lǐng)域的關(guān)注。絕大多數(shù)方法致力于通過對圖像進(jìn)行切分再融合的策略，來提升多模態(tài)大模型對圖像細(xì)節(jié)的理解能力。然而，由于對圖像的切分操作，不可避免會對目標(biāo)、聯(lián)通區(qū)域帶來割裂，導(dǎo)致MLMMs對于微小或形狀不規(guī)則的目標(biāo)的辨識能力。這個(gè)現(xiàn)象在文檔理解任務(wù)中，表現(xiàn)極為明顯，由于文字端經(jīng)常被中斷。針對這一挑戰(zhàn)，華中科技大學(xué)和華南理工大學(xué)最近聯(lián)合發(fā)布一個(gè)多模態(tài)大...

??最近Flux的爆火，簡直把所有人的三觀都撼動了。??不懂就問：現(xiàn)在網(wǎng)上的東西，還有什么是真的？Flux震驚全網(wǎng)如今，開源文生圖模型Flux，儼然已經(jīng)在全網(wǎng)掀起了一股風(fēng)暴。下面這些合影，竟然全是AI生成的？簡直把這位博主震驚到懷疑人生。正面特寫大光圈，臉部打光、肌肉紋理、毛發(fā)，看不出絲毫破綻。注意，即使是背景板人物們，也很自然，挑不出太大毛病。鏡頭遠(yuǎn)一點(diǎn)，光線暗一點(diǎn)呢？也很自然。兩個(gè)人物在光線明暗處的對比...

訓(xùn)練一個(gè)擴(kuò)散模型要多少錢？之前最便宜的方法（Wuerstchen）用了28400美元，而像StableDiffusion這樣的模型還要再貴一個(gè)數(shù)量級。大模型時(shí)代，一般人根本玩不起。想要各種文生小姐姐，還得靠廠商們負(fù)重前行為了降低這龐大的開銷，研究者們嘗試了各種方案。比如，原始的擴(kuò)散模型從噪聲到圖像大約需要1000步，目前已經(jīng)被減少到20步左右，甚至更少。當(dāng)擴(kuò)散模型中的基礎(chǔ)模塊逐漸由Unet（CNN）替換為DiT（Transformer）之后，一些根據(jù)...

過去的一周，OpenAI「草莓」項(xiàng)目被炒的熱火朝天，把所有人情緒推向了興奮最高點(diǎn)。在X上，爆料人iruletheworldmo每隔幾小時(shí)發(fā)一次帖，次次幾乎與「草莓」相關(guān)，甚至暗示這周二就是OpenAI實(shí)現(xiàn)第二級AGI的日子。他自稱已獲得內(nèi)部消息，并表示全新的GPT4olarge模型將8月13日正式發(fā)布。OpenAI草莓項(xiàng)目真正露面還不知哪天，不過，勁敵PerplexityAI已展示了具備「草莓」能力的新模型。或者說，Q已經(jīng)在PerplexityPro上實(shí)現(xiàn)了。今早，CEO...

昨天，AndrejKarpathy又發(fā)了長推，不過用了一句很有爭議的話開頭——「RLHF只是勉強(qiáng)的RL」。這條推特可謂「一石激起千層浪」，瞬間點(diǎn)燃了LLM社區(qū)的討論熱情。畢竟RLHF作為剛提出沒幾年的方法，又新穎又有爭議。一邊遭受質(zhì)疑，一邊又在工業(yè)界和學(xué)界迅速流行。5G沖浪的LeCun也趕來聲援Karpathy，但他的話很短，只有一句——「RLHF不是真正的RL」。RLHF最早可以追溯到OpenAI安全團(tuán)隊(duì)2017年發(fā)表的論文：論文地址：https:arxiv.orgab...

昨天奧特曼率眾人搞了一波「草莓暗示」的大陣仗，全網(wǎng)都在翹首以盼OpenAI的驚天大動作。結(jié)果今天大家等來的，只是一份安全報(bào)告而已……??今年5月，GPT4o演示一出，立馬技驚四座??。然而，它卻一鴿再鴿，等得用戶們心都涼了。GPT4o語音功能，為何遲遲不上線？剛剛OpenAI發(fā)布的這份紅隊(duì)報(bào)告，給我們揭開了謎底——不夠安全。在紅隊(duì)測試中，GPT4o的行為怪異，把OpenAI的研究者嚇了一大跳。明明是一男一女在對話，GPTo的男聲說...

7月26日，智譜發(fā)布AI生視頻產(chǎn)品「清影」，30秒將任意文圖生成視頻，并上線在他們的AI助手「智譜清言」上，被譽(yù)為是國內(nèi)首個(gè)人人可用的Sora。就在發(fā)布6天后，「清影」生成到視頻數(shù)便已突破了百萬量級。今天，智譜AI宣布將與「清影」同源的視頻生成模型——CogVideoX正式開源。團(tuán)隊(duì)表示，希望每一位開發(fā)者、每一家企業(yè)都能自由地開發(fā)屬于自己的視頻生成模型，從而推動整個(gè)行業(yè)的快速迭代與創(chuàng)新發(fā)展。打開AI助手「智譜清言」即可體...

號稱OpenAI二代機(jī)器人「Figure02」，真的來了！剛剛，F(xiàn)igureAI終于官宣了第二代人形機(jī)器人，完全換了一身新形象——黑色的外觀，更加靈活的五指。創(chuàng)始人BrettAdcock表示，「這是『地表最強(qiáng)』的人形機(jī)器人」！值得一提的是，F(xiàn)igure02的設(shè)計(jì)評審耗時(shí)18個(gè)月完成。據(jù)介紹，迭代后的Figure手部具有16個(gè)自由度，能夠承受與人類相當(dāng)?shù)牧α俊，F(xiàn)在的它，已經(jīng)進(jìn)入寶馬車廠開始打工了，可以無休止地狂干20個(gè)小時(shí)。Figure02還可以與人類直接...

大語言模型都卷起來了，模型越做越大，token越來越多，輸出越來越長。那么問題來了，如何有效地評估大語言模型的長篇大論呢？要是輸出長度長了但胡言亂語輸出質(zhì)量差，又臭又長，豈不是白搭首先能想到的方法就是人工評估。人工評估雖然對于評價(jià)模型性能至關(guān)重要，但受到主觀性、評估者之間的差異性以及廣泛評估的高成本的限制?？紤]到這些因素，谷歌DeepMind研究團(tuán)隊(duì)提出了自動評估解決方案FLAMe。論文地址：https:arxiv.orgabs2...

Midjourney幾個(gè)月前畫的餅終于端上來了！他們今天剛剛發(fā)布了最新版本v6.1！此次更新總結(jié)四個(gè)大字：細(xì)節(jié)狂魔。網(wǎng)友紛紛發(fā)推測試最新版本的Midjourney，攝影級畫面先睹為快！這張圖被取名為《天窗》，構(gòu)圖、色彩、光影、明暗，各方面都極度舒適，湖面波光粼粼細(xì)節(jié)生動，簡直可以直接用來做屏保。繼續(xù)看一幅風(fēng)景，曙光撥開云層，遠(yuǎn)處群山連綿，積雪未消；植被茂密，松樹紋理逼真，一片靜謐祥和。接著看一組靜物，原本需要大量人力...

斯坦福炒蝦機(jī)器人作者，又出新作了。這次，機(jī)器人不是給我們炒飯了，而是給我們做外科手術(shù)！最近，約翰霍普金斯和斯坦福大學(xué)的研究者們，進(jìn)行了一項(xiàng)新的探索——著名的醫(yī)療機(jī)器人達(dá)芬奇，是否可以通過模仿學(xué)習(xí)，來學(xué)習(xí)外科手術(shù)的操作任務(wù)呢？經(jīng)過實(shí)驗(yàn)后，他們成功了！組織操作、針頭處理和打結(jié)這三項(xiàng)基本的手術(shù)任務(wù)，達(dá)芬奇都可以自己獨(dú)立完成了。首先是需要醫(yī)學(xué)生苦練指法的縫合打結(jié)技術(shù)，只見達(dá)芬奇「飛針走線」，很熟練地就...

大數(shù)字一向吸引眼球。千億參數(shù)、萬卡集群，——還有各大廠商一直在卷的超長上下文。從一開始的幾K幾十K，發(fā)展到了如今的百萬token級別。Gemini的最新版本可以接收200萬個(gè)token作為上下文。這大概相當(dāng)于140萬個(gè)單詞、2小時(shí)視頻或者22小時(shí)的音頻。但不知諸位平時(shí)用得著這么長的上下文嗎？畢竟100K已經(jīng)相當(dāng)于一部比較長的小說了。更重要的是，LLM真的能在這個(gè)長度上進(jìn)行推理嗎？近日，有兩篇獨(dú)立研究分別表明：長上下文水分很大！L...