字節(jié)要親手打造AGI了!神秘“Seed Edge”項(xiàng)目被曝光,已設(shè)置5大研究方向,探索下一代AI技術(shù),算力不用愁! 原創(chuàng)
編輯 | 伊風(fēng)
出品 | 51CTO技術(shù)棧(微信號:blog51cto)
中國大廠開始發(fā)力AGI了!
據(jù)媒體報(bào)道,字節(jié)跳動 AGI 研究團(tuán)隊(duì)浮出水面,揭開了字節(jié)AGI的秘密布局!
報(bào)道稱:1 月下旬,字節(jié)正式設(shè)立代號為“Seed Edge”的研究項(xiàng)目,核心目標(biāo)是做比預(yù)訓(xùn)練和大模型迭代更長期、更基礎(chǔ)的 AGI 前沿研究。
好家伙,感覺中國的幾家大廠,字節(jié)是最先明牌要搞AGI的,有錢有資源的“宇宙廠”這下又走在最前列了。
接近字節(jié)的知情人士透露,Seed Edge的目標(biāo)是探索AGI的新方法,代號名中Seed是豆包大模型團(tuán)隊(duì)名稱,Edge代表最前沿的AGI探索。
Seed Edge鼓勵跨模態(tài)、跨團(tuán)隊(duì)合作,為項(xiàng)目成員提供寬松的研究環(huán)境,實(shí)行采用更長周期的考核方式,以保障挑戰(zhàn)真正顛覆性的AGI課題。同時,Seed Edge也將得到單獨(dú)的算力資源保障。
此外,字節(jié)或?qū)⒃贏I基礎(chǔ)設(shè)施方面有所動作。今天早上,外媒爆料“字節(jié)2025年斥120億美元開發(fā)AI芯片”的消息,很快就登上了脈脈熱搜。
圖片
字節(jié)的相關(guān)人士進(jìn)行了辟謠,稱雖然公司確實(shí)重視人工智能領(lǐng)域的發(fā)展與投入,但具體的預(yù)算和規(guī)劃傳聞并不正確。
1.持續(xù)的AGI探索:Seed Edge 已擬定 5 大研究方向
據(jù)報(bào)道,Seed Edge 擬定的 5 大研究方向都相對長期,不會像迭代模型那樣追求快速出成果:
- 下一代推理:探索更高效且更通用、提升模型推理能力的方法。
- 下一代感知:找到統(tǒng)一生成和理解表示的方法,表示和壓縮真實(shí)世界,構(gòu)建 “世界模型”。
- 軟硬一體的模型設(shè)計(jì):從軟硬一體出發(fā),探索 Transformer+GPU 之外的模型設(shè)計(jì),發(fā)揮下一代硬件的能力。
- 下一代范式:在反向傳播、Transformer 架構(gòu)、預(yù)訓(xùn)練 + 對齊的模式之外,探索更高效的模型結(jié)構(gòu)和學(xué)習(xí)方法。
- 下一代 Scaling 方向:在預(yù)訓(xùn)練和推理階段的 Scaling Laws 之外,探索 Multi-Agent(多智能體)和 Test-Time Training(測試時間訓(xùn)練,動態(tài)調(diào)整模型參數(shù))等方向。
2.字節(jié)身處AI變革:中國大企業(yè)中最敢于調(diào)整的、速度極快
據(jù)報(bào)道,一位接近字節(jié)的人士稱,面對 AI 變革:“字節(jié)是中國大公司中最敢于調(diào)整的,行動速度極快。”
從字節(jié)給人感覺在AI上慢了一拍,到現(xiàn)在產(chǎn)品和模型技術(shù)的迎頭趕上,字節(jié)跳動似乎只用了不到1年的時間。
回到2024年1月份,字節(jié)CEO梁汝波在年度全員會上反思:字節(jié)直到2023年才開始討論GPT,而業(yè)內(nèi)做得比較好的大模型創(chuàng)業(yè)公司都是在2018年至2021年創(chuàng)立。
在字節(jié)做團(tuán)隊(duì)調(diào)整之前,字節(jié)的AI人才是分散的,跟隨AI Lab的重組被拆分到了不同的業(yè)務(wù)線中。但字節(jié)在23年重整了AI核心,先是搭建了頂尖AI人才的Seed團(tuán)隊(duì),該團(tuán)隊(duì)主要班底來自搜索、AML、AI Lab等部門中的大模型相關(guān)人才;然后又組建了Flow團(tuán)隊(duì),負(fù)責(zé)基于大模型的AI原生應(yīng)用的研發(fā),月活量在國產(chǎn)AI中斷層的豆包就是這個團(tuán)隊(duì)的成果。
字節(jié)激進(jìn)的“搶人”策略,為這種超越打下了堅(jiān)實(shí)的基礎(chǔ)。
一位從事獵頭工作的人透露:字節(jié)對于基礎(chǔ)模型研發(fā)相關(guān)人才的招聘是沒有名額上限的,對于目標(biāo)團(tuán)隊(duì)的候選人在薪資上開出的數(shù)字非??捎^,經(jīng)??梢钥吹交谠劫Y雙倍的漲薪幅度。
去年5月,為儲備最具潛力的研究人才,豆包大模型團(tuán)隊(duì)啟動了“Top Seed人才計(jì)劃”,以極具競爭力的待遇在全球招募頂尖博士畢業(yè)生加入。成立短短數(shù)月內(nèi),豆包大模型團(tuán)隊(duì)57篇論文中選ICLR、CVPR、NeurIPS等頂會,研究成果包括下載量超百萬的開源工作及GitHub萬星項(xiàng)目。同時,團(tuán)隊(duì)與近20所高校展開合作,包括與清華AIR、北大分別成立AI方向聯(lián)合實(shí)驗(yàn)室。
3.豆包1.5,堅(jiān)持做0蒸餾的大模型
昨天,豆包大模型1.5 Pro版本正式發(fā)布。
目前,該大模型已在豆包APP灰度上線,開發(fā)者也可在火山引擎直接調(diào)用API。
值得注意的是,在技術(shù)報(bào)告中,字節(jié)畫了個重點(diǎn):“扎實(shí)數(shù)據(jù)標(biāo)注,堅(jiān)持不走捷徑”。
“在 PostTraining 階段,我們精心構(gòu)建了一套高度自主的數(shù)據(jù)生產(chǎn)體系,該體系通過高效標(biāo)注團(tuán)隊(duì)與模型自提升技術(shù)的深度融合,持續(xù)且精準(zhǔn)地優(yōu)化數(shù)據(jù)質(zhì)量,嚴(yán)格遵循內(nèi)部標(biāo)準(zhǔn),堅(jiān)持不走捷徑,不使用任何其他模型的數(shù)據(jù),確保數(shù)據(jù)來源的獨(dú)立性和可靠性?!?/p>
圖片
最近,蒸餾模型已成為AI領(lǐng)域的“心照不宣”事實(shí),也引發(fā)了不少爭議。
通過對開源模型(如o1等)的整理優(yōu)化,可以快速對齊頂尖模型的性能。就連奧特曼也曾對這個策略吐槽(OpenAI規(guī)定不許將結(jié)果用于其他模型的訓(xùn)練)。
高效的蒸餾也有短板,因削弱了部分原始模型的深度學(xué)習(xí)能力,甚至導(dǎo)致“報(bào)錯家門”的尷尬局面,削弱了AI的獨(dú)創(chuàng)性和安全性。
相比之下,豆包堅(jiān)持不依賴蒸餾路線,選擇將核心技術(shù)和數(shù)據(jù)安全牢牢掌控在自己手中。
期待他們的“Seed Edge”能順利抵達(dá)邊緣,把更多AGI的未知點(diǎn)亮在我們的面前。
參考鏈接:
1.??https://www.163.com/dy/article/JMIVEUE10531M1CO.html??
2.??https://www.jiqizhixin.com/articles/2025-01-23??
3.??https://www.huxiu.com/article/3756050.html??
本文轉(zhuǎn)載自??51CTO技術(shù)棧??,作者:伊風(fēng)
