超越Devin！SWEBench排行榜上迎來(lái)了新玩家——

StarShip CodeGen Agent，姚班帶隊(duì)初創(chuàng)公司OpenCSG出品，以23.67%的成績(jī)獲得全球第二名的成績(jī)。

同時(shí)創(chuàng)造了非GPT-4o基模的最高紀(jì)錄（SOTA）。

我們都知道，SWEBench評(píng)測(cè)高度貼近真實(shí)編程場(chǎng)景，難度極高，不僅要求模型能理解需求、協(xié)調(diào)多個(gè)函數(shù)/類甚至文件的變更，還要求模型與執(zhí)行環(huán)境交互，處理超長(zhǎng)上下文并執(zhí)行遠(yuǎn)超傳統(tǒng)代碼生成任務(wù)的復(fù)雜邏輯推理。

在這種高難度的真實(shí)測(cè)試中，行業(yè)中最先進(jìn)的GPT4和Devin，也僅能解決1.74%和13.86%的問(wèn)題。

OpenCSG的這一成績(jī)，標(biāo)志著國(guó)內(nèi)公司在推動(dòng)語(yǔ)言模型向更實(shí)用、智能和自主化方向發(fā)展邁出了領(lǐng)先的一步。

大模型編程，到底有多難？

2024年3月，首個(gè)AI軟件工程師Devin的橫空出世，引爆了整個(gè)技術(shù)界。雖然伴隨著一系列爭(zhēng)議，但Devin本身強(qiáng)大的創(chuàng)新能力和巨大的潛力，帶給眾多AI愛好者和從業(yè)者新的期待。

Devin不僅能夠輕松解決編碼任務(wù)，更可以自主完成軟件開發(fā)的整個(gè)周期——從項(xiàng)目規(guī)劃到部署，涵蓋但不限于構(gòu)建網(wǎng)站、自主尋找并修復(fù) BUG、訓(xùn)練以及微調(diào)AI模型等等。

為什么Devin敢于挑戰(zhàn)GPT4等基礎(chǔ)模型的編程能力呢？

核心在于軟件工程師并不只是編寫代碼，更涉及到需求理解、代碼解讀、編程計(jì)劃、代碼生成、調(diào)試與異常修復(fù)等等環(huán)節(jié)，這里面的每個(gè)環(huán)節(jié)都會(huì)影響大模型編程的可用性和效果。

針對(duì)于這類真實(shí)場(chǎng)景，普林斯頓大學(xué)提出了SWEBench，這是一種量化評(píng)估端到端代碼生成能力的工具。

GPT-4在SWEBench上的評(píng)分僅有1.74%，即使加上RAG技術(shù)，評(píng)分也不到3%，這表明單純依靠基礎(chǔ)模型來(lái)直接解決現(xiàn)實(shí)世界中的編程問(wèn)題是不可能做到的。

而Devin的技術(shù)創(chuàng)新是基于Agent構(gòu)建工作流程，將SWEBench的解決率提升到了一個(gè)新高度。

3月份，Devin以獨(dú)立解決13.86%的問(wèn)題解決率高居榜首，這直接將“大模型編程”從幾乎不可用的狀態(tài)提升到了“看到了曙光”。硅谷大廠和大模型創(chuàng)業(yè)公司紛紛闖入LLM for SE這個(gè)領(lǐng)域，這項(xiàng)記錄被連續(xù)改寫。

截止2024年4月底，最好的記錄由Amazon AI團(tuán)隊(duì)推出的 Amazon Q Developer Agent 創(chuàng)造的20.33%。

較為遺憾的是，相比于基礎(chǔ)模型榜單上中國(guó)公司的“百花齊放”，這項(xiàng)高難度的挑戰(zhàn)中國(guó)公司鮮少參與，直到這一次OpenCSG改寫了這一紀(jì)錄。

來(lái)自中國(guó)創(chuàng)業(yè)公司

SWEBench最新評(píng)測(cè)結(jié)果更新，OpenCSG躍居榜單第二名，該公司推出的OpenCSG StarShip CodeGen Agent在Lite評(píng)測(cè)中取得了23.67%的通過(guò)率，這一成績(jī)不僅超過(guò)了Devin和Amazon的成績(jī)。

OpenCSG（開放傳神）成立僅一年，是一家致力于大模型生態(tài)社區(qū)建設(shè)，匯集人工智能行業(yè)上下游企業(yè)鏈共同為大模型在垂直行業(yè)的應(yīng)用提供解決方案和工具平臺(tái)的公司。

團(tuán)隊(duì)在開源及大模型復(fù)合經(jīng)驗(yàn)十分深厚——

CEO陳冉是開源軟件領(lǐng)域的知名企業(yè)家，曾成功打造過(guò)多家開源領(lǐng)域的商業(yè)公司。

CTO王偉來(lái)自清華05級(jí)姚班，在人工智能領(lǐng)域有多年研發(fā)經(jīng)驗(yàn)。

公司核心研發(fā)團(tuán)隊(duì)中還匯聚了來(lái)自清華、北大、沃頓、港科大等學(xué)府的精英學(xué)子。

那么這樣一支團(tuán)隊(duì)是如何打造出新的記錄的呢？

當(dāng)前許多企業(yè)正在積極探索和實(shí)踐基礎(chǔ)模型、垂直領(lǐng)域模型及RAG等技術(shù)，而OpenCSG則選擇了專注的方向：致力于編程Agent的創(chuàng)新開發(fā)和大型模型算法的深度優(yōu)化。

Agent層面：不同于LLM+RAG或者通用Agent框架，OpenCSG StarShip CodeGen Agent針對(duì)軟件研發(fā)領(lǐng)域高度定制優(yōu)化Agent而設(shè)計(jì)：將研發(fā)各個(gè)階段（需求理解、代碼檢索、編程計(jì)劃、編寫代碼、循環(huán)驗(yàn)證等）通過(guò)LLM Agent實(shí)現(xiàn)，并結(jié)合軟件工程方法，例如AST語(yǔ)法分析、依賴檢索等進(jìn)行深度優(yōu)化的方式，在各個(gè)環(huán)節(jié)精益求精，最終整合實(shí)現(xiàn)了更高精度的代碼生成。

算法層面：針對(duì)代碼版本變更引起的API沖突等典型問(wèn)題，OpenCSG提出了自適應(yīng)教師模式，通過(guò)教師模型分析代碼版本變更記錄，生成高質(zhì)量編程數(shù)據(jù)并用于改善基礎(chǔ)模型的生成效果。根據(jù)評(píng)測(cè)這些創(chuàng)新帶來(lái)的改進(jìn)，顯著優(yōu)于當(dāng)前的RAG模式，尤其是在API結(jié)構(gòu)高頻更新的熱門項(xiàng)目場(chǎng)景中。這部分的相關(guān)成果已經(jīng)形成論文投遞到國(guó)際會(huì)議中。

正是這種算法+工程雙管齊下、精益求精的模式，讓OpenCSG CodeGen Agent能在一眾模型中脫穎而出。

“StarShip就是各種家電電器”

如果說(shuō)CodeGen Agent的真實(shí)評(píng)測(cè)是牛刀小試，那么StarShip則是承載著OpenCSG的宏偉藍(lán)圖。

對(duì)于StarShip的產(chǎn)品定位，OpenCSG CEO陳冉表示：

StarShip承擔(dān)著我們對(duì)于大模型重塑軟件開發(fā)的愿景。用戶通過(guò)StarShip內(nèi)置的智能體（Agent）組建自己的數(shù)字員工團(tuán)隊(duì)。CodeGen Agent是平臺(tái)內(nèi)置的數(shù)字程序員，目前已經(jīng)發(fā)布的還有CodeReview Agent代碼評(píng)審員和CodeSearch代碼問(wèn)答工程師。不同于代碼輔助工具，我們希望這些數(shù)字員工能直接獨(dú)立工作而不需要人工輔助干預(yù)。未來(lái)我們將發(fā)布更多類型的數(shù)字員工，全面覆蓋需求、設(shè)計(jì)、編碼、測(cè)試和運(yùn)維各個(gè)環(huán)節(jié)。

CTO王偉則表示這條路徑充滿挑戰(zhàn)但非常有趣，“從第一性原理來(lái)看，大模型對(duì)于生產(chǎn)力的提升已經(jīng)不是’是’或者’否’的問(wèn)題，而是何時(shí)、何地、何種形態(tài)的問(wèn)題，StarShip正是我們嘗試給出的一個(gè)回答?！?/p>

除StarShip之外，OpenCSG團(tuán)隊(duì)還相當(dāng)高產(chǎn)：CSGHub開源模型平臺(tái)、wukong預(yù)訓(xùn)練模型、CSGCoder微調(diào)代碼模型等，這些產(chǎn)品定位精準(zhǔn)，在業(yè)內(nèi)頗受好評(píng)。

這些產(chǎn)品的快速推出與迭代，既滿足了市場(chǎng)需求，同時(shí)也為了一個(gè)共同的目標(biāo)：讓大模型賦能每一個(gè)企業(yè)每一個(gè)人。

讓大模型賦能每個(gè)企業(yè)、每個(gè)人，就需要讓大模型變成水和電一樣。如果說(shuō)大模型是電能，那么CSGHub是電力網(wǎng)絡(luò)，StarShip則是各種各樣的家電電器，最終賦能到千家萬(wàn)戶。

OpenCSG的理念是開源開放，作為一家堅(jiān)持以開源為核心的公司，不僅實(shí)現(xiàn)了模型開源、代碼開源，甚至將平臺(tái)開源。

CTO王偉這樣總結(jié)，我們是一家年輕的公司，受益于開源，才能在較短的時(shí)間做出一些成果，同時(shí)也會(huì)全面回饋開源社區(qū)，這是開源社區(qū)的基本原則。除此之外，我非常認(rèn)同Sam Altman的說(shuō)法，開源只是一種模式，比模式更重要的是產(chǎn)品價(jià)值。

“Benchmark本身只是一個(gè)數(shù)字，隨著GPT4-o的推出，SWEBench的測(cè)試成績(jī)預(yù)計(jì)將會(huì)很快超過(guò)30%，樂觀估計(jì)明年可以突破50%。而我們更關(guān)注這些數(shù)字背后的產(chǎn)品價(jià)值：隨著模型能力和工程技術(shù)的提升，數(shù)字員工將會(huì)從量變引發(fā)質(zhì)變，從能用到好用，在各行業(yè)迎來(lái)全面的爆發(fā)”王偉解釋道“這可能會(huì)是大模型時(shí)代背景下的一個(gè)重大變化，從公司到個(gè)人，我們都要為此做好準(zhǔn)備。”