AI程序員哪家強(qiáng)？探索Devin、通義靈碼和SWE-agent的潛力
4月3日，距世界首個AI程序員Devin誕生不足一個月，普林斯頓大學(xué)的NLP團(tuán)隊(duì)開發(fā)了一個開源AI程序員SWE-agent，它利用GPT-4模型在GitHub存儲庫中自動解決問題。SWE-agent在SWE-bench測試集上的表現(xiàn)與Devin相似，平均耗時93秒，解決了12.29%的問題。SWE-agent通過與專用終端交互，可以打開、搜索文件內(nèi)容，使用自動語法檢查、編輯特定行，以及編寫和執(zhí)行測試。
SWE-agent的智能體-計(jì)算機(jī)接口（ACI）設(shè)計(jì)簡化了大模型的命令和反饋格式，使其更容易瀏覽存儲庫、查看、編輯和執(zhí)行代碼文件。研究團(tuán)隊(duì)還提供了一些有用的功能，如代碼檢查器、文件查看器和全目錄字符串搜索命令，以提高效率。
幾乎在同日，阿里云公布他們最近迎來了一位特殊的新員工——AI程序員「通義靈碼」，工號AI001。這個AI程序員在加入正式員工行列之前已經(jīng)在阿里云內(nèi)外進(jìn)行了數(shù)月的實(shí)習(xí)，并獲得了超過80%的好評率。通義靈碼的加入顯著提高了工程師們在編寫、閱讀、查找BUG和優(yōu)化代碼等方面的工作效率，其工作能力被描述為7x24小時隨叫隨到，極大地節(jié)省了人類程序員在測試代碼上的工作量。
通義靈碼由阿里云與通義實(shí)驗(yàn)室聯(lián)合開發(fā)，目前已經(jīng)被下載超過200萬次，每天有數(shù)百萬行代碼被采納。它能夠熟練使用200多種編程語言，并精通16種主流語言。通義靈碼不僅具備代碼續(xù)寫、生成單元測試、代碼優(yōu)化等技能，還能進(jìn)行智能問答和異常報錯排查，減少了排查工作的復(fù)雜度。此外，它還支持企業(yè)級代碼庫專項(xiàng)訓(xùn)練，更好地理解企業(yè)代碼和文檔數(shù)據(jù)，并支持國產(chǎn)化適配。
在人工智能的浪潮中，AI程序員的出現(xiàn)無疑是技術(shù)革命的一個重要里程碑。從20世紀(jì)50年代早期的邏輯推理和專家系統(tǒng)的探索，到今天深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的廣泛應(yīng)用，AI技術(shù)的發(fā)展背景是多方面的。
AI程序員的興起，標(biāo)志著人工智能技術(shù)在編程領(lǐng)域的重大突破。它不僅可能重塑軟件開發(fā)行業(yè)的生態(tài)，而且對我們理解人工智能的潛力和邊界也有著深遠(yuǎn)的意義。AI編程的興起可能會改變程序員的工作方式和技能需求，但并不會減少程序員這個職業(yè)的重要性。
AI程序員技術(shù)特征分析
AI程序員，如Devin、通義靈碼和普林斯頓大學(xué)的SWE-agent，正在重新定義軟件工程的邊界。這些系統(tǒng)不僅展示了AI在編程領(lǐng)域的巨大潛力，而且還揭示了技術(shù)行業(yè)未來可能的發(fā)展方向。
Devin：全自動AI軟件工程師
Devin是世界上首個全自動AI軟件工程師，它的出現(xiàn)標(biāo)志著AI在軟件開發(fā)領(lǐng)域的一個重要里程碑。Devin具備長期推理和規(guī)劃能力，能夠執(zhí)行復(fù)雜的工程任務(wù)。這意味著Devin不僅能夠處理簡單的編碼任務(wù)，還能夠管理整個項(xiàng)目的生命周期，從需求收集到設(shè)計(jì)、編碼、測試和部署。
圖片
圖：OpenDevin 是 Devin 的復(fù)制品，其目標(biāo)是與開源社區(qū)共享力量。通過社區(qū)貢獻(xiàn)和對開放標(biāo)準(zhǔn)的承諾，OpenDevin 希望完善和擴(kuò)展人工智能輔助軟件工程的功能。
Devin的核心優(yōu)勢在于其能夠回憶相關(guān)上下文，隨時間學(xué)習(xí)并修正錯誤。這種能力使得Devin能夠在項(xiàng)目進(jìn)展中不斷自我完善，減少人為錯誤的可能性。此外，Devin配備了開發(fā)者常用工具，如shell、代碼編輯器和瀏覽器，這些工具都集成在一個沙盒計(jì)算環(huán)境中，確保了安全性和靈活性。
與用戶的實(shí)時協(xié)作也是Devin的一大特色。它能夠?qū)崟r報告進(jìn)度，接受反饋，并根據(jù)需要與用戶共同做出設(shè)計(jì)選擇。這種協(xié)作模式不僅提高了開發(fā)效率，還增強(qiáng)了項(xiàng)目的適應(yīng)性和創(chuàng)新性。
Devin的技術(shù)特征和能力概述：Devin是由Cognition AI團(tuán)隊(duì)開發(fā)的AI軟件工程師，它具備自主編程的能力，能夠獨(dú)立完成復(fù)雜的工程任務(wù)。Devin的核心技術(shù)特征包括：
- 長期推理與規(guī)劃：Devin能夠規(guī)劃并執(zhí)行需要數(shù)千個決策的復(fù)雜工程任務(wù)。
- 上下文相關(guān)的記憶：在每一步中，Devin能夠回憶相關(guān)上下文，學(xué)習(xí)并糾正錯誤。
- 開發(fā)工具的集成：Devin配備了shell、代碼編輯器和瀏覽器等開發(fā)工具。
- 實(shí)時協(xié)作：Devin能夠?qū)崟r報告進(jìn)度，接受反饋，并與用戶共同做出設(shè)計(jì)選擇。
- 自主修復(fù)和優(yōu)化：Devin能夠獨(dú)立發(fā)現(xiàn)并修復(fù)代碼中的bug，同時也能對AI模型進(jìn)行訓(xùn)練和微調(diào)。
「通義靈碼」：先進(jìn)的AI編程助手
通義靈碼作為阿里云推出的AI編程助手，它的目標(biāo)是提高軟件開發(fā)的效率和質(zhì)量。它通過自動化編程任務(wù)，幫助程序員減少重復(fù)性工作，從而讓他們有更多時間專注于創(chuàng)新和解決復(fù)雜問題。
圖片
通義靈碼的未來目標(biāo)是編寫公司20%的代碼，使得程序員能夠更多地專注于系統(tǒng)設(shè)計(jì)和核心業(yè)務(wù)開發(fā)。同時，通義靈碼也在通義千問APP上線，免費(fèi)向公眾開放，使得任何人都可以在手機(jī)上編寫和學(xué)習(xí)代碼。對于沒有編程基礎(chǔ)的學(xué)生，通義千問還能提供學(xué)習(xí)建議和制定學(xué)習(xí)計(jì)劃。這標(biāo)志著AI程序員不僅是程序員的助手，而且可能成為軟件開發(fā)領(lǐng)域的重要參與者。
「通義靈碼」的技術(shù)特征和能力概述
- 自動化編程：通義靈碼能夠輔助程序員編寫、讀取、查找和優(yōu)化代碼。它可以自動生成代碼，包括行級/函數(shù)級代碼、單元測試和代碼注釋，從而提高編程效率。
- 多語言支持：該工具已經(jīng)熟練掌握200多種編程語言，打破了編程語言的邊界，使得程序員能夠跨語言編寫代碼。
- 智能問答：通義靈碼提供研發(fā)智能問答能力，能夠快速回答編程相關(guān)的問題，幫助解決編程難題。
- 代碼優(yōu)化：它能夠深度分析代碼及其上下文，迅速識別潛在的編碼問題，并提供具體的優(yōu)化建議。
普林斯頓開源AI程序員：SWE-agent
普林斯頓大學(xué)推出的SWE-agent是基于GPT-4技術(shù)的首個開源AI程序員。作為一個開源項(xiàng)目，SWE-agent能夠在GitHub倉庫中自動修復(fù)bug，這對于開源社區(qū)來說是一個巨大的貢獻(xiàn)。在SWE-bench測試集上，SWE-agent成功解決了12.29%的問題，平均耗時僅93秒，顯示出與Devin相當(dāng)?shù)臏?zhǔn)確率。
SWE-agent的開源性質(zhì)意味著它能夠快速獲得社區(qū)的反饋和改進(jìn)，這加速了AI在軟件工程領(lǐng)域的進(jìn)步。SWE-agent的成功也表明，AI程序員不僅能夠提高開發(fā)效率，還能夠提升代碼質(zhì)量，減少維護(hù)成本。
圖：SWE 基準(zhǔn)性能
SWE-agent的技術(shù)特征
開源性質(zhì) SWE-agent作為一個開源項(xiàng)目，意味著它的代碼、設(shè)計(jì)和功能都是公開的，這為全球的開發(fā)者提供了參與和貢獻(xiàn)的機(jī)會。它在GitHub上迅速獲得了1.6k星和109個Fork，顯示出開源社區(qū)對這一技術(shù)的高度認(rèn)可和興趣。
1. 基于GPT-4的智能體-計(jì)算機(jī)接口（ACI） SWE-agent通過智能體-計(jì)算機(jī)接口（ACI）的設(shè)計(jì)，使得大模型如GPT-4能夠更方便地瀏覽存儲庫、查看、編輯和執(zhí)行代碼文件。這種設(shè)計(jì)類似于人類喜好的UI設(shè)計(jì)，提高了與大模型的交互效率和質(zhì)量。
2. 自動修復(fù)bug的能力 SWE-agent能夠在GitHub倉庫中自動修復(fù)bug。在SWE-bench測試集上，它成功解決了12.29%的問題，平均耗時僅為93秒，準(zhǔn)確率與之前推出的AI程序員Devin相當(dāng)。這表明SWE-agent在自動化軟件工程任務(wù)方面具有高效和準(zhǔn)確的能力。
3. 與專用終端的交互 SWE-agent通過與專用終端交互來工作，它可以打開、搜索文件內(nèi)容，使用自動語法檢查、編輯特定行，也可以編寫并執(zhí)行測試。這種交互方式為AI程序員提供了更多的自主性和靈活性。
4. 功能性設(shè)計(jì) SWE-agent包含了研究團(tuán)隊(duì)在智能體-計(jì)算機(jī)接口設(shè)計(jì)過程中發(fā)現(xiàn)的非常有用的功能，包括添加一個在發(fā)出編輯命令時運(yùn)行的linter，如果代碼語法不正確，則不會讓編輯命令通過。此外，為智能體提供了專門構(gòu)建的文件查看器和全目錄字符串搜索命令，這些功能都旨在提高工作效率和準(zhǔn)確性。
5. 智能體工作流程 SWE-agent的工作流程分為兩個階段：「推理」和「評估」。在推理階段，SWE-agent會處理GitHub上報告的問題，并生成一個旨在修復(fù)該問題的拉取請求（Pull Request）。在評估階段，會對生成的拉取請求進(jìn)行評估，以確認(rèn)它是否真正解決了報告的問題。
AI程序員如Devin、通義靈碼和SWE-agent的出現(xiàn)，預(yù)示著軟件開發(fā)領(lǐng)域的未來將更加自動化、智能化和協(xié)作化，這些系統(tǒng)的技術(shù)特征和能力展示了AI如何能夠提高開發(fā)效率，降低錯誤率，并推動創(chuàng)新。
AI程序員測試效果
Devin AI程序員的測試顯示，它能夠完成多種編程任務(wù)，包括使用API獲取股票價格的軟件和創(chuàng)建允許用戶與大型模型下棋的網(wǎng)站。Devin在處理API密鑰、包錯誤和與LLM下棋的提示詞方面表現(xiàn)出色。然而它在反饋速度上還有待提高。
通義靈碼與GitHub Copilot操作類似，用戶可以容易地從一個工具切換到另一個工具。它在代碼編寫能力上雖不及GitHub Copilot，但提供免費(fèi)使用，特定領(lǐng)域的優(yōu)勢以及良好的操作界面和適配性。根據(jù)個人測試和評價，通義靈碼可以獲得3.5~4分的評分（滿分5分），被視為值得嘗試的AI編碼輔助工具。
普林斯頓大學(xué)推出的SWE-agent在GitHub存儲庫中自動修復(fù)bug的能力與Devin相當(dāng)，平均耗時僅為93秒。這一開源項(xiàng)目在GitHub上迅速獲得了社區(qū)的認(rèn)可和興趣。
AI程序員的測試效果是評估其性能的關(guān)鍵指標(biāo)
1. 測試效率和準(zhǔn)確性， AI程序員通過自動化技術(shù)提高了軟件測試的效率，能夠快速識別和修復(fù)bug。它們利用機(jī)器學(xué)習(xí)算法，不斷學(xué)習(xí)和優(yōu)化，以提高bug發(fā)現(xiàn)的準(zhǔn)確性和覆蓋范圍。這種持續(xù)性的學(xué)習(xí)能力使得AI程序員在軟件開發(fā)過程中能夠不斷提升其性能。
2. 自動化Bug發(fā)現(xiàn)，AI程序員在自動化Bug發(fā)現(xiàn)方面表現(xiàn)出色，它們可以對軟件代碼和測試數(shù)據(jù)進(jìn)行深入分析，識別出隱蔽和復(fù)雜的Bug。這不僅提高了測試的質(zhì)量，還節(jié)省了大量的時間和人力成本。
3. 持續(xù)性能測試，AI程序員能夠執(zhí)行持續(xù)的性能測試，確保軟件系統(tǒng)的穩(wěn)定性和可靠性。它們通過模擬不同的測試場景，評估軟件在各種條件下的表現(xiàn)，從而確保軟件質(zhì)量。
4. 功能和性能測試，在功能和性能測試方面，AI程序員能夠自動運(yùn)行單元測試、集成測試和性能測試，以確保代碼質(zhì)量。這些測試通常是自動化的，可以在代碼部署到生產(chǎn)或測試環(huán)境之前進(jìn)行。
5. 提高工作效率，AI程序員還可以幫助傳統(tǒng)的測試工程師提高工作效率，例如協(xié)助編寫測試文檔、測試用例和測試報告。雖然AI程序員在用例設(shè)計(jì)方面還不能完全替代人類測試工程師，但它們在某些方面已經(jīng)能夠提供有效的支持。
根據(jù)以上多項(xiàng)指標(biāo)，多家的評測結(jié)果顯示AI程序員Devin、通義靈碼和SWE-agent在軟件工程任務(wù)的測試中表現(xiàn)不一，各有特點(diǎn)。
Devin
在SWE-bench基礎(chǔ)測試中，Devin無需人類輔助就能解決13.86%的問題。
Devin的測試顯示，它能夠執(zhí)行多步規(guī)劃并接收環(huán)境反饋，72%的通過測試需要10分鐘以上完成，顯示出其迭代能力。
通義靈碼
通義靈碼在輔助Java編碼方面表現(xiàn)最佳，而在SQL及代碼糾錯方面，iFlyCode可能是更好的選擇。
通義靈碼支持30+種語言的代碼解釋，并能對特定領(lǐng)域的知識進(jìn)行問答，如阿里云OSS相關(guān)問題。
SWE-agent
SWE-agent是一個開源的軟件工程代理，能夠?qū)itHub問題轉(zhuǎn)換為拉取請求，解決了SWE-bench測試集中12.29%的問題。
SWE-agent實(shí)現(xiàn)了Agent Computer Interface (ACI)，通過設(shè)計(jì)簡單的LM中心命令和反饋格式，使得LM更容易瀏覽倉庫、查看、編輯和執(zhí)行代碼文件。
綜合評價，Devin在無輔助情況下解決問題的能力較強(qiáng)，通義靈碼在特定領(lǐng)域如編程教育和代碼解釋方面有優(yōu)勢，而SWE-agent作為一個開源代理，在解決GitHub問題方面表現(xiàn)出色。每個工具都有其獨(dú)特的優(yōu)勢和適用場景。
AI程序員技術(shù)拓展
AI程序員技術(shù)的拓展正在不斷推動軟件開發(fā)領(lǐng)域的變革。從自動化編程到智能編程工具，再到優(yōu)化算法和自動化測試，AI程序員技術(shù)正成為軟件開發(fā)不可或缺的一部分。
自動化編程應(yīng)用
AI技術(shù)的發(fā)展使得許多傳統(tǒng)編程任務(wù)開始被自動化取代。例如，AI可以用于自動生成代碼、進(jìn)行自動化測試和優(yōu)化算法等。這意味著程序員將不再需要花費(fèi)大量時間進(jìn)行重復(fù)性的編程工作，而可以專注于更具創(chuàng)造性和復(fù)雜性的任務(wù)。
智能編程工具的發(fā)展
AI程序員的出現(xiàn)促進(jìn)了編碼輔助工具的發(fā)展。這些工具可以提供智能建議、自動糾錯和代碼優(yōu)化等功能，幫助程序員提高開發(fā)質(zhì)量和效率。隨著機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)的不斷發(fā)展，程序員可以借助這些工具提高開發(fā)效率，創(chuàng)造出更加豐富多彩的應(yīng)用。
優(yōu)化算法性能的貢獻(xiàn)
AI程序員在算法優(yōu)化方面具有巨大潛力。它們可以通過學(xué)習(xí)和演化算法，自動優(yōu)化程序的性能、資源利用和效能，從而提高程序的運(yùn)行效率和用戶體驗(yàn)。此外，AI可以通過分析代碼的運(yùn)行情況和性能數(shù)據(jù)，自動給出優(yōu)化建議，有助于程序員提高軟件性能，提升用戶體驗(yàn)。
跨學(xué)科能力
AI程序員的崛起也促使程序員培養(yǎng)跨學(xué)科能力。AI領(lǐng)域的發(fā)展涉及多個學(xué)科，如計(jì)算機(jī)科學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)等。程序員需要具備跨學(xué)科的知識和技能，以便更好地理解和應(yīng)用AI技術(shù)。這種跨學(xué)科能力有助于程序員在處理復(fù)雜問題時綜合不同領(lǐng)域的知識，找到更全面和有效的解決方案。
AI技術(shù)的這些應(yīng)用不僅提高了編程的效率和質(zhì)量，還為程序員提供了更廣闊的創(chuàng)新空間和探索領(lǐng)域。隨著AI技術(shù)的不斷進(jìn)步，未來的程序員將能夠更好地發(fā)揮其潛力，解決實(shí)際問題，并推動計(jì)算機(jī)科學(xué)的進(jìn)一步發(fā)展。
AI程序員對人類程序員的影響
在AI技術(shù)的快速發(fā)展下，AI程序員對實(shí)際程序員的影響是多方面的，既包括挑戰(zhàn)也包括機(jī)遇傳統(tǒng)程序員可以通過不斷學(xué)習(xí)和適應(yīng)新技術(shù)，利用AI程序員的優(yōu)勢，提高自己的競爭力和生產(chǎn)力。
自動化和智能化的影響
AI程序員的出現(xiàn)使得編程工作的某些方面可以自動化和智能化。例如，AI程序員能夠自動生成代碼，減少人為錯誤的可能性，提高開發(fā)效率。這可能會改變傳統(tǒng)程序員的工作方式和職責(zé)，使他們能夠更專注于更高層次的設(shè)計(jì)和創(chuàng)新。
提高效率和準(zhǔn)確性
AI程序員可能具備更快速、更準(zhǔn)確地生成代碼的能力。通過AI程序員的輔助，程序員能夠更高效地開發(fā)和測試應(yīng)用程序，減少錯誤和調(diào)試時間，提高整體的開發(fā)效率。
創(chuàng)造力和創(chuàng)新能力的提升
AI程序員的出現(xiàn)可能在某種程度上釋放程序員的創(chuàng)造力和創(chuàng)新能力。AI可以處理重復(fù)性的編碼任務(wù)，讓程序員有更多時間去思考和解決更復(fù)雜的問題，從而增強(qiáng)創(chuàng)新能力。
智能優(yōu)化和調(diào)
AI程序員可以對代碼進(jìn)行性能分析和優(yōu)化建議，找出潛在的瓶頸并提出改進(jìn)方案，使得代碼執(zhí)行更高效。此外，AI驅(qū)動的測試工具能夠自動化生成和執(zhí)行單元測試、集成測試，確保代碼質(zhì)量，減少回歸錯誤。
持續(xù)集成和測試自動化
AI程序員的技術(shù)可以支持復(fù)雜的決策和推理，自動化生成和執(zhí)行測試，從而提高軟件的可靠性和性能。這種自動化不僅提高了測試的效率，還有助于在早期發(fā)現(xiàn)和修復(fù)bug，減少了軟件發(fā)布后的問題。
對程序員職業(yè)的長遠(yuǎn)影響
盡管AI技術(shù)的發(fā)展可能會導(dǎo)致一些編程崗位的減少，但同時也會創(chuàng)造出新的就業(yè)機(jī)會和發(fā)展空間。傳統(tǒng)程序員可以通過不斷學(xué)習(xí)和提升自身的技能，適應(yīng)新的技術(shù)發(fā)展趨勢，保持競爭力。
總之，AI程序員對實(shí)際程序員的影響是深遠(yuǎn)且復(fù)雜的。它們不僅提高了編程的效率和質(zhì)量，還可能改變程序員的工作內(nèi)容和職業(yè)路徑。未來，程序員可能需要更多地關(guān)注創(chuàng)新、設(shè)計(jì)和解決復(fù)雜問題的能力，而不僅僅是編碼技能。
最后的啰嗦話
AI程序員Devin、通義靈碼和SWE-agent展示了人工智能在軟件開發(fā)領(lǐng)域的顯著進(jìn)步，提高了編程效率并推動了技術(shù)創(chuàng)新。AI程序員的優(yōu)勢是明顯的，AI程序員能夠自動化生成代碼，減少傳統(tǒng)手動編碼的時間和精力。它們可以快速學(xué)習(xí)大量的代碼和模式，提高編碼效率，減少人為錯誤的發(fā)生。AI程序員通過深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等技術(shù)，不斷自我學(xué)習(xí)和進(jìn)化。它們能夠快速適應(yīng)新的編程語言、框架和技術(shù)。同事AI程序員具備大規(guī)模任務(wù)處理和并行計(jì)算能力和智能化和自動優(yōu)化能力。
但是就目前來說，AI程序員也具有一些局限性，比如創(chuàng)造力和創(chuàng)新能力不足，AI程序員難以進(jìn)行創(chuàng)造性的創(chuàng)新和設(shè)計(jì)。還有上下文理解和推理能力有限，AI程序員在理解和處理復(fù)雜的上下文情境時存在局限，它們可能無法準(zhǔn)確理解人類的意圖和特定領(lǐng)域的知識。數(shù)據(jù)依賴性和泛化能力也是它的缺點(diǎn)，AI程序員的性能和效果受限于訓(xùn)練數(shù)據(jù)的質(zhì)量和覆蓋范圍，在面對新領(lǐng)域或新場景時，它們的泛化能力可能不足。
積極一面，AI程序員的自動化程度將進(jìn)一步提升，其可解釋性和透明性也將得到增強(qiáng)。這將有助于程序員和相關(guān)利益方更好地理解和控制AI程序員的行為，提高代碼的可靠性和安全性。同時，AI程序員和人類程序員將形成互補(bǔ)的合作關(guān)系，共同創(chuàng)造出更加高效、智能和創(chuàng)新的軟件解決方案。在這個過程中，程序員需要適應(yīng)變化，通過不斷學(xué)習(xí)、提升技能和創(chuàng)新思維，與AI程序員形成合作共贏的關(guān)系。這樣，我們才能在AI時代中立足并發(fā)揮重要作用，共同迎接人工智能時代的到來。（END）
參考資料：
1.https://news.opensauced.pizza/open-source-projects-that-are-gaining-steam-that-you-havent-heard-of/
