前段時(shí)間，英偉達(dá) CEO 黃院士發(fā)出驚人言論：「都別學(xué)編程了，以后交給 AI 就行了，以后人人都是軟件工程師?！巩?dāng)時(shí)還有很多人反對(duì)，說(shuō)「AI 永遠(yuǎn)不會(huì)取代程序員?！箾](méi)想到，首個(gè)人工智能軟件工程師 Devin 一發(fā)布，程序員的飯碗可能真要被 AI 端走了。

在 SWE-Bench 基礎(chǔ)測(cè)試中，無(wú)需人類協(xié)助，Devin 就可以解決 13.86% 的問(wèn)題。而目前的 SOTA 模型，在沒(méi)有人類幫忙的情況下，只能完成 1.96% 的任務(wù)。

僅從評(píng)測(cè)結(jié)果看，Devin 解決真實(shí)世界軟件問(wèn)題的能力要遠(yuǎn)好于當(dāng)前的 GPT-4 和 Claude 等模型。

官方發(fā)的推特說(shuō)，Devin 不僅通過(guò)了一家業(yè)內(nèi)領(lǐng)先的人工智能公司的面試，在自由職業(yè)平臺(tái) Upwork 上也能成功接單，完成單主要求的工作。也就是說(shuō)，Devin 不僅是橫掃基礎(chǔ)測(cè)試的「做題家」，在就業(yè)市場(chǎng)里也有人為它的工作能力買(mǎi)賬。

難道繼 Sora 讓「現(xiàn)實(shí)世界」不存在了之后，Devin 也要讓「軟件工程」不存在了嗎？

Devin 現(xiàn)在還未對(duì)外開(kāi)放，但已經(jīng)有開(kāi)發(fā)人員和產(chǎn)品人員用上了。測(cè)試過(guò)的網(wǎng)友表示，以前一直用人工智能輔助編碼，但一直失敗。直到昨天，他給 Devin 了一個(gè)簡(jiǎn)單的 HTML 頁(yè)面，讓它提取選擇器，這個(gè) GPT-4-turbo 、Claude、Groq 、LLama2 都沒(méi)完成的任務(wù)，Devin 只用了大約 10 秒就搞定了。

源自 https://news.ycombinator.com/item?id=39679787

Devin 的評(píng)論區(qū)的畫(huà)風(fēng)，也是哀嚎一片：

當(dāng)然，對(duì)這種說(shuō)法，也有網(wǎng)友并不買(mǎi)賬，認(rèn)為這是夸大宣傳。

所以，這位來(lái)?yè)尦绦騿T「飯碗」的 AI 軟件工程師的本事到底有多大呢？

首位 AI 軟件工程師

真要搶程序員飯碗？

要知道，雖然現(xiàn)在市面上的一系列大模型都有編程能力，但大多數(shù)都采用了單行代碼補(bǔ)全或者單個(gè)函數(shù)生成的方式。想生成完整的程序，還需要設(shè)計(jì) prompt 逐步「調(diào)教」。

而對(duì) Devin 來(lái)說(shuō)，你只需要向它提要求，坐等其成就可以了。

Devin 配備了包括 shell、代碼編輯器和瀏覽器在內(nèi)的常見(jiàn)開(kāi)發(fā)工具，這些都在一個(gè)沙盒化的計(jì)算環(huán)境中 —— 這些都是人類軟件工程師完成工作所需的一切。

根據(jù)自然語(yǔ)言提示自動(dòng)寫(xiě)代碼、生成完整的程序并上線只是 Devin 的基操，它可以自動(dòng)規(guī)劃并執(zhí)行需要數(shù)千個(gè)決策的復(fù)雜任務(wù)。

例如請(qǐng)它在幾個(gè)不同的 API 上對(duì) Llama 的表現(xiàn)進(jìn)行基礎(chǔ)測(cè)試，它首先制定了一個(gè)逐步解決問(wèn)題的計(jì)劃：

在完成項(xiàng)目的過(guò)程中，它使用了瀏覽器為 API 留檔，以便它可以閱讀并學(xué)習(xí)如何插入這些 API：

遇到意外的錯(cuò)誤時(shí)，Devin 決定先「print」出來(lái)，再根據(jù)日志中的錯(cuò)誤決定如何修復(fù) bug：

最后，它為你構(gòu)建了一個(gè)完整的可視化網(wǎng)站：

Devin 能自動(dòng)完成如此復(fù)雜的規(guī)劃，得益于其背后的 Cognition AI 在長(zhǎng)期推理和規(guī)劃方面的進(jìn)展，這使它能夠在每一步回憶相關(guān)的上下文，隨時(shí)間學(xué)習(xí)，并修復(fù)錯(cuò)誤。

Devin 擁有積極的協(xié)作的能力，它能實(shí)時(shí)報(bào)告進(jìn)度，接受反饋，并根據(jù)需要調(diào)整，還能適應(yīng)成熟的代碼庫(kù)，修改前輩留下的 bug。

自主學(xué)習(xí)，從完全陌生的知識(shí)學(xué)習(xí)使用不熟悉的技術(shù)，也是 Devin 所擅長(zhǎng)的。

你給它一篇新博客，講的是如何運(yùn)行 ControlNet on Modal，生成帶文字的圖像：

它不僅能迅速?gòu)闹袑W(xué)會(huì)所需的代碼，沒(méi)過(guò)兩秒，工作就自動(dòng)幫你完成了：

在 Upwork 接的單里，Devin 被要求編寫(xiě)并調(diào)試運(yùn)行計(jì)算機(jī)視覺(jué)模型的代碼。

Devin 甚至能夠訓(xùn)練和微調(diào)自己的 AI 模型，看來(lái) AI 的生命快要在此刻完成閉環(huán)了。僅通過(guò)一個(gè) GitHub 倉(cāng)庫(kù)的鏈接，Devin 就微調(diào)了一個(gè)大型語(yǔ)言模型。

總體來(lái)看，與其他具有編程能力的大模型，Devin 不僅輔助編程或提供代碼片段，它能夠獨(dú)立支持一整個(gè)項(xiàng)目，而不僅僅是輔助或提供代碼片段的建議。相比于「副駕駛」的角色，Devin 更接近于一個(gè)獨(dú)立工作者。而 Cognition AI 聲稱 Devin 實(shí)現(xiàn)了在 AI 領(lǐng)域被稱為「理解」的突破，這意味著它能夠不僅是在預(yù)測(cè)下一個(gè)單詞或代碼行應(yīng)該輸出什么，而是更像在思考如何解決問(wèn)題的總體方法。

而 Devin 的技術(shù)路徑，CognitionAI 并還未公開(kāi)，只是簡(jiǎn)要地提到，Cognition AI 的團(tuán)隊(duì)發(fā)現(xiàn)了將大型語(yǔ)言模型（LLM）如 OpenAI 的 GPT-4 與強(qiáng)化學(xué)習(xí)技術(shù)結(jié)合的獨(dú)特方法。這種方法可能是他們技術(shù)突破的關(guān)鍵點(diǎn)。

看到 Devin 的 Demo 后，剛從 OpenAI 離職的 AI 大牛 Andrej Karpathy 發(fā)表了一些獨(dú)到的見(jiàn)解。在他看來(lái)，自動(dòng)化軟件工程的發(fā)展將類似于自動(dòng)化駕駛，是一個(gè)人工智能做的越來(lái)越多，而人類的工作越來(lái)越少，但仍提供監(jiān)督的過(guò)程。

Devin 可能是通向未來(lái)，人類在更高層級(jí)進(jìn)行抽象監(jiān)督的過(guò)程中一環(huán)，在這個(gè)過(guò)程中仍有很多問(wèn)題需要解決。例如，人工智能部分以及用戶界面 / 用戶體驗(yàn)部分都有很多工作要做。人類如何提供監(jiān)督他們?nèi)绾我龑?dǎo)人工智能走向不同的路徑？他們?nèi)绾握{(diào)試出錯(cuò)的地方？代碼編輯器的設(shè)計(jì)有可能需要大幅改變。

CognitionAI 簡(jiǎn)介

整個(gè) Cognition AI 團(tuán)隊(duì)由 10 人組成，包括獲得過(guò) 10 枚國(guó)際比賽金牌的運(yùn)動(dòng)編碼者。

不少網(wǎng)友感嘆，這太瘋狂了。

這支團(tuán)隊(duì)的成員在編程競(jìng)賽中獲得的成就和對(duì)問(wèn)題解決的獨(dú)特方法。其中三位創(chuàng)始人信息如下：

從左到右分別為 Steven Hao、Scott Wu、Walden Yan，圖源：https://www.bloomberg.com/news/articles/2024-03-12/cognition-ai-is-a-peter-thiel-backed-coding-assistant

Scott Wu - 首席執(zhí)行官 (CEO)：Scott 是團(tuán)隊(duì)的領(lǐng)導(dǎo)者，和他的兄弟 Neal Wu 一起，自青少年時(shí)期就開(kāi)始參加并經(jīng)常獲勝于國(guó)際編程比賽，曾連續(xù)三年攬獲 IOI 金牌，這些比賽提升了他們的編程能力。Scott 的背景和對(duì)算法問(wèn)題的深入理解為 Cognition AI 的開(kāi)發(fā)提供了獨(dú)特的視角。

Scott Wu 曾連續(xù)三年獲得 IOI 金牌

Steven Hao - 首席技術(shù)官 (CTO)：Steven之前是Scale AI的頂尖工程師，Scale AI是一家估值很高的初創(chuàng)公司，專注于幫助訓(xùn)練AI系統(tǒng)。

Walden Yan - 首席產(chǎn)品官 (CPO)：Walden 直到最近還在哈佛大學(xué)上學(xué)，他請(qǐng)求將他在學(xué)校的狀態(tài)留作模糊，大概率是想「輟學(xué)創(chuàng)業(yè)」。

Walden Yan 在哈佛就讀期間，曾在一年級(jí)時(shí)獲得第 32 屆 IOI 金牌

除了這三位核心成員，還有一位 Neal Wu，他是 Scott Wu 的兄弟，他也在 Cognition AI 工作。Wu 兄弟因其編程才華在全球范圍內(nèi)享有盛譽(yù)，他們自青少年時(shí)期起就在國(guó)際編碼比賽中競(jìng)爭(zhēng)并常獲勝利，這些比賽經(jīng)驗(yàn)幫助他們?cè)诰幊毯徒鉀Q問(wèn)題方面擁有獨(dú)特的方法。