AI像人一樣操作電腦，已然成為下一個前沿。

兩天前，Anthropic進化版Claude 3.5 Sonnet首次實現(xiàn)自主操控電腦屏幕、移動光標、完成任務，驚艷了所有人。

當時，Anthropic開發(fā)者關系負責人稱，「『計算機使用』是萬能的API，它代表著全新人機交互范式的第一步」。

拿到測試資格的網(wǎng)友們，瘋狂體驗了這項「超能力」。

甚至，就連初創(chuàng)公司CEO對此贊不絕口，AI智能體已經(jīng)來臨，你現(xiàn)在可以建立AI軍隊為你工作。

在Anthropic加速布局智能體未來同時，OpenAI似乎也感受到了緊迫感。外媒最新爆料稱，OpenAI內(nèi)部正開發(fā)新品來自動化復雜的軟件編程任務。

恰在昨天，OpenAI研究科學家、德?lián)渲冈赥ED活動中表示，「自己對構建o1失去信心，正在OpenAI組建多智能體團隊」。

這意味著，一場全新的競賽即將開始，AI不再僅僅是對話生成，而應該去執(zhí)行和操作。

Claude接管人類電腦，科研求職編碼一鍵通

那些上手Claude計算機使用能力的開發(fā)者們，根本停不下來創(chuàng)作。

從復雜的編碼任務到深入研究，再到收集 「零散」的信息，許多令人驚嘆的典型案例誕生了。

畢竟是自家首發(fā)的，Anthropic開發(fā)者關系負責人Alex Albert先了打個樣。

他先用Claude計算機和bash工具，在線下載一個隨機數(shù)據(jù)集，然后安裝sklearn，在數(shù)據(jù)集上訓練一個簡單的分類器。

最后，在網(wǎng)頁上就得到了分類器結(jié)果。

這些過程，不到5分鐘的時間就完成了。

其中用到的提示，他也貢獻出來了：

Go to https://data.gov, find an interesting recent dataset, and download it. Install sklearn with bash tool write a .py file to split the data into train and test and make a classifier for it. (you may need to inspect the data and/or iterate if this goes poorly at first, but don't get discouraged!). Come up with some way to visualize the results of your classifier in the browser.

一位開發(fā)者已經(jīng)開始讓Claude幫自己自主做科研了。

驗證「你是不是人」，Claude可以代勞了。

想要Claude控制你的電腦，只需要：

pip install open-interpreter
interpreter --os

搜索YouTube視頻，并跳過廣告。

Claude一頓操作猛如虎，以后視頻內(nèi)置廣告，通通交給它了。

打工人求職申請表填寫，Claude也能勝任。這不，下面這位開發(fā)者小哥已經(jīng)讓AI自動申請Anthropic職位了。

進化版（左）和舊版（右）Claude 3.5 Sonnet在「我的世界」中構建的樣子，令人印象深刻。

新升級后的Claude 3.5 Sonnet將如何影響「多智能體社會」的進步？

智能體研究初創(chuàng)公司Altera Al給出了答案，新模型是對長時間自主性的最大升級。我們的25個智能體在「我的世界」中合作，在20分鐘內(nèi)收集了超過40%的不同物品。

分析工具

順便提一句，Claude今天還重磅推出了可以編寫和運行代碼「分析工具」，為1024開發(fā)者們送上大福利。

目前，這一功能已在Claude中上線。

假設讓Claude繪制銷售渠道進展的直觀圖，它能自主分析數(shù)據(jù)寫代碼，并給出要求的可視化圖。

然后，你可以在Artifacts中，可以詳細查看細分項的數(shù)據(jù)。

AI智能體競賽打響，Anthropic搶跑

雖然計算機使用工具并不完美，但它代表了Anthropic在AI中的一種愿景：

讓Claude像人一樣，看懂屏幕自主操作現(xiàn)有軟件，完成各種復雜的任務。

這項能力背后的工作原理是：Claude先對屏幕截圖，確定需要采取的行動，然后執(zhí)行這些行行動。然后，再次截圖決定下一步應該做什么。

暢想一下，如果智能體能夠直接查看屏幕內(nèi)容而無需依賴輔助功能，或查看底層代碼的AI軟件，可能會開啟大量新機遇。

比如，當你搭建網(wǎng)站時，如果按鈕中的文字意外超出按鈕邊界，AI智能直接看到后修復了這個問題，就省去了查看底層代碼倒推步驟。

再舉個栗子，當前網(wǎng)站制作者，已經(jīng)非常巧妙地隱藏網(wǎng)站上廣告的HTML代碼。

這使得基于AI的廣告攔截軟件更難分析代碼，并確定需要刪除什么來去除廣告。

但是，能夠直接看到廣告本身的「計算機使用智能體」會發(fā)現(xiàn)這項任務容易得多。

不過，這項技術帶來弊端首先是「截圖操作」成本太高，而且AI往往會假設它的操作已經(jīng)成功執(zhí)行。

「當它獲取新的截圖時，它已經(jīng)不知道自己在操作流程中處于哪個階段了」

另一方面，就是隱私問題了。

此前，已經(jīng)有公司禁止員工使用ChatGPT、GitHub Copilot等編程工具，害怕不小心向模型開發(fā)商泄露專有信息或代碼。

OpenAI急了，加碼AI年底上新

在勁敵Anthropic連連發(fā)布重壓下，OpenAI其實早已開啟了新的布局。

還記得幾天前，Sam Altman突然冒泡，「下個月是ChatGPT的第二個生日，我們應該送它什么生日禮物呢」？

當時，一大波網(wǎng)友寫下自己的愿望清單。

就在剛剛，有一條被傳瘋了的報道稱，OpenAI計劃在12月，解禁新一代大模型，代號為Orion。

根據(jù)爆料，Orion將使用o1合成的數(shù)據(jù)進行訓練，并會在ChatGPT兩周年前后發(fā)布。

但與GPT-4o和o1不同的是，它最初不會通過ChatGPT上線，而是先授予與OpenAI密切合作的公司訪問權限（比如微軟），方便他們構建自己的產(chǎn)品和功能。

不過，網(wǎng)友們的「美夢」還沒做多久，Altman就站出來辟謠了：通通都是fake news！

在軟件開發(fā)上，OpenAI目前正在開發(fā)多個產(chǎn)品和功能：

一部分簡化在Microsoft Visual Studio Code等主流代碼編輯器中使用OpenAI的AI進行開發(fā)的流程；

另一部分則著眼于處理更復雜的軟件開發(fā)任務。

知情人士透露，OpenAI這款產(chǎn)品能夠處理原本需要人類耗時數(shù)小時乃至數(shù)天的軟件工程任務，還能據(jù)客戶的指令自動編寫和執(zhí)行復雜應用程序的代碼。

不過，具體發(fā)布時間還未確定。

畢竟，代碼開發(fā)是OpenAI大語言模型的早期應用場景之一，主要是因為AI生成的代碼可以快速驗證其可用性。

2021年開始，微軟GitHub團隊利用OpenAI大模型推出AI Copilot，為程序員提供實時代碼建議。

緊接著，ChatGPT在22年年底面世，提供一個更加易用、免費的替代方案，迅速走紅。

隨后，OpenAI成功說服數(shù)百萬程序員付費使用「升級版」ChatGPT。

他們可以比GitHub Copilot更早體驗升級版LLM，并能通過對話式指令處理各類開發(fā)任務。正因此，報道稱這些功能讓OpenAI相關訂閱產(chǎn)品的年收入有望達到約30億美金。

在智能體布局方面，OpenAI內(nèi)部正組建一支多智能體團隊，下一步可能傾向于智能體領域。

前段時間，他們發(fā)布的多智能體框架Swarm，也是引發(fā)了AI社區(qū)的關注。

內(nèi)部研究助手

據(jù)透露，OpenAI已經(jīng)開發(fā)出了一款能夠幫助提升工作效率的「內(nèi)部研究助手」，并且獲得了研究人員的一致好評。

其中的功能，就包括為AI模型相關的實驗生成代碼。

這款內(nèi)部工具似乎是朝著開發(fā)能夠自主進行AI研究的系統(tǒng)邁出的一步——這種能力不但需要編程技能，而且還需要具備為新實驗提出想法和腦洞等能力。

OpenAI的領導層已公開表示，這一目標可能會在未來幾年內(nèi)實現(xiàn)。

另外，知情人士透露，OpenAI正在考慮開發(fā)升級版Canvas，這是一款對標Anthropic Artifacts的工具。

它能夠?qū)崿F(xiàn)和ChatGPT對話同時，在新的畫布中協(xié)作，不論是編程還是創(chuàng)作，皆可互動。

就代碼方面，在Canvas中用戶能夠讓AI一鍵審查代碼、修改bug等，幫助理解現(xiàn)有的代碼基礎和項目類型。

不過，他們還需要進行將代碼復制粘貼到chatbot中，這一繁瑣操作。

OpenAI所希望的是，能夠推出更通用的AI智能體，類似于Anthropic發(fā)布「計算機使用智能體」，可以接管人類電腦處理代碼以外更廣泛的任務。

目前，OpenAI已在內(nèi)部展示了一個AI智能體的初步版本，能夠通過用戶的計算機完成在線訂餐等任務。

其實，Claude已經(jīng)實現(xiàn)了在線點餐的能力

當遇到編程或應用開發(fā)難題時，這個AI智能體還能夠自動查詢網(wǎng)絡資源尋求解決方案。

如今在AI編程領域，OpenAI已處于守勢，曾經(jīng)獨占鰲頭的局勢正在改變。

現(xiàn)在，面對這個最危險的競爭對手Anthropic，它確實該做點什么了...