Anthropic深夜發(fā)布重大更新：升級版Claude 3.5 Sonnet、新型號Claude 3.5 Haiku以及超級Agent：computer use。

新的Computer Use可能是迄今為止最先進(jìn)的 AI Agent之一，它可以像人類一樣使用計(jì)算機(jī)——查看屏幕、移動(dòng)光標(biāo)、點(diǎn)擊和輸入文本。通過 API，開發(fā)者可以讓 Claude 將指令翻譯成計(jì)算機(jī)指令，從而解放一些枯燥的重復(fù)性流程任務(wù)。

像人類一樣感知環(huán)境、規(guī)劃任務(wù)、執(zhí)行動(dòng)作（如使用工具/軟件），最終完成特定任務(wù)，是人工智能行業(yè)的下一個(gè)前沿發(fā)展方向，也是邁向通用人工智能（AGI）、超級智能（Super Intelligence）的必由之路。

Claude 3.5 Sonnet能力怎么樣

編程能力顯著提升，SWE-bench 測試從 33.4% 提升到 49.0%, 超過所有公開模型) ，在零售領(lǐng)域的 TAU-bench 測試中，其表現(xiàn)從 62.6% 提升到 69.2%，在難度更高的航空領(lǐng)域測試中也從 36.0% 提升至 46.0%。工具使用能力增強(qiáng) ，價(jià)格和速度維持不變：

圖片

圖片

如何使用Anthropic 的 Computer use

開發(fā)人員可以通過 Anthropic 的 API、 Amazon Bedrock 和 Google Cloud 的 Vertex AI 平臺(tái)試用Computer Use 。

圖片

基于Computer use的示例

功能特性解析：

Claude 模型通過 API 實(shí)現(xiàn)了令人驚嘆的像人一樣操作電腦的能力。它能夠觀看屏幕截圖，精準(zhǔn)地移動(dòng)光標(biāo)，在需要的位置點(diǎn)擊按鈕，還能使用虛擬鍵盤輸入文本。這種操作方式真正模擬了人類與計(jì)算機(jī)交互的方式，讓 AI 助手不再局限于專門定制的工具，而是可以直接使用為人類設(shè)計(jì)的各類軟件。

例如，在多個(gè)演示視頻中，Claude 可以絲滑地執(zhí)行打開軟件、網(wǎng)頁搜索、文本輸入、編寫代碼、下載文件、debug、查找網(wǎng)頁表格并填入信息等任務(wù)。

圖片

實(shí)驗(yàn)階段表現(xiàn)：

    目前，Anthropic 的 Computer use 功能處于實(shí)驗(yàn)階段，確實(shí)存在一些不足之處。操作速度較慢，一些簡單的操作如滾動(dòng)、拖拽和縮放等，對Claude 來說仍具有相當(dāng)?shù)奶魬?zhàn)性。

    在基準(zhǔn)測試中，Claude 在 OSWorld 電腦操作評估測試中獲得了 14.9% 的成績，遠(yuǎn)超其他 AI 模型的 7.8% 最高分，但與人類的 70 - 75% 的水平相比仍有相當(dāng)大的差距。當(dāng)用戶提供更多完成任務(wù)所需的步驟時(shí)，Claude 的得分可以提升到 22.0%。

開發(fā)者反饋與未來展望

官方提前發(fā)布這項(xiàng)功能，是為了獲取開發(fā)者的反饋。隨著開發(fā)者的積極參與，預(yù)計(jì)這一功能將隨著時(shí)間逐漸改進(jìn)。未來，Computer use 功能有望變得更快、更可靠、更容易使用。Anthropic 可能會(huì)進(jìn)一步優(yōu)化 Claude 的操作速度，減少錯(cuò)誤的發(fā)生。

同時(shí)，可能會(huì)通過更多的訓(xùn)練和優(yōu)化，讓 Claude 在處理復(fù)雜任務(wù)時(shí)更加得心應(yīng)手，逐漸接近人類的操作水平。例如，在處理一些需要快速響應(yīng)的任務(wù)時(shí)，Claude 可能會(huì)更加高效地移動(dòng)光標(biāo)、點(diǎn)擊按鈕和輸入文本。此外，隨著技術(shù)的不斷進(jìn)步，可能會(huì)有更多的軟件和工具被 Claude 熟練掌握，為用戶提供更加豐富和便捷的服務(wù)。

如果對內(nèi)容有什么疑問和建議可以私信和留言，也可以添加我加入大模型交流群，一起討論大模型在創(chuàng)作、RAG和agent中的應(yīng)用。