年底國內(nèi)各個(gè)AI玩家殺瘋了，前兩天完全開源的Deepseek R1 震撼整個(gè)AI業(yè)界，今天字節(jié)又聯(lián)合清華整活，一個(gè)強(qiáng)大的原生的開源 AI Agent UI-TARS震撼上線

看了UI-TARS的論文，我給大家劃劃重點(diǎn)

【純視覺感知】：告別文本依賴，像人眼一樣“看”懂GUI！

傳統(tǒng)的GUI自動(dòng)化方案，很多都依賴于解析網(wǎng)頁代碼（HTML）或者軟件的API接口。但這種方式有兩個(gè)致命缺陷：一是平臺(tái)限制，不同平臺(tái)、不同軟件的底層代碼和API都不一樣，導(dǎo)致自動(dòng)化方案難以通用；二是容易失效，一旦網(wǎng)頁或軟件界面改版，代碼或API接口變動(dòng)，自動(dòng)化腳本就可能直接崩潰。

而 UI-TARS 徹底拋棄了這些“拐杖”，它就像人類一樣， 直接“看”屏幕截圖 來理解GUI界面！這聽起來很簡單，但背后卻蘊(yùn)含著巨大的技術(shù)突破！想象一下，我們?nèi)祟惒僮麟娔X，難道是先去解析軟件的代碼嗎？當(dāng)然不是！我們直接看屏幕上的按鈕、圖標(biāo)、文字，就能理解界面的布局和功能，并做出相應(yīng)的操作。 UI-TARS 正是模擬了人類這種最自然的GUI交互方式！

這種 純視覺感知 的優(yōu)勢是顯而易見的： 無需API，無需解析代碼，天然跨平臺(tái)！ 無論是Windows、macOS、Android、iOS，甚至是各種網(wǎng)頁應(yīng)用， UI-TARS 都能輕松應(yīng)對(duì)！ 這才是真正的 通用GUI自動(dòng)化！

【端到端架構(gòu)】：感知、推理、動(dòng)作一體化，更智能高效！

傳統(tǒng)的智能體框架，往往將感知、推理、動(dòng)作等模塊 割裂開來，導(dǎo)致信息傳遞效率低下，模塊之間容易出現(xiàn)脫節(jié)。就像組裝電腦，各個(gè)零件性能再好，如果主板不行，整體性能也會(huì)大打折扣。

UI-TARS 采用了 【端到端】 的架構(gòu)，將感知、推理、記憶、動(dòng)作 【融為一體】！就像一個(gè) 大腦 一樣，信息在各個(gè)模塊之間 無縫流動(dòng)， 協(xié)同工作， 從而實(shí)現(xiàn)更高效、更智能的決策和執(zhí)行。這種架構(gòu)不僅提升了運(yùn)行效率，也為后續(xù)的 自學(xué)習(xí)和進(jìn)化 奠定了堅(jiān)實(shí)的基礎(chǔ)

【系統(tǒng)2推理】：從“快思考”到“慢思考”，應(yīng)對(duì)復(fù)雜任務(wù)游刃有余！

我們?nèi)祟惖乃伎挤绞?，分為“快思考”和“慢思考”兩種模式?！翱焖伎肌?依賴直覺和經(jīng)驗(yàn)，快速做出反應(yīng)，適合處理簡單、重復(fù)的任務(wù)；“慢思考” 則更加理性、深入，需要進(jìn)行邏輯分析和規(guī)劃，適合處理復(fù)雜、需要策略的任務(wù)

傳統(tǒng)的自動(dòng)化方案，往往只能進(jìn)行 “快思考”， 處理一些簡單的點(diǎn)擊、輸入操作還可以，但面對(duì)復(fù)雜的、需要多步驟、多策略的任務(wù)就束手無策了

UI-TARS 創(chuàng)新性地引入了 【系統(tǒng)2推理】 機(jī)制，使其兼具 “快思考” 和 “慢思考” 兩種能力！** 面對(duì)簡單任務(wù)， UI-TARS可以像 “快思考” 一樣， 快速響應(yīng)，高效執(zhí)行；面對(duì)復(fù)雜任務(wù)， UI-TARS 則會(huì)切換到 “慢思考” 模式，進(jìn)行 任務(wù)分解、長期規(guī)劃、試錯(cuò)反思， 從而 更可靠、更智能地完成任務(wù)！這種 “快慢結(jié)合” 的推理能力， 才是 UI-TARS 能夠應(yīng)對(duì)各種復(fù)雜GUI場景的關(guān)鍵所在！

【迭代自學(xué)習(xí)】：越用越聰明，持續(xù)進(jìn)化！

傳統(tǒng)的自動(dòng)化方案，一旦開發(fā)完成，就很難再進(jìn)化升級(jí)，只能被動(dòng)地等待開發(fā)者更新。就像買了一臺(tái)固定配置的電腦，用久了就會(huì)落伍。UI-TARS 具備 【迭代自學(xué)習(xí)】 能力， 能夠像 【生命體】 一樣， 在 【真實(shí)世界】 中不斷學(xué)習(xí)和進(jìn)化！它可以通過 在線收集用戶交互數(shù)據(jù)， 過濾掉噪聲數(shù)據(jù)， 提煉出高質(zhì)量的訓(xùn)練樣本， 然后 反思自身的錯(cuò)誤， 不斷優(yōu)化模型參數(shù)， 提升自身性能！ 越用越聰明， 越用越強(qiáng)大！

可能有些朋友看到這里會(huì)覺得有點(diǎn)抽象， UI-TARS 到底有多厲害？我們還是用 【硬核數(shù)據(jù)】 說話！

在【GUI智能體領(lǐng)域最權(quán)威的基準(zhǔn)測試】 中， UI-TARS 的表現(xiàn)簡直可以用 【炸裂】 來形容！

? 【10+項(xiàng)基準(zhǔn)測試 全面 SOTA】！在 感知、Grounding、GUI任務(wù)執(zhí)行 等 超過10項(xiàng)關(guān)鍵指標(biāo)的測試中， UI-TARS 全面超越所有現(xiàn)有模型， 霸榜 SOTA 榜單！

? 【OSWorld 挑戰(zhàn)賽 實(shí)力碾壓 商業(yè)巨頭】！【OSWorld】 被譽(yù)為 GUI智能體的 “世界杯”， 難度極高， 競爭激烈！在這個(gè)頂級(jí)賽事中， UI-TARS 更是 技驚四座， 力壓 Claude 和 GPT-4o 等 商業(yè)巨頭

? 【AndroidWorld 移動(dòng)端 同樣驚艷 遠(yuǎn)超 GPT-4o】！不僅在桌面端表現(xiàn)出色， UI-TARS 在 【移動(dòng)端 基準(zhǔn)測試 AndroidWorld】中， 同樣 驚艷四座， 大幅領(lǐng)先 GPT-4o！

寫在最后：

UI-TARS，這是一種原生的 GUI 智能體模型，它將感知、動(dòng)作、推理和記憶集成到一個(gè)可擴(kuò)展且適應(yīng)性強(qiáng)的框架中。在諸如 OSWorld 之類的具有挑戰(zhàn)性的基準(zhǔn)測試中取得了最先進(jìn)的性能，UI-TARS 的性能超越了 Claude 和 GPT-4o 等現(xiàn)有系統(tǒng)。提出了幾項(xiàng)創(chuàng)新，包括增強(qiáng)的感知、統(tǒng)一的動(dòng)作建模、系統(tǒng) 2 推理和使用在線軌跡的迭代改進(jìn)，所有這些都使智能體能夠有效地處理復(fù)雜 GUI 任務(wù)，而只需最少的人工監(jiān)督

原生智能體模型的核心能力，包括感知、動(dòng)作、推理和記憶，這些能力構(gòu)成了 GUI 智能體未來發(fā)展的基石。雖然原生智能體代表著向前邁出的重要一步，但未來在于主動(dòng)和終身學(xué)習(xí)的整合，在這種學(xué)習(xí)中，智能體自主地通過持續(xù)的真實(shí)世界交互來驅(qū)動(dòng)自己的學(xué)習(xí)

飛書中文部署文檔：

https://bytedance.sg.larkoffice.com/docx/TCcudYwyIox5vyxiSDLlgIsTgWf

體驗(yàn)：

https://huggingface.co/spaces/Aheader/gui_test_app

paper：

https://arxiv.org/abs/2501.12326

github：

https://github.com/bytedance/UI-TARS