開源大模型AI代理操作系統(tǒng)：像Windos一樣，操控AI代理
本文經(jīng)AIGC開放社區(qū) 授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。
去年，AutoGPT的出現(xiàn)讓我們見識到了AI代理強大的自動化能力，并開創(chuàng)了一個全新的AI代理賽道。但在子任務(wù)調(diào)度、資源分配以及AI之間協(xié)作還有不少的難題。
因此，羅格斯大學的研究人員開源了AIOS，這是一種以大模型為核心的AI代理操作系統(tǒng)?？捎行Ы饪蓻Q隨著AI代理的增加，資源調(diào)用率低的難題，同時能促進代理之間的上下文切換、實現(xiàn)并發(fā)執(zhí)行代理并維護代理的訪問控制。
開源地址：https://github.com/agiresearch/AIOS
論文地址：https://arxiv.org/abs/2403.16971
AIOS的架構(gòu)和我們使用的PC操作系統(tǒng)差不多，主要分為應(yīng)用層、內(nèi)核層和硬件層三大塊。唯一不同的是，AIOS在內(nèi)核層中構(gòu)建了一個專門管理與大模型相關(guān)任務(wù)的內(nèi)核管理器。
應(yīng)用層，主要由代理應(yīng)用程序構(gòu)成(例如，旅行代理、數(shù)學代理、代碼代理等)；內(nèi)核層由傳統(tǒng)OS系統(tǒng)和大模型相結(jié)合開發(fā)，OS系統(tǒng)主要用于文件管理，大模型則用于AI代理的調(diào)度和管理；
硬件層由CPU、GPU、內(nèi)存和外設(shè)等硬件設(shè)備構(gòu)成，但是大模型的內(nèi)核無法與硬件直接交互，而是通過內(nèi)核層提供的調(diào)用來間接管理硬件資源,以確保系統(tǒng)完整性和效率。
AI代理調(diào)度器
AI代理調(diào)度器主要負責對大模型的代理請求進行合理調(diào)度和優(yōu)化,以充分利用大模型的計算資源。當多個代理同時向大模型發(fā)起請求時,調(diào)度器需根據(jù)特定調(diào)度算法對請求進行排序,避免單一代理長時間占用大模型而導致其他代理長時間等待。
此外，AIOS的設(shè)計還支持更復雜的調(diào)度策略,例如，考慮代理請求間的依賴關(guān)系,以實現(xiàn)更優(yōu)化的資源分配。
在沒有調(diào)度指令時,代理需按順序逐一執(zhí)行任務(wù),后續(xù)代理需等待較長時間;而采用調(diào)度算法后,各代理的請求能夠交錯并行執(zhí)行,顯著降低了整體等待時間和響應(yīng)延遲。
上下文管理器
由于大模型生成過程普遍采用Beam Search等啟發(fā)式搜索,會逐步構(gòu)建搜索樹并評估不同路徑最終給出結(jié)果。
但在生成過程中大模型若被調(diào)度器中斷，為避免所有中間狀態(tài)丟失而浪費之前的計算,上下文管理器會對當前的Beam Search樹狀態(tài)(包括各路徑概率等)進行快照保存。
當大模型重新獲得執(zhí)行資源后,上下文管理器能夠準確地從中斷處恢復之前的Beam Search狀態(tài),繼續(xù)生成剩余部分,確保最終結(jié)果的完整性和準確性。
此外，多數(shù)大模型存在上下文長度限制,而實際場景中的輸入上下文往往會超出該限制。為解決這一難題,上下文管理器集成了文本摘要等功能,能夠?qū)^長的上下文進行壓縮或分塊處理,使大模型能夠高效理解并處理長上下文信息。
內(nèi)存管理器
內(nèi)存管理器主要負責管理短期內(nèi)存資源,為每個AI代理的交互日志和中間數(shù)據(jù)提供高效的臨時存儲。
當AI代理處于等待執(zhí)行或正在運行狀態(tài)時,其所需的數(shù)據(jù)將被保存在由內(nèi)存管理器分配的內(nèi)存塊中。一旦代理任務(wù)結(jié)束,相應(yīng)的內(nèi)存塊也會被系統(tǒng)回收,以確保內(nèi)存資源的高效利用。
AIOS會為每個AI代理分配獨立的內(nèi)存,并通過訪問管理器來實現(xiàn)不同代理之間內(nèi)存隔離。未來，AIOS會引入更復雜的內(nèi)存共享機制和層級緩存策略,以進一步優(yōu)化AI代理的整體性能。
