去年，AutoGPT的出現(xiàn)讓我們見識(shí)到了AI代理強(qiáng)大的自動(dòng)化能力，并開創(chuàng)了一個(gè)全新的AI代理賽道。但在子任務(wù)調(diào)度、資源分配以及AI之間協(xié)作還有不少的難題。

因此，羅格斯大學(xué)的研究人員開源了AIOS，這是一種以大模型為核心的AI代理操作系統(tǒng)。

可有效解可決隨著AI代理的增加，資源調(diào)用率低的難題，同時(shí)能促進(jìn)代理之間的上下文切換、實(shí)現(xiàn)并發(fā)執(zhí)行代理并維護(hù)代理的訪問控制。

開源地址：https://github.com/agiresearch/AIOS

論文地址：https://arxiv.org/abs/2403.16971

AIOS的架構(gòu)和我們使用的PC操作系統(tǒng)差不多，主要分為應(yīng)用層、內(nèi)核層和硬件層三大塊。唯一不同的是，AIOS在內(nèi)核層中構(gòu)建了一個(gè)專門管理與大模型相關(guān)任務(wù)的內(nèi)核管理器。

應(yīng)用層，主要由代理應(yīng)用程序構(gòu)成(例如，旅行代理、數(shù)學(xué)代理、代碼代理等)；內(nèi)核層由傳統(tǒng)OS系統(tǒng)和大模型相結(jié)合開發(fā)，OS系統(tǒng)主要用于文件管理，大模型則用于AI代理的調(diào)度和管理；

硬件層由CPU、GPU、內(nèi)存和外設(shè)等硬件設(shè)備構(gòu)成，但是大模型的內(nèi)核無(wú)法與硬件直接交互，而是通過(guò)內(nèi)核層提供的調(diào)用來(lái)間接管理硬件資源,以確保系統(tǒng)完整性和效率。

AI代理調(diào)度器

AI代理調(diào)度器主要負(fù)責(zé)對(duì)大模型的代理請(qǐng)求進(jìn)行合理調(diào)度和優(yōu)化,以充分利用大模型的計(jì)算資源。當(dāng)多個(gè)代理同時(shí)向大模型發(fā)起請(qǐng)求時(shí),調(diào)度器需根據(jù)特定調(diào)度算法對(duì)請(qǐng)求進(jìn)行排序,避免單一代理長(zhǎng)時(shí)間占用大模型而導(dǎo)致其他代理長(zhǎng)時(shí)間等待。

此外，AIOS的設(shè)計(jì)還支持更復(fù)雜的調(diào)度策略,例如，考慮代理請(qǐng)求間的依賴關(guān)系,以實(shí)現(xiàn)更優(yōu)化的資源分配。

在沒有調(diào)度指令時(shí),代理需按順序逐一執(zhí)行任務(wù),后續(xù)代理需等待較長(zhǎng)時(shí)間;而采用調(diào)度算法后,各代理的請(qǐng)求能夠交錯(cuò)并行執(zhí)行,顯著降低了整體等待時(shí)間和響應(yīng)延遲。

上下文管理器

由于大模型生成過(guò)程普遍采用Beam Search等啟發(fā)式搜索,會(huì)逐步構(gòu)建搜索樹并評(píng)估不同路徑最終給出結(jié)果。

但在生成過(guò)程中大模型若被調(diào)度器中斷，為避免所有中間狀態(tài)丟失而浪費(fèi)之前的計(jì)算,上下文管理器會(huì)對(duì)當(dāng)前的Beam Search樹狀態(tài)(包括各路徑概率等)進(jìn)行快照保存。

當(dāng)大模型重新獲得執(zhí)行資源后,上下文管理器能夠準(zhǔn)確地從中斷處恢復(fù)之前的Beam Search狀態(tài),繼續(xù)生成剩余部分,確保最終結(jié)果的完整性和準(zhǔn)確性。

此外，多數(shù)大模型存在上下文長(zhǎng)度限制,而實(shí)際場(chǎng)景中的輸入上下文往往會(huì)超出該限制。為解決這一難題,上下文管理器集成了文本摘要等功能,能夠?qū)^(guò)長(zhǎng)的上下文進(jìn)行壓縮或分塊處理,使大模型能夠高效理解并處理長(zhǎng)上下文信息。

內(nèi)存管理器

內(nèi)存管理器主要負(fù)責(zé)管理短期內(nèi)存資源,為每個(gè)AI代理的交互日志和中間數(shù)據(jù)提供高效的臨時(shí)存儲(chǔ)。

當(dāng)AI代理處于等待執(zhí)行或正在運(yùn)行狀態(tài)時(shí),其所需的數(shù)據(jù)將被保存在由內(nèi)存管理器分配的內(nèi)存塊中。一旦代理任務(wù)結(jié)束,相應(yīng)的內(nèi)存塊也會(huì)被系統(tǒng)回收,以確保內(nèi)存資源的高效利用。

AIOS會(huì)為每個(gè)AI代理分配獨(dú)立的內(nèi)存,并通過(guò)訪問管理器來(lái)實(shí)現(xiàn)不同代理之間內(nèi)存隔離。未來(lái)，AIOS會(huì)引入更復(fù)雜的內(nèi)存共享機(jī)制和層級(jí)緩存策略,以進(jìn)一步優(yōu)化AI代理的整體性能。

本文轉(zhuǎn)自 AIGC開放社區(qū)  ，作者：AIGC開放社區(qū)

原文鏈接:??https://mp.weixin.qq.com/s/Ln4V2nmyAk9IAaT8Mhpr-w??