在人工智能領(lǐng)域，大模型控制智能體是大勢(shì)所趨。智能體賦予大模型物理實(shí)體，使其具備與真實(shí)物理世界感知交互的能力。同時(shí)，借助于大模型，智能體能夠獲得更強(qiáng)大的感知、決策和執(zhí)行能力，使其具備更高的自主性和適應(yīng)性。這項(xiàng)研究能夠推動(dòng)機(jī)器人和自動(dòng)化行業(yè)的發(fā)展，從而創(chuàng)造出更多的就業(yè)機(jī)會(huì)和經(jīng)濟(jì)增長(zhǎng)。 

在此背景下，李學(xué)龍團(tuán)隊(duì)提出了一種大模型驅(qū)動(dòng)的異構(gòu)智能體協(xié)同控制算法框架，利用大模型調(diào)度多種智能體自主協(xié)作，實(shí)現(xiàn)了「機(jī)器人總動(dòng)員」。

所提框架可將一個(gè)跨場(chǎng)景、跨智能體的復(fù)雜任務(wù)，通過(guò)語(yǔ)義任務(wù)解析拆分成異構(gòu)智能體協(xié)同執(zhí)行的多個(gè)子任務(wù)，然后通過(guò)無(wú)人機(jī)集群、機(jī)器狗、機(jī)械臂的聯(lián)合控制，共同完成指定任務(wù)，具備高層語(yǔ)義理解能力、自身技能認(rèn)知能力和復(fù)雜任務(wù)執(zhí)行能力。

懂所思、知所能、行所意，是大模型驅(qū)動(dòng)多智能體協(xié)作的主要能力。

懂所思：高層語(yǔ)義理解能力

如何充分發(fā)揮大模型的語(yǔ)義理解能力，讓無(wú)人機(jī)、機(jī)器狗、機(jī)械臂等人造智能體能夠根據(jù)輸入的自然語(yǔ)言分工合作，是智能體在現(xiàn)實(shí)場(chǎng)景中執(zhí)行復(fù)雜任務(wù)的前提條件。

針對(duì)該問(wèn)題，團(tuán)隊(duì)利用國(guó)產(chǎn)大模型作為語(yǔ)義理解底座，以無(wú)人機(jī)集群、機(jī)器狗、機(jī)械臂三種異構(gòu)智能體作為協(xié)同控制平臺(tái)，設(shè)計(jì)了融合環(huán)境信息與自身狀態(tài)的多模態(tài)大模型交互框架，實(shí)現(xiàn)了對(duì)任務(wù)理解、硬件控制、協(xié)調(diào)合作等復(fù)雜需求的語(yǔ)義解析。

知所能：自身技能認(rèn)知能力

智能體的行為能力易受周圍環(huán)境、自身機(jī)械結(jié)構(gòu)等限制因素的影響。如何在多變的外界環(huán)境下讓智能體準(zhǔn)確地認(rèn)知當(dāng)前自身的行為能力，是多種智能體協(xié)同的關(guān)鍵環(huán)節(jié)。

為了實(shí)現(xiàn)這一目標(biāo)，團(tuán)隊(duì)提出了異構(gòu)智能體通用中層技能認(rèn)知算法，實(shí)現(xiàn)了異構(gòu)智能體集群的精細(xì)協(xié)同控制。在此基礎(chǔ)上，智能體通過(guò)自主環(huán)境感知、自身狀態(tài)建模、協(xié)同運(yùn)動(dòng)規(guī)劃，自適應(yīng)地調(diào)整多種智能體的技能執(zhí)行。

行所意：復(fù)雜任務(wù)執(zhí)行能力

為了完成復(fù)雜任務(wù)目標(biāo)，異構(gòu)智能體協(xié)作需要依據(jù)子任務(wù)間的依賴關(guān)系和環(huán)境約束，設(shè)計(jì)安全合理的子任務(wù)執(zhí)行次序和方式。

針對(duì)該問(wèn)題，團(tuán)隊(duì)設(shè)計(jì)了多智能體閉環(huán)反饋的任務(wù)協(xié)作機(jī)制，實(shí)現(xiàn)了異構(gòu)智能體在任務(wù)執(zhí)行層面的自主協(xié)同。

在多種智能體集群協(xié)作過(guò)程中，智能體向任務(wù)語(yǔ)義解析模塊報(bào)告子任務(wù)執(zhí)行狀態(tài)，形成任務(wù)分配與執(zhí)行動(dòng)態(tài)閉環(huán)，實(shí)現(xiàn)任務(wù)目標(biāo)導(dǎo)向的智能體高效協(xié)同。

該成果是大模型算法和智能體硬件交叉的創(chuàng)新性研究，實(shí)現(xiàn)了用更自然、更直觀的方式進(jìn)行多種智能體集群控制，降低了人機(jī)交互的門檻。

同時(shí)，該研究也將促進(jìn)異構(gòu)智能體之間協(xié)作的自主性和流暢度，對(duì)人工智能在災(zāi)難救援、工業(yè)生產(chǎn)等復(fù)雜場(chǎng)景下的靈活應(yīng)用具有重要意義。

研究團(tuán)隊(duì)

李學(xué)龍教授團(tuán)隊(duì)主要開展臨地安防（Vicinagearth Security）技術(shù)體系的人才培養(yǎng)、科研與工程，依托兩個(gè)理論：「信容（Information Capacity，信息與數(shù)據(jù)的比值）」與「正激勵(lì)噪聲（Positive-incentive Noise，Pi/π-Noise，有用的噪聲，通過(guò)增加噪聲或利用噪聲讓任務(wù)做得更好）」，面向低空安防、水下安防、跨域安防，進(jìn)行多模態(tài)認(rèn)知計(jì)算、跨域遙感、穩(wěn)定探測(cè)、涉水光學(xué)、群體智能決策、相干光探測(cè)的技術(shù)創(chuàng)新，服務(wù)于高水平人才培養(yǎng)和國(guó)家重大戰(zhàn)略需求。