在人工智能领域,大模型控制智能体是大势所趋。智能体赋予大模型物理实体,使其具备与真实物理世界感知交互的能力。同时,借助于大模型,智能体能够获得更强大的感知、决策和执行能力,使其具备更高的自主性和适应性。这项研究能够推动机器人和自动化行业的发展,从而创造出更多的就业机会和经济增长。
在此背景下,李学龙团队提出了一种大模型驱动的异构智能体协同控制算法框架,利用大模型调度多种智能体自主协作,实现了「机器人总动员」。
(资料图片)
所提框架可将一个跨场景、跨智能体的复杂任务,通过语义任务解析拆分成异构智能体协同执行的多个子任务,然后通过无人机集群、机器狗、机械臂的联合控制,共同完成指定任务,具备高层语义理解能力、自身技能认知能力和复杂任务执行能力。
懂所思、知所能、行所意,是大模型驱动多智能体协作的主要能力。
懂所思:高层语义理解能力如何充分发挥大模型的语义理解能力,让无人机、机器狗、机械臂等人造智能体能够根据输入的自然语言分工合作,是智能体在现实场景中执行复杂任务的前提条件。
针对该问题,团队利用国产大模型作为语义理解底座,以无人机集群、机器狗、机械臂三种异构智能体作为协同控制平台,设计了融合环境信息与自身状态的多模态大模型交互框架,实现了对任务理解、硬件控制、协调合作等复杂需求的语义解析。
知所能:自身技能认知能力智能体的行为能力易受周围环境、自身机械结构等限制因素的影响。如何在多变的外界环境下让智能体准确地认知当前自身的行为能力,是多种智能体协同的关键环节。
为了实现这一目标,团队提出了异构智能体通用中层技能认知算法,实现了异构智能体集群的精细协同控制。在此基础上,智能体通过自主环境感知、自身状态建模、协同运动规划,自适应地调整多种智能体的技能执行。
行所意:复杂任务执行能力为了完成复杂任务目标,异构智能体协作需要依据子任务间的依赖关系和环境约束,设计安全合理的子任务执行次序和方式。
针对该问题,团队设计了多智能体闭环反馈的任务协作机制,实现了异构智能体在任务执行层面的自主协同。
在多种智能体集群协作过程中,智能体向任务语义解析模块报告子任务执行状态,形成任务分配与执行动态闭环,实现任务目标导向的智能体高效协同。
该成果是大模型算法和智能体硬件交叉的创新性研究,实现了用更自然、更直观的方式进行多种智能体集群控制,降低了人机交互的门槛。
同时,该研究也将促进异构智能体之间协作的自主性和流畅度,对人工智能在灾难救援、工业生产等复杂场景下的灵活应用具有重要意义。
研究团队李学龙教授团队主要开展临地安防(Vicinagearth Security)技术体系的人才培养、科研与工程,依托两个理论:「信容(Information Capacity,信息与数据的比值)」与「正激励噪声(Positive-incentive Noise,Pi/π-Noise,有用的噪声,通过增加噪声或利用噪声让任务做得更好)」,面向低空安防、水下安防、跨域安防,进行多模态认知计算、跨域遥感、稳定探测、涉水光学、群体智能决策、相干光探测的技术创新,服务于高水平人才培养和国家重大战略需求。
标签: