摘要:人工智能领域正在经历一场静悄悄的革命。伦敦大学学院和华为诺亚方舟实验室的研究人员开发出一种突破性的学习框架,使大型语言模型智能体能够通过结构化记忆系统持续学习和适应,而无需对底层模型进行昂贵的微调操作。这一名为Memento的系统在多个关键基准测试中取得了顶级
信息来源:https://venturebeat.com/ai/this-new-framework-lets-llm-agents-learn-from-experience-no-fine-tuning
人工智能领域正在经历一场静悄悄的革命。伦敦大学学院和华为诺亚方舟实验室的研究人员开发出一种突破性的学习框架,使大型语言模型智能体能够通过结构化记忆系统持续学习和适应,而无需对底层模型进行昂贵的微调操作。这一名为Memento的系统在多个关键基准测试中取得了顶级性能,为企业级AI应用开辟了一条更加经济高效和实用的发展道路。
传统的AI智能体要么依赖固定的硬编码工作流程,要么需要通过监督微调或强化学习来更新语言模型本身。前者过于僵化,无法适应新环境;后者计算成本高昂,且存在损害预训练知识的风险。Memento框架的出现彻底改变了这一困境,它通过模拟人类记忆机制,让智能体在不改变核心模型参数的情况下实现持续自适应能力。
这种创新方法的核心在于将过往经验存储在外部记忆系统中,当面对新任务时,智能体会检索相似情况来指导决策。研究团队将这一过程形式化为记忆增强马尔可夫决策过程,使智能体不仅能考虑当前状态和潜在行动,还能利用丰富的历史经验进行推理。在DeepResearcher数据集上,Memento的表现几乎是传统检索增强生成基线的两倍,F1分数达到66.6%。
突破传统AI学习范式的技术架构
Memento系统的技术架构体现了对现有AI学习范式的根本性重新思考。系统由三个核心组件构成:规划器、执行器和案例库。规划器基于案例推理技术,能够从历史经验中检索相关案例并结合当前任务生成详细计划。执行器则利用模型上下文协议连接各种外部工具,包括搜索引擎、网络爬虫和多模态信息处理组件。
案例库是整个系统的记忆中枢,采用动态更新机制。非参数版本基于语义相似性检索历史案例,类似于协同过滤系统。更高级的参数化版本则使用强化学习和轻量级神经网络来处理现实世界中常见的稀疏反馈问题,确保智能体能够从不频繁的成功或失败信号中学习。
伦敦大学学院计算机科学教授王俊解释了这种方法的核心优势:"我们呼吁一种新方法,允许智能体在不改变LLM参数的情况下实现自适应性。Memento旨在引领这场革命。"这种设计理念避免了传统微调方法可能损害预训练知识的风险,同时大幅降低了计算成本和部署复杂性。
系统的工作流程体现了人类学习的核心特征。当接到新任务时,规划器首先查询案例库获取相关经验,然后将检索到的案例与当前任务结合形成提示,指导底层语言模型生成分步计划。执行器按照计划执行各个子任务,同时子任务记忆模块跟踪进度和结果。每完成一步,系统都会评估任务完成情况,必要时重新制定计划。任务完成后,整个经验被保存到案例库中,为未来的相似任务提供参考。
性能验证与实际应用潜力
在多个具有挑战性的基准测试中,Memento展现出了令人印象深刻的性能。在GAIA基准测试中,该系统在验证集上排名第一,在测试集上排名第四,优于大多数现有的开源智能体框架。在人类最后考试中,Memento总体排名第二,表现接近GPT-5,并优于Gemini 2.5 Pro等先进模型。
在SimpleQA测试中,Memento在所有基线中实现了最高的准确率,展现了其在事实准确性和抗幻觉方面的强大能力。这些测试结果表明,基于记忆的学习方法不仅在理论上具有创新性,在实际应用中也展现出了显著的性能优势。
更重要的是,这种方法的可扩展性和经济性为企业级应用提供了巨大潜力。与传统需要大量计算资源和专业知识的微调方法不同,Memento可以与现有的专有或开源模型无缝集成,通过灵活的协议连接到定制的企业工具和内部数据源。这使得企业能够开发持续改进的AI系统,既经济高效又能高度适应特定的业务需求。
对于需要处理复杂多步骤推理任务的应用场景,如法律研究、科学分析、市场调研等,Memento展现出了特别的价值。系统能够在执行过程中不断积累经验,逐渐提高在特定领域的专业能力,而不需要重新训练底层模型或投入大量的标注数据。
重新定义AI智能体的发展路径
Memento框架的意义远超其技术创新本身,它代表了AI智能体发展范式的根本性转变。王俊强调,虽然该系统使用了检索技术,但其核心框架代表着超越标准检索增强生成的重要进步。"结合强化学习可以实现记忆的参数化,从而可以直接从记忆中进行泛化。"
这种学习能力与大型语言模型本身的研究是正交的,意味着该框架不是与基础模型的进步竞争,而是旨在利用它们。随着语言模型变得越来越强大,基于记忆增强马尔可夫决策过程框架构建的智能体将成为更高效的学习者。这种方法重新定义了团队构建和部署智能体的方式,创造了一种新的快速工程和情境学习范式。
从更广阔的视角来看,Memento所代表的技术路线可能预示着AI系统设计哲学的重大转变。传统的AI开发往往追求构建单一的、无所不能的模型,这种方法面临着巨大的技术和经济挑战。相比之下,基于记忆的学习方法更接近人类认知的工作方式,通过不断积累和重用经验来提高能力。
这种范式转变对整个AI产业具有深远影响。它降低了构建专业化AI系统的门槛,使中小企业也能够开发适应自身需求的智能体。同时,它也为AI系统的可解释性和可控性提供了新的可能性,因为系统的决策过程可以追溯到具体的历史经验。
王俊认为,"数据获取"是打造真正自主的AI工作者的最大瓶颈。智能体必须能够与环境交互,才能获得改进其行为所需的反馈。他预测下一个前沿是实现"主动探索",即智能体能够独立探索环境,并受需求甚至好奇心的驱动。随着Memento这样的基础框架的建立,迈向此类自主系统的道路变得更加清晰。
这一技术突破不仅解决了当前AI智能体面临的关键挑战,更重要的是,它为未来更加智能、自主和经济的AI系统奠定了基础。随着该技术的进一步发展和应用,我们有理由期待AI智能体将在更多领域展现出人类水平甚至超人类水平的能力,同时保持可控性和经济性的平衡。
来源:人工智能学家