今天我要跟大家分享一篇很有意思的论文,题目是《Agent Workflow Memory》,也就是"Agent工作流记忆"。这篇论文提出了一种新方法,让AI助手(我们称之为Agent)能更好地完成复杂的网页任务。
首先,我们来聊聊这个研究的背景。现在的AI技术已经非常强大了,特别是像GPT这样的大语言模型(LLM),它们可以进行对话、回答问题,甚至可以帮我们完成一些简单的任务。但是,当面对复杂的、需要多个步骤才能完成的任务时,AI助手还是会遇到不少困难。
举个例子,假设我们让AI助手帮我们在网上订一张从北京到上海的机票。这个任务看似简单,但实际上涉及很多步骤:
打开航空公司网站
选择出发地和目的地
筛选合适的航班
填写乘客信息
选择座位
支付订单
对于人类来说,我们可能已经订过很多次机票了,这些步骤我们烂熟于心。但对AI助手来说,每次执行这样的任务都像是全新的体验。它可能会在某些步骤卡住,或者忘记了重要的步骤。
研究人员发现,现有的AI助手主要有两个问题:
研究目标:让AI助手更聪明
基于这些挑战,研究者提出了一个非常有趣的想法:能不能让AI助手也像人类一样,能够学习、记忆和使用工作流程呢?
这就是本篇论文的核心目标: 开发一种方法,让AI助手能够从过去的经验中提取出可重用的工作流程,并在未来的任务中灵活运用这些工作流程。
研究者们希望通过这种方法,AI助手可以:
那么他们是如何实现这个目标的呢?这就要说到本文的核心方法了:Agent Workflow Memory(AWM),也就是"Agent工作流记忆"。
AWM的核心思想:工作流记忆
Agent Workflow Memory (AWM)的核心思想是让AI助手能够像人类一样,从过去的经验中学习、记忆和使用工作流程。但什么是"工作流"呢?让我们先来理解这个概念。
什么是工作流?
在AWM中,工作流(Workflow)是指完成某个任务或子任务的一系列步骤。它包含两个主要部分:
举个例子,假设我们有一个"搜索产品"的工作流,它可能看起来像这样:
## 工作流描述: 在电商网站搜索特定产品工作流轨迹:1. [观察] 当前页面显示搜索框2. [推理] 我需要在搜索框中输入产品名称3. [动作] 在搜索框中输入"{产品名称}"4. [观察] 搜索结果页面加载完成5. [推理] 我需要查看搜索结果并选择最相关的产品6. [动作] 点击最相关的产品链接
这个工作流描述了在电商网站搜索产品的通用步骤,可以适用于多种不同的产品和网站。
AWM的工作原理
现在我们了解了工作流的概念,让我们来看看AWM是如何工作的。AWM的核心流程包括三个主要步骤:
让我们逐一详细了解这些步骤。
1. 工作流提取 (Workflow Induction)
在这个步骤中,AWM会从AI助手过去执行任务的经验中提取出可重用的工作流。这个过程可以通过两种方式进行:
a) 基于规则的提取 : 使用预定义的规则来识别和提取常见的行为模式。b) 基于语言模型的提取 : 使用大型语言模型(如GPT)来分析和总结任务执行过程,生成抽象的工作流。
研究者发现,基于语言模型的提取方法通常能产生更抽象、更通用的工作流,因此在实验中表现更好。
工作流提取(Workflow Induction)是AWM方法的核心步骤之一,论文中详细描述了两种主要的实现方式:基于规则的方法和基于语言模型的方法。我们来深入了解一下这两种方法的具体实现细节。
1. 基于规则的方法(Rule-based Induction)
基于规则的方法主要包括两个步骤:经验去重和无效动作过滤。
1.1 经验去重
目的:从多个相似的任务执行经验中提取出独特的工作流。
实现步骤:
例如,从轨迹CLICK('12') → CLICK('30') → TYPE('44', "cat") 中提取出CLICK → CLICK → TYPE。
1.2 无效动作过滤
目的:移除无法在环境中成功执行的动作步骤。
实现步骤:
例如,CLICK和TYPE动作的第一个参数必须是字符串格式的整数(代表环境中元素的ID)。
示例:输入轨迹:CLICK(12) → CLICK('12') → CLICK('30') → TYPE(44, "cat") → TYPE('44', "cat")输出工作流:CLICK('12') → CLICK('30') → TYPE('44', "cat")
2. 基于语言模型的方法(LM-based Induction)
基于语言模型的方法利用大型语言模型(如GPT)来生成更抽象、更通用的工作流。
2.1 提示工程(Prompt Engineering)
研究者设计了特殊的提示模板,引导语言模型从给定的任务经验中提取工作流。
提示模板的关键点:
找出多个任务中重复出现的动作子集。
将每个重复子集提取为一个工作流。
每个工作流应该是常用的子例程,至少包含两个步骤。
使用描述性变量名代替具体的输入文本或按钮字符串。
Given a list of web navigation tasks, your task is to extract the common workflows.Each given task contains a natural language instruction, and a series of actions to solve the task. You need to find the repetitive subset of actions across multiple tasks, and extract each of them out as a workflow.Each workflow should be a commonly reused sub-routine of the tasks. Do not generate similar or overlapping workflows. Each workflow should have at least two steps. Represent the non-fixed elements (input text, button strings) with descriptive variable names as shown in the example.
2.2 工作流生成
语言模型基于提供的任务经验和提示,生成抽象的工作流。
生成的工作流通常包含:
环境描述:当前网页状态的文本描述。
推理过程:解释为什么要执行下一步动作。
具体动作:可执行的程序化动作。
示例工作流:
## 在电商网站搜索产品工作流描述:此工作流用于在电商网站上搜索特定产品。工作流轨迹:[环境描述] 当前页面显示搜索框。[推理] 我需要在搜索框中输入产品名称。[动作] fill('搜索框ID', '{产品名称}')[环境描述] 搜索结果页面已加载。[推理] 我需要点击最相关的产品链接。[动作] click('{最相关产品链接ID}')
3. 两种方法的比较
研究者发现,基于语言模型的方法通常能产生更好的结果:
然而,基于规则的方法也有其优势:
在实际应用中,研究者主要使用基于语言模型的方法,因为它能产生更高质量、更通用的工作流,从而在各种测试场景中取得更好的性能。
通过这种精心设计的工作流提取过程,AWM能够从AI助手的历史经验中学习到有用的操作模式,这些模式后续可以被用来指导AI助手更有效地完成新的任务。这就是AWM方法效果显著的关键所在。
2. 工作流整合 (Workflow Integration)
一旦提取出工作流,AWM会将这些工作流整合到AI助手的记忆中。这个过程就像是给AI助手一本"操作手册",里面包含了各种常见任务的执行步骤。
3. 工作流使用 (Workflow Utilization)
当AI助手面对新任务时,它会先查阅自己的"操作手册",看看有没有适用的工作流。如果找到了相关的工作流,AI助手就会参考这个工作流来执行任务,而不是从零开始摸索。
AWM的两种工作模式
AWM有两种主要的工作模式:离线模式(Offline)和在线模式(Online)。
这两种模式各有优势,研究者在不同的实验场景中都进行了测试。
到这里,我们已经对AWM的核心思想和工作原理有了基本的了解。在下一部分,我们将看看研究者是如何评估AWM的效果的,以及它在实际任务中表现如何。
AWM的实验评估
研究者们为了全面测试AWM的效果,选择了两个主要的网页导航基准测试:WebArena和Mind2Web。这两个测试集涵盖了各种不同类型的网页任务,从简单的信息查找到复杂的多步骤操作都有。让我们来看看AWM在这些测试中的表现。
WebArena测试
## shopping: Browse Products in a Specific CategoryTo browse products in a specific category, I need to navigate to the relevant main category. I will start by hovering over the main category menu item to reveal the subcategories.hover(’main category id’)To browse products in the specific subcategory, I need to click on the subcategory link. click(’subcategory id’)
WebArena是一个包含812个网页导航任务的测试集,涉及5个不同的网站,包括电子商务、社交论坛、软件开发协作平台和内容管理系统等。这个测试的特点是它可以严格评估AI助手执行任务的功能正确性。
实验设置
研究者使用了GPT-4作为基础模型,采用AWM的在线模式(AWM Online)进行测试。这意味着AI助手在执行测试任务的过程中,会不断学习和使用新的工作流。
主要结果
这些结果表明,AWM不仅显著提高了任务完成的成功率,还减少了完成任务所需的步骤数,使AI助手的操作更加高效。
跨模板泛化能力
研究者还专门测试了AWM在不同任务模板之间的泛化能力。结果显示,即使面对全新的任务类型,AWM仍然保持了较高的成功率(33.2%),远超基准方法(20.5%)。
Mind2Web测试
# travel: enter flight locationsGiven that you are on the flight booking page, this workflow enters the departure and destination city/airport for your flight.[link] From Departure Airport or City Your Origin − > CLICK [textbox] Origin City or Airport − > TYPE: {your-origin-city}[link] {best-popup-option} − > CLICK[link] To Destination Airport or City Your Destination − > CLICK [textbox] Destination City or Airport − > TYPE: {your-destination-city} [link] {best-popup-option} − > CLICK
Mind2Web是另一个重要的测试集,它强调了跨任务、跨网站和跨领域的泛化能力。这个测试集包含了1000多个任务,涉及200多个不同的网站和多个领域(如旅行、购物、社交媒体等)。
实验设置
研究者在Mind2Web上同时测试了AWM的离线模式(AWM Offline)和在线模式(AWM Online)。
主要结果
这些结果清楚地表明,AWM在各种不同的场景下都能显著提升AI助手的表现,特别是在跨领域的任务中,improvement非常显著。
结果分析
通过这些实验,我们可以得出以下几个重要的结论:
本文转载自,作者:
本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载者并注明出处:https://jmbhsh.com/baihuokuaixun/32738.html