1. 首页 > 百货 > 其他百货

图解LLM

LLM-Agent 大模型智能体热度空前,但智能体是什么、为什么、怎么办,行业还没有统一认知,典型的小学语文课本里“小马过河”的现实版。

是什么

一、OpenAI 工程师Lilian Weng的定义 2023.6.23

规划

子目标和分解:将大型任务分解为更小的、可管理的子目标。

反思和改进:对过去的行动进行自我批评和自我反省,从错误中学习。

记忆

短期记忆:上下文学习都是利用模型的短期记忆来学习。

长期记忆:长期保留和回忆信息的能力。

工具使用

调用外部API来获取模型权重中缺少的额外信息。

二、复旦大学学者的调研总结 2023.9.19

大脑

Brain作为记忆和决策中心。

感知

Perception解释外部刺激,从文本到更多模态的形式。

行动

Action执行来自“大脑”的决定。

三、NVIDIA 工程师Tanay Varshney的看法 2023.11.30

智能体核心

核心逻辑和行为特征的中央协调模块,或“关键决策模块”,包括

目标:包含总体目标和目的。

工具手册:可访问的所有工具的“用户手册”。

规划指南:不同规划模块的使用细节。

动态记忆:推断时动态填充与用户过去对话中最相关的记忆项。

角色(可选):最终响应中注入典型的特质。

记忆

短期记忆:回答用户的单个问题时所经历的行动和想法的账本。

长期记忆:用户和智能体之间发生的事件的行动和想法的账本。

工具

用来执行任务的定义良好的可执行工作流。

规划

任务和问题分解

反思或批评

LLM大模型之前,Agent就有不少研究,LLM 让这一构想有了更现实的可能。以上是今年影响面较大的三篇内容,其中有明显的时间线,反映了行业认知的持续深化。NVIDIA 工程师的版本更简洁明了。

为什么

一、幻觉,大模型天生可能一本正经的胡说。哈工大与华为学者的调研 2023.11.9

数据引起

缺陷数据源(错误信息与偏见,知识边界)

数据利用不足(知识捷径,知识召回失败)

训练所致

预训练带来(架构缺陷,次优训练目标)

对齐产生(能力错位,信念错位)

推理引入

缺陷的解码策略(内在采样随机性)

不完美解码表征(上下文注意力不足,Softmax瓶颈)

二、前后左右不一的自一致性 self-consistency

单视角横向自一致性

同上下文,多条线,同一输入的输出预期一致

单视角纵向自一致性

同上下文,单条线,先后同输入的输出预期一致

多视角纵横一致性

不同上下文,多条线,先后同输入的输出,特定情况下预期一致

三、记忆的短期性,上下文窗口限制

没有超出上下文窗口的记忆

只能“记住”给定的有限上下文中的内容,没有其他独立的记忆存储。

上下文窗口作为LLM的瞬时记忆

完全依赖于上下文窗口来获取任何之前的信息。

怎么办

一、从LLM外部解决问题的思路,典型做法,检索辅助生成RAG

模型利用从文档中检索到的相关信息辅助生成过程。

附加知识库

为模型提供额外的信息输入,适用于知识密集型任务。

两个关键阶段

利用编码模型基于问题检索相关文档,如BM25、DPR、ColBERT等方法。

使用检索到的上下文作为条件生成内容。

RAG局限

不适用于教会模型理解广泛的领域或学习新的语言、格式或风格。

微调技术​

通过深入学习内化知识,适合需要复制特定的结构、风格或格式。

二、解铃还须系铃人,从LLM内部系统性解决问题的思路

针对语料中的偏差与错误,语料的全面数据治理十分必要,既要丰富详实,又要不偏不倚;加大算力提高模型精度,增强嵌入及后续训练的信息区分度;

改进Transformer-Attention归一化算法,优化降低自由能损失,最大程度降低信息折损;自回归预测将受益于归一化优化,从而提升内部概率先验精确性;

构建重整化流的数学公式,推导出其流动的方向,并计算可能的不动点,从而借助新语料,对不动点做微扰,促进其进入更有序的相空间,实现可控的可预测的涌现;

RLHF训练结合提示工程探索不同上下文有效提示语,改进decoder模型,促进大模型内部采样使用Wasserstein距离作为概率分布近似的度量;

探测研究内部世界模型结构,进而可以控制模型温度,指导动态Bayes推理更贴切的采样概率分布,进一步亦可通过检索增强生成(RAG)效果,提高自一致自评估能力。

三、内外兼修,多种概念架构层出不穷

伯克利学者增强上下文窗口 Context Window 的思路

增加一个分层的外部上下文和相应管理功能函数。

LLM处理器以主上下文为输入,并输出由解析器解释的文本:输出或函数调用,函数调用在主上下文和外部上下文之间移动数据。

普林斯顿学者的工作也比较有启发性

定义了一组交互模块和过程。

决策程序执行智能体的源代码。

此源代码由与 LLM (提示模板和解析器)、内部存储器(检索和学习)和外部环境(Grounding) 交互的过程组成。

写在最后

逻辑上人脑包括两个重要系统:

系统1 负责刺激响应,系统2负责深度思考。

大模型LLM功能目前相当于系统1,智能体Agent类似系统2。

两者相辅相成,协同一致,处理复杂问题两者都不可或缺。

笔者倾向于从LLM内部解决现有问题的思路,三个关键点:

·Self-awareness,非自我意识,而是加强LLM对学到的范畴的结构和关系的理解;

·范畴内和跨范畴采样改进,依据更好的“范畴的结构和关系的理解”优化采样算法;

·构建内部工作空间,管理短中长期多层次记忆与范畴交互,推理规划与使用工具;

参考文献

1.LLM Powered Autonomous Agents​

2.The Rise and Potential of Large Language Model Based Agents: A Survey​

3.Introduction to LLM Agents​

4.A Survey on Hallucination in Large Language Models:Principles, Taxonomy, Challenges, and Open Questions​

5.ENHANCING LARGE LANGUAGE MODELS IN CODING THROUGH MULTI-PERSPECTIVE SELF-CONSISTENCY​

6.Survey of Hallucination in Natural Language Generation​

7.Retrieval-Augmented Generation for Large Language Models: A Survey​

8.Cognitive Architectures for Language Agents​

9.​

10.MEMGPT: TOWARDS LLMS AS OPERATING SYSTEMS ​

本文转载自​​,作者:​​

本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载者并注明出处:https://jmbhsh.com/qitabaihuo/33360.html

联系我们

QQ号:***

微信号:***

工作日:9:30-18:30,节假日休息