我一直在思考一个我称之为“上下文本体”的概念——主要是因为我希望有一个地方可以看到上下文的来源,以及它们在什么提示中被使用。 对于大型语言模型(LLM)生成响应或采取行动的有用上下文可能包括以下内容:(1)高层次目标,(2)当前任务/关注领域,(3)相关过去任务的总结信息,(4)之前尝试的学习等。 随着我们对代理的期望增加(更长的任务、更复杂的项目等),原始记忆很快就会变得令牌重且嘈杂,这降低了LLM输出的质量。大多数复杂的人工智能应用都有某种总结的上下文(我想是这样),以及多个上下文来源。 这里的想法是定义一个你存储的上下文本体,如何构建它,以及在你的系统中为每个提示检索什么。 *这里的存储,我并不一定指的是人工智能的数据库。重要的是,考虑存储在任何应用中的数据作为人工智能记忆的一部分(例如API/MCP连接)似乎更为整体。也许这个本体应该对此进行说明。 进一步说,你可以将其变成一个动态本体,让人工智能可以管理和测试,然后将其放入一个强化学习环境中,让代理自我改进上下文管理(假设如此)。 不确定总结策略是否应该放在这里,但从高层次来看是有意义的。更棘手的是,大多数人在摄取信息时会进行总结,因此每次更改时都必须重新总结之前的摄取(用于测试更改和自我改进)——但我想这个问题无论如何都会存在。 我认为这里没有什么特别新的内容。只是我在思考,试图在内部创建一些框架,以映射我所见过的各种策略。
12.35K