RIP 微调 ☠️ 这篇新的斯坦福论文刚刚颠覆了这一切。 它叫做“代理上下文工程(ACE)”,证明了你可以在不触碰任何权重的情况下让模型变得更聪明。 ACE 不是重新训练,而是进化上下文本身。 模型反复写作、反思和编辑自己的提示,直到它成为一个自我改进的系统。 可以把它想象成模型保持一个不断增长的笔记本,记录有效的方法。 每一次失败都变成一种策略。每一次成功都变成一条规则。 结果令人难以置信: 比 GPT-4 驱动的代理在 AppWorld 上好 10.6%。 在金融推理上好 8.6%。 成本和延迟降低 86.9%。 没有标签。只有反馈。 每个人都对“简短、干净”的提示情有独钟。 ACE 翻转了这一点。它构建了长而详细的不断演变的操作手册,永远不会忘记。它之所以有效,是因为 LLM 不想要简单性,它们想要 *上下文密度。 如果这能扩展,下一代 AI 将不再是“微调”。 它将是自我调节的。 我们正进入活提示的时代。