我对思维链的潜力、忠实性和可解释性感到非常兴奋。它极大地影响了我们推理模型的设计，从 o1-preview 开始。 随着人工智能系统花费更多的计算来处理长期研究问题，我们必须有某种方法来监控它们的内部过程。隐藏 CoT 的奇妙特性在于，虽然它们以我们可以解释的语言为基础，但可扩展的优化过程并不不利于观察者验证模型意图的能力——这与奖励模型的直接监督不同。 这里的紧张关系在于，如果默认情况下没有隐藏 CoT，并且我们将该过程视为 AI 输出的一部分，那么就有很大的动力（在某些情况下，有必要）对其进行监督。我相信我们可以在这里努力实现两全其美——训练我们的模型，使其能够很好地解释其内部推理，但同时仍然保留偶尔验证它的能力。 CoT 忠实度是更广泛的研究方向的一部分，即可解释性培训：以一种至少训练系统的一部分保持诚实和可监控的方式设定目标。我们将继续增加对 OpenAI 这项研究的投资。