我欣赏@Anthropic在他们最新的系统卡中的诚实，但内容并没有让我对公司在部署先进AI模型时会负责任地行动充满信心： -他们主要依赖内部调查来确定Opus 4.6是否超过了他们的自主AI研发-4阈值（因此需要在他们的负责任扩展政策下采取更强的保护措施）。这甚至不是一个公正的第三方的外部调查，而是对Anthropic员工的调查。 -当5/16的内部调查受访者最初给出的评估表明模型发布可能需要更强的保护措施时，Anthropic专门跟进了这些员工，并要求他们“澄清他们的观点”。他们没有提到对其他11/16名受访者进行类似的跟进。在系统卡中没有讨论这可能如何在调查结果中造成偏见。 -他们依赖调查的理由是他们现有的AI研发评估已经饱和。有人可能会争辩说，AI进展如此之快，以至于他们尚未拥有更先进的定量评估是可以理解的，但我们可以并且应该对AI实验室设定高标准。此外，其他实验室确实有未饱和的先进AI研发评估。例如，OpenAI有OPQA基准，衡量AI模型解决OpenAI研究团队遇到的真实内部问题的能力，而这些问题花费团队超过一天的时间来解决。 我认为Opus 4.6实际上并不处于远程初级AI研究员的水平，我认为发布它并不危险。但负责任扩展政策的重点是建立制度肌肉和良好习惯，以便在事情变得严肃之前。内部调查，尤其是Anthropic所进行的调查，并不是定量评估的负责任替代品。

@Anthropic 系统卡来了：