我感謝@Anthropic在他們最新的系統卡中表現出的誠實，但內容並未讓我對該公司在部署先進AI模型時會負責任地行事感到信心： - 他們主要依賴內部調查來確定Opus 4.6是否超過了他們的自主AI R&D-4門檻（因此需要在他們的負責任擴展政策下釋放時採取更強的保障措施）。這甚至不是一個公正的第三方的外部調查，而是Anthropic員工的調查。 - 當5/16的內部調查受訪者最初給出的評估表明模型釋放可能需要更強的保障時，Anthropic特別跟進了這些員工，並要求他們“澄清他們的看法”。他們並未提及對其他11/16名受訪者進行類似的跟進。系統卡中沒有討論這可能如何在調查結果中產生偏見。 - 他們依賴調查的原因是他們現有的AI R&D評估已經飽和。有人可能會辯稱，AI的進展如此之快，以至於他們尚未擁有更先進的定量評估，但我們可以並且應該對AI實驗室提出高標準。此外，其他實驗室確實擁有未飽和的先進AI R&D評估。例如，OpenAI擁有OPQA基準，該基準衡量AI模型解決OpenAI研究團隊遇到的實際內部問題的能力，這些問題花費團隊超過一天的時間來解決。 我不認為Opus 4.6實際上達到了遠程初級AI研究員的水平，我也不認為釋放它是危險的。但負責任擴展政策的重點是，在事情變得嚴重之前建立制度肌肉和良好習慣。內部調查，尤其是Anthropic所進行的調查，並不是定量評估的負責任替代品。

@Anthropic 系統卡已到！