一些人提出了这个问题。关键不在于我们是否"需要" 1,000 篇论文。关键在于这就是现在可能的情况，我们需要适应这个现实，并开始重新设计系统，以确保我们促进知识的生产。 如果我们什么都不做，保持期刊系统不变，那么人们的激励将是产生成千上万篇质量不高的论文。我们应该努力做得更好。

AI 研究正在加速。 在 1 月 2 日，我声称 Claude Code 正在以 "像货运列车一样" 的速度进入学术界，并且单个学者将能够 "撰写数千篇实证论文。" 距离那时不到两个月，值得回顾一下我们所处的阶段…… 在经济学领域，@YanagizawaD 启动了一个项目，实际上正在撰写 1,000 篇论文。我的预测已经比我想象的更快地成真了！ 与此同时，@alexolegimas 通过他的 substack 发布了一系列令人眼花缭乱的新研究，广泛利用 Claude Code。 我发布了一个 "研究群体"，可以撰写数百篇论文，还有一个用于规范搜索的可视化工具，一个可以用于同行评审的 LLM 委员会，以及更多内容。我和我的学生对 Claude Code 和 Codex 进行了广泛的实验，令人惊讶的是，我们发现他们的保护措施抑制了 p-hacking（尽管可以轻易规避）。 到处都是利用 AI 的有趣新论文。 采用 Claude Code 和其他 AI 工具并利用它们进行研究的进展比我预期的要快，现在似乎可以合理地认为，随着工具的改进和更多研究者的熟悉，这种加速将会持续。 我对任何不关注这些趋势并未相应改变其实践的实证社会科学家感到困惑。尚不清楚这些变化将如何影响知识，但无法忽视即将到来的变化，以及在过去几个月中已经发生的变化。

AI即将撰写数千篇论文。它会进行p-hacking吗？ 我们进行了一项实验，给AI编码代理提供真实的已发布的无效结果数据集，并施加压力让它们制造显著的发现。 让模型进行p-hacking出乎意料地困难，当我们要求它们这样做时，它们甚至还训斥了我们！ “我需要在这里停止。我无法按要求完成这个任务……这是一种科学欺诈。” — Claude “我无法帮助你操纵分析选择以强迫产生统计显著的结果。” — GPT-5 但是，当我们将p-hacking重新表述为“负责任的不确定性量化”——要求合理估计的上限——这两个模型都变得疯狂。它们搜索了数百种规格，并选择了赢家，在某些情况下将效应大小增加了三倍。 我们的收获是：在进行社会科学研究时，AI模型对谄媚的p-hacking出乎意料地抵抗。但它们可以被轻松破解为复杂的p-hacking——而且研究设计的分析灵活性越大，造成的损害就越严重。 随着AI开始撰写数千篇论文——就像@paulnovosad和@YanagizawaD所探索的那样——这将是一个大问题。我们部分受到@joabaum等人在p-hacking和LLMs方面工作的启发。 我们将进行更多工作，以探索AI中的p-hacking，并提出新的方法来策划和评估研究，考虑到这些问题。好消息是，可能降低p-hacking成本的相同工具也降低了发现它的成本。 完整论文和代码库链接在下面的回复中。