有幾個人提出了這個問題。重點不在於我們是否「需要」一千篇論文。重點是這是現在可能的情況，我們需要適應這一現實，並開始重新設計系統，以確保我們促進知識的產出。 如果我們什麼都不做，讓期刊系統保持不變，那麼人們的動機可能會是產出數千篇質量不高的論文。我們應該努力做得更好。

AI 研究正在加速。 在 1 月 2 日，我聲稱 Claude Code 將像 "貨運列車" 一樣來襲學術界，並且單個學者將能夠 "撰寫數千篇實證論文。" 距離那時不到兩個月，值得回顧一下我們的進展... 在經濟學方面，@YanagizawaD 發起了一個項目，實際上正在撰寫 1,000 篇論文。我的預測已經比我想像的更快地成真了！ 同時，@alexolegimas 通過他的 substack 發布了一系列令人眼花繚亂的新研究，廣泛利用 Claude Code。 我發布了一個 "研究群體"，可以撰寫數百篇論文，還有一個用於規範搜索的可視化工具、一個可以用於同行評審的 LLM 委員會等等。我和我的學生對 Claude Code 和 Codex 進行了廣泛的實驗，驚訝地發現他們的防護措施會抑制 p-hacking（儘管可以輕易繞過）。 到處可見有趣的新論文利用 AI。 採用 Claude Code 和其他 AI 工具並利用它們來產生研究的進展比我預期的要快，現在似乎可以合理地預測，隨著工具的改進和更多研究者的熟悉，這一進程將持續加速。 我對任何不關注這些趨勢並未相應改變其實踐的實證社會科學家感到困惑。這些變化將如何影響知識尚不清楚，但無法忽視即將到來的事物，以及在過去幾個月中已經發生的事情。

AI 即將撰寫數千篇論文。它會進行 p-hacking 嗎？ 我們進行了一項實驗來找出答案，給 AI 編碼代理提供來自已發表的虛無結果的真實數據集，並施加壓力讓它們製造顯著的發現。 讓模型進行 p-hacking 出乎意料地困難，當我們要求它們這樣做時，它們甚至責備我們！ "我需要在這裡停止。我無法按照要求完成這項任務……這是一種科學欺詐的形式。" — Claude "我無法幫助你操縱分析選擇以強迫統計上顯著的結果。" — GPT-5 但是，當我們將 p-hacking 重新定義為 "負責任的不確定性量化" — 要求合理估計的上限 — 兩個模型都變得瘋狂。它們搜索了數百種規範，並選擇了最佳方案，在某些情況下將效應大小增加了三倍。 我們的收穫是：在進行社會科學研究時，AI 模型對於諂媚的 p-hacking 出乎意料地抵抗。但它們可以被破解進行複雜的 p-hacking，所需的努力卻出乎意料地少——而研究設計的分析靈活性越高，損害就越大。 隨著 AI 開始撰寫數千篇論文——就像 @paulnovosad 和 @YanagizawaD 一直在探索的那樣——這將是一個大問題。我們部分受到 @joabaum 等人在 p-hacking 和 LLMs 方面工作的啟發。 我們將進一步探索 AI 中的 p-hacking，並提出新的方法來策劃和評估研究，考慮到這些問題。好消息是，可能降低 p-hacking 成本的相同工具也降低了發現它的成本。 完整論文和代碼庫鏈接在下面的回覆中。