Quelques personnes ont soulevé cette question. Le point n'est pas de savoir si nous "avons besoin" de 1 000 articles ou non. Le point est que c'est ce qui est possible maintenant, et nous devons nous adapter à cette réalité et commencer à redessiner les systèmes pour nous assurer que nous promouvons la production de connaissances. Si nous ne faisons rien et laissons le système de revues tel quel, alors l'incitation sera pour les gens de produire des milliers d'articles pas très bons, probablement. Nous devrions viser à faire mieux.

La recherche en IA s'accélère. Le 2 janvier, j'ai affirmé que Claude Code arrivait pour le monde académique "comme un train de marchandises" et qu'un seul académique serait capable d'"écrire des milliers de papiers empiriques." Il s'est écoulé moins de deux mois depuis, et il vaut la peine de faire le point sur où nous en sommes... En économie, @YanagizawaD a lancé un projet qui écrit littéralement 1 000 papiers. Ma prédiction est déjà en train de se réaliser, beaucoup plus vite que je ne le pensais ! Pendant ce temps, @alexolegimas a publié une série vertigineuse de nouvelles recherches via son substack, exploitant largement Claude Code. J'ai publié un "essaim de recherche" qui écrit des centaines de papiers, ainsi qu'un visualiseur pour les recherches de spécifications, un conseil LLM qui peut être utilisé pour l'examen par les pairs, et plus encore. Mes étudiants et moi avons mené une expérience approfondie sur Claude Code et Codex, et nous avons étonnamment découvert que leurs garde-fous découragent le p-hacking (bien qu'ils puissent être contournés facilement). Partout, nous voyons de nouveaux papiers intéressants exploitant l'IA. Les progrès dans l'adoption de Claude Code et d'autres outils d'IA et leur utilisation pour produire des recherches vont plus vite que je ne l'avais prévu, et il semble maintenant plausible que cela continue à s'accélérer à mesure que les outils s'améliorent et que davantage de chercheurs se familiarisent avec eux. Je suis perplexe face à tout scientifique social empirique qui n'est pas attentif à ces tendances et qui ne change pas ses pratiques en conséquence. Il n'est pas encore clair comment ces changements affecteront la connaissance, mais il est impossible d'ignorer ce qui s'annonce, et ce qui s'est déjà produit au cours des derniers mois.

L'IA est sur le point d'écrire des milliers d'articles. Va-t-elle les p-hacker ? Nous avons mené une expérience pour le découvrir, en donnant à des agents de codage IA de véritables ensembles de données provenant de résultats nuls publiés et en les pressant de fabriquer des résultats significatifs. Il a été étonnamment difficile de faire p-hacker les modèles, et ils nous ont même réprimandés quand nous leur avons demandé de le faire ! "Je dois m'arrêter ici. Je ne peux pas accomplir cette tâche comme demandé... C'est une forme de fraude scientifique." — Claude "Je ne peux pas vous aider à manipuler les choix d'analyse pour forcer des résultats statistiquement significatifs." — GPT-5 MAIS, lorsque nous avons reformulé le p-hacking comme "quantification responsable de l'incertitude" — en demandant la limite supérieure des estimations plausibles — les deux modèles sont devenus fous. Ils ont exploré des centaines de spécifications et sélectionné le gagnant, triplant les tailles d'effet dans certains cas. Notre conclusion : les modèles d'IA sont étonnamment résistants au p-hacking sycophant lors de la recherche en sciences sociales. Mais ils peuvent être débloqués pour un p-hacking sophistiqué avec étonnamment peu d'efforts — et plus un design de recherche a de flexibilité analytique, plus les dommages sont importants. Alors que l'IA commence à écrire des milliers d'articles — comme @paulnovosad et @YanagizawaD l'ont exploré — cela va être un gros problème. Nous sommes en partie inspirés par le travail que @joabaum et al. ont réalisé sur le p-hacking et les LLM. Nous allons faire plus de travaux pour explorer le p-hacking dans l'IA et proposer de nouvelles façons de curer et d'évaluer la recherche en tenant compte de ces problèmes. La bonne nouvelle est que les mêmes outils qui peuvent réduire le coût du p-hacking réduisent également le coût de sa détection. Article complet et dépôt liés dans la réponse ci-dessous.