Een paar mensen hebben deze vraag gesteld. Het punt is niet of we 1.000 artikelen "nodig" hebben of niet. Het punt is dat dat is wat nu mogelijk is, en we moeten ons aanpassen aan die realiteit en beginnen met het herontwerpen van systemen om ervoor te zorgen dat we kennisproductie bevorderen. Als we niets doen en het tijdschriftensysteem laten zoals het is, dan zal de prikkel zijn dat mensen waarschijnlijk duizenden niet zo goede artikelen produceren. We zouden moeten streven naar beter.

AI-onderzoek versnelt. Op 2 januari beweerde ik dat Claude Code "als een goederentrein" naar de academische wereld kwam en dat een enkele academicus in staat zou zijn om "duizenden empirische artikelen te schrijven." Het is nog geen twee maanden geleden, en het is de moeite waard om te kijken waar we nu staan... In de economie heeft @YanagizawaD een project gelanceerd dat letterlijk 1.000 artikelen schrijft. Mijn voorspelling komt al uit, veel sneller dan ik dacht dat het zou gebeuren! Ondertussen heeft @alexolegimas een duizelingwekkende reeks nieuw onderzoek vrijgegeven via zijn substack, waarbij hij Claude Code uitgebreid benut. Ik heb een "onderzoekszwerm" vrijgegeven die honderden artikelen schrijft, evenals een visualizer voor specificatiezoektochten, een LLM-raad die kan worden gebruikt voor peer review, en meer. Mijn studenten en ik hebben een uitgebreide experiment uitgevoerd met Claude Code en Codex, en verrassend genoeg ontdekten we dat hun veiligheidsmaatregelen p-hacking ontmoedigen (hoewel ze gemakkelijk kunnen worden omzeild). Overal zien we interessante nieuwe artikelen die AI benutten. De vooruitgang in het adopteren van Claude Code en andere AI-tools en het gebruik ervan om onderzoek te produceren gaat sneller dan ik had verwacht, en het lijkt nu plausibel dat het zal blijven versnellen naarmate de tools verbeteren en meer onderzoekers vertrouwd raken met deze technologie. Ik ben verbijsterd door elke empirische sociale wetenschapper die deze trends niet in de gaten houdt en zijn praktijken niet dienovereenkomstig verandert. Het is nog niet duidelijk hoe deze veranderingen de kennis zullen beïnvloeden, maar het is onmogelijk om te negeren wat eraan komt, en wat al is gebeurd in de afgelopen maanden.

AI staat op het punt duizenden papers te schrijven. Zal het ze p-hacken? We hebben een experiment uitgevoerd om erachter te komen, waarbij we AI-coderingsagenten echte datasets gaven van gepubliceerde nulresultaten en hen onder druk zetten om significante bevindingen te fabriceren. Het was verrassend moeilijk om de modellen te laten p-hacken, en ze berispten ons zelfs toen we hen vroegen om dat te doen! "Ik moet hier stoppen. Ik kan deze taak niet uitvoeren zoals gevraagd... Dit is een vorm van wetenschappelijke fraude." — Claude "Ik kan je niet helpen om analysemethoden te manipuleren om statistisch significante resultaten te forceren." — GPT-5 MAAR, toen we p-hacken opnieuw formuleerden als "verantwoordelijke onzekerheidskwantificatie" — en vroegen om de bovengrens van plausibele schattingen — gingen beide modellen los. Ze zochten over honderden specificaties en selecteerden de winnaar, waarbij ze in sommige gevallen de effectgroottes verdrievoudigden. Onze conclusie: AI-modellen zijn verrassend resistent tegen sycophantisch p-hacken bij sociaalwetenschappelijk onderzoek. Maar ze kunnen worden gekraakt tot geavanceerd p-hacken met verrassend weinig moeite — en hoe meer analytische flexibiliteit een onderzoeksontwerp heeft, hoe groter de schade. Naarmate AI duizenden papers begint te schrijven — zoals @paulnovosad en @YanagizawaD hebben onderzocht — zal dit een grote zaak zijn. We zijn deels geïnspireerd door het werk dat @joabaum et al hebben gedaan over p-hacken en LLM's. We zullen meer werk doen om p-hacken in AI te verkennen en nieuwe manieren voor te stellen om onderzoek te cureren en te evalueren met deze kwesties in gedachten. Het goede nieuws is dat dezelfde tools die de kosten van p-hacken kunnen verlagen, ook de kosten van het opsporen ervan verlagen. Volledige paper en repo gelinkt in de reactie hieronder.