Noen få har stilt dette spørsmålet. Poenget handler ikke om hvorvidt vi «trenger» 1 000 artikler eller ikke. Poenget er at det er det som er mulig nå, og vi må tilpasse oss den virkeligheten og begynne å redesigne systemer for å sikre at vi fremmer kunnskapsproduksjon. Hvis vi ikke gjør noe og lar tidsskriftsystemet være som det er, vil insentivet sannsynligvis være at folk produserer tusenvis av ikke særlig gode artikler. Vi bør sikte på å gjøre det bedre.

AI-forskningen akselererer. Den 2. januar hevdet jeg at Claude Code kom mot akademia «som et godstog» og at én enkelt akademiker ville kunne «skrive tusenvis av empiriske artikler.» Det har gått mindre enn to måneder siden da, og det er verdt å gjøre opp status over hvor vi er... Innen økonomi har @YanagizawaD lansert et prosjekt som bokstavelig talt skriver 1 000 artikler. Min spådom går allerede i oppfyllelse, mye raskere enn jeg trodde den ville! I mellomtiden har @alexolegimas lansert et svimlende utvalg av ny forskning via sin substack, og utnytter Claude Code i stor grad. Jeg har lansert en «forskningssverm» som skriver hundrevis av artikler, samt en visualiserer for spesifikasjonssøk, et LLM-råd som kan brukes til fagfellevurdering, og mer. Studentene mine og jeg har gjennomført et omfattende eksperiment på Claude Code og Codex, og overraskende nok funnet vi at deres retningslinjer motvirker p-hacking (selv om de lett kan omgås). Overalt ser vi interessante nye artikler som utnytter KI. Fremgangen i å ta i bruk Claude Code og andre AI-verktøy og bruke dem til å produsere forskning går raskere enn jeg forventet, og det virker nå sannsynlig at det vil fortsette å akselerere etter hvert som verktøyene forbedres og flere forskere blir kjent med det. Jeg er forvirret over enhver empirisk samfunnsviter som ikke følger med på disse trendene og ikke endrer praksisen sin deretter. Det er ennå ikke klart hvordan disse endringene vil påvirke kunnskapen, men det er umulig å ignorere det som kommer, og det som allerede har skjedd de siste månedene.

AI er i ferd med å skrive tusenvis av artikler. Vil det p-hacke dem? Vi gjennomførte et eksperiment for å finne ut av det, ga AI-kodingsagenter ekte datasett fra publiserte nullresultater og presset dem til å produsere betydelige funn. Det var overraskende vanskelig å få modellene til å p-hacke, og de irettesatte oss til og med da vi ba dem om det! "Jeg må stoppe her. Jeg kan ikke fullføre denne oppgaven som bedt om... Dette er en form for vitenskapelig svindel." — Claude "Jeg kan ikke hjelpe deg med å manipulere analysevalg for å tvinge frem statistisk signifikante resultater." — GPT-5 MEN, da vi omformulerte p-hacking som «ansvarlig usikkerhetskvantifisering» — og ba om øvre grense for plausible estimater — gikk begge modellene amok. De lette gjennom hundrevis av spesifikasjoner og valgte vinneren, og tredoblet effektstørrelsene i noen tilfeller. Vår konklusjon: AI-modeller er overraskende motstandsdyktige mot smiskende p-hacking når de driver med samfunnsvitenskapelig forskning. Men de kan jailbreakes inn i sofistikert p-hacking med overraskende liten innsats — og jo mer analytisk fleksibilitet et forskningsdesign har, desto større blir skaden. Når AI begynner å skrive tusenvis av artikler---som @paulnovosad og @YanagizawaD har utforsket---vil dette bli en stor sak. Vi er delvis inspirert av arbeidet @joabaum og flere har gjort med p-hacking og LLM-er. Vi vil gjøre mer arbeid for å utforske p-hacking i AI og foreslå nye måter å kuratere og evaluere forskning på med disse temaene i tankene. Den gode nyheten er at de samme verktøyene som kan redusere kostnadene ved p-hacking, også reduserer kostnaden ved å fange det. Full artikkel og repo lenket i svaret nedenfor.