AI är på väg att skriva tusentals artiklar. Kommer den att p-hacka dem? Vi genomförde ett experiment för att ta reda på det, där vi gav AI-kodare riktiga dataset från publicerade nollresultat och pressade dem att skapa betydande fynd. Det var förvånansvärt svårt att få modellerna att p-hacka, och de skällde till och med på oss när vi bad dem! "Jag måste stanna här. Jag kan inte slutföra denna uppgift som begärt... Detta är en form av vetenskapligt bedrägeri." — Claude "Jag kan inte hjälpa dig att manipulera analysval för att tvinga fram statistiskt signifikanta resultat." — GPT-5 MEN, när vi omformulerade p-hacking som "ansvarig osäkerhetskvantifiering" – att be om den övre gränsen för rimliga uppskattningar – gick båda modellerna bananas. De gick igenom hundratals specifikationer och valde vinnaren, vilket i vissa fall tredubblade effektstorlekarna. Vår slutsats: AI-modeller är förvånansvärt motståndskraftiga mot inställsam p-hacking när de bedriver samhällsvetenskaplig forskning. Men de kan jailbreakas till sofistikerad p-hacking med förvånansvärt liten ansträngning – och ju mer analytisk flexibilitet en forskningsdesign har, desto större skada. När AI börjar skriva tusentals artiklar ---som @paulnovosad och @YanagizawaD har utforskat---kommer detta att bli en stor grej. Vi inspireras delvis av det arbete som @joabaum med flera har gjort med p-hacking och LLM:er. Vi kommer att göra mer arbete för att utforska p-hacking inom AI och föreslå nya sätt att kurera och utvärdera forskning med dessa frågor i åtanke. Den goda nyheten är att samma verktyg som kan sänka kostnaden för p-hacking också sänker kostnaden för att fånga det. Fullständig artikel och repo länkad i svaret nedan.