Wir haben eine randomisierte, kontrollierte Studie durchgeführt, um zu sehen, wie sehr KI-Codierungstools erfahrene Open-Source-Entwickler beschleunigen. Die Ergebnisse haben uns überrascht: Entwickler dachten, sie wären mit KI-Tools 20 % schneller, aber sie waren tatsächlich 19 % langsamer, wenn sie Zugang zu KI hatten, als wenn sie keinen hatten.

Wir haben 16 erfahrene Open-Source-Entwickler rekrutiert, die an 246 realen Aufgaben in ihren eigenen Repositories arbeiten (durchschnittlich 22k+ Sterne, 1M+ Codezeilen). Wir haben jede Aufgabe nach dem Zufallsprinzip so zugewiesen, dass sie entweder die KI zulässt (typischerweise Cursor Pro mit Claude 3.5/3.7) oder die KI-Hilfe verbietet.

Zu Beginn der Studie prognostizierten die Entwickler, dass sie um 24 % beschleunigt werden würden. Nachdem sie die Arbeit tatsächlich erledigt hatten, schätzten sie, dass sie um 20 % beschleunigt worden waren. Es stellte sich jedoch heraus, dass sie tatsächlich um 19 % verlangsamt wurden.

Wenn KI erlaubt ist, verbringen Entwickler weniger Zeit mit dem aktiven Codieren und Suchen nach Informationen, sondern mit dem Auffordern der KI, dem Warten auf bzw. dem Überprüfen von KI-Ausgaben und dem Leerlauf. Wir sehen keinen einzigen Grund für die Verlangsamung – sie wird durch eine Kombination von Faktoren verursacht.

Warum haben wir diese Studie durchgeführt? KI-Agenten-Benchmarks haben Einschränkungen – sie sind in sich geschlossen, verwenden algorithmisches Scoring und es fehlt eine menschliche Live-Interaktion. Dies kann es schwierig machen, direkte Rückschlüsse auf die Auswirkungen auf die reale Welt zu ziehen. Wenn wir ein Frühwarnsystem dafür wollen, ob KI-Forschung und -Entwicklung durch KI selbst beschleunigt oder sogar automatisiert wird, wäre es nützlich, dies direkt in realen Ingenieurversuchen messen zu können, anstatt sich auf Proxys wie Benchmarks oder noch lautere Informationen wie Anekdoten zu verlassen.

Was nehmen wir mit? 1. Es scheint wahrscheinlich, dass die jüngsten KI-Tools in einigen wichtigen Bereichen die Produktivität nicht gesteigert haben (und sie sogar verringern könnten). 2. Selbstauskünfte über die Beschleunigung sind unzuverlässig – um die Auswirkungen von KI auf die Produktivität zu verstehen, brauchen wir Experimente in freier Wildbahn.