Abbiamo condotto uno studio controllato randomizzato per vedere quanto gli strumenti di codifica AI velocizzano gli sviluppatori open source esperti. I risultati ci hanno sorpreso: gli sviluppatori pensavano di essere più veloci del 20% con gli strumenti di intelligenza artificiale, ma in realtà erano più lenti del 19% quando avevano accesso all'intelligenza artificiale rispetto a quando non lo avevano.

Abbiamo reclutato 16 sviluppatori open source esperti per lavorare su 246 attività reali nei loro repository (media 22k+ stelle, 1M+ righe di codice). Abbiamo assegnato in modo casuale ogni attività per consentire l'intelligenza artificiale (in genere Cursor Pro con Claude 3.5/3.7) o per non consentire l'aiuto dell'intelligenza artificiale.

All'inizio dello studio, gli sviluppatori avevano previsto che sarebbero stati accelerati del 24%. Dopo aver effettivamente svolto il lavoro, hanno stimato di essere stati accelerati del 20%. Ma si è scoperto che in realtà sono stati rallentati del 19%.

Quando l'intelligenza artificiale è consentita, gli sviluppatori dedicano meno tempo alla codifica e alla ricerca di informazioni e trascorrono invece tempo a sollecitare l'intelligenza artificiale, ad attendere/rivedere gli output dell'intelligenza artificiale e a rimanere inattivi. Non troviamo un'unica ragione per il rallentamento: è guidato da una combinazione di fattori.

Perché abbiamo condotto questo studio? I benchmark degli agenti di intelligenza artificiale hanno dei limiti: sono autonomi, utilizzano il punteggio algoritmico e mancano di interazione umana dal vivo. Ciò può rendere difficile dedurre direttamente l'impatto nel mondo reale. Se vogliamo un sistema di allerta precoce per capire se la ricerca e lo sviluppo dell'IA vengono accelerati dall'IA stessa, o addirittura automatizzati, sarebbe utile essere in grado di misurarlo direttamente nelle prove degli ingegneri del mondo reale, piuttosto che fare affidamento su proxy come benchmark o informazioni ancora più rumorose come gli aneddoti.

Cosa portiamo via? 1. Sembra probabile che per alcune impostazioni importanti, i recenti strumenti di intelligenza artificiale non abbiano aumentato la produttività (e potrebbero in effetti diminuirla). 2. Le autovalutazioni dell'accelerazione sono inaffidabili: per comprendere l'impatto dell'IA sulla produttività, abbiamo bisogno di esperimenti in natura.