Realizamos una prueba controlada aleatoria para ver cuánto aceleran las herramientas de codificación de IA a los desarrolladores de código abierto experimentados. Los resultados nos sorprendieron: los desarrolladores pensaban que eran un 20% más rápidos con las herramientas de IA, pero en realidad eran un 19% más lentos cuando tenían acceso a la IA que cuando no lo tenían.

Reclutamos a 16 desarrolladores de código abierto con experiencia para trabajar en 246 tareas reales en sus propios repositorios (promedio de 22k + estrellas, 1M + líneas de código). Asignamos aleatoriamente cada tarea para permitir la ayuda de la IA (generalmente Cursor Pro con Claude 3.5 / 3.7) o no permitir la ayuda de la IA.

Al comienzo del estudio, los desarrolladores pronosticaron que se acelerarían en un 24%. Después de hacer el trabajo, estimaron que se habían acelerado en un 20%. Pero resultó que en realidad se ralentizaron en un 19%.

Cuando se permite la IA, los desarrolladores pasan menos tiempo codificando y buscando información activamente y, en cambio, pasan tiempo solicitando IA, esperando/revisando los resultados de IA y están inactivos. No encontramos una sola razón para la desaceleración: está impulsada por una combinación de factores.

¿Por qué se realizó este estudio? Los puntos de referencia de los agentes de IA tienen limitaciones: son autónomos, utilizan puntuación algorítmica y carecen de interacción humana en vivo. Esto puede dificultar la inferencia directa del impacto en el mundo real. Si queremos un sistema de alerta temprana para saber si la investigación y el desarrollo de la IA está siendo acelerada por la propia IA, o incluso automatizada, sería útil poder medir esto directamente en ensayos de ingeniería del mundo real, en lugar de depender de proxies como puntos de referencia o incluso información más ruidosa como anécdotas.

¿Qué nos llevamos? 1. Parece probable que para algunas configuraciones importantes, las herramientas de IA recientes no hayan aumentado la productividad (y de hecho pueden disminuirla). 2. Los autoinformes de aceleración no son confiables: para comprender el impacto de la IA en la productividad, necesitamos experimentos en la naturaleza.