Fizemos um ensaio clínico randomizado e controlado para ver o quanto as ferramentas de codificação de IA aceleram desenvolvedores de código aberto experientes. Os resultados nos surpreenderam: os desenvolvedores pensavam que eram 20% mais rápidos com ferramentas de IA, mas na verdade eram 19% mais lentos quando tinham acesso à IA do que quando não tinham.

Recrutamos 16 desenvolvedores experientes de código aberto para trabalhar em 246 tarefas reais em seus próprios repositórios (média de 22k + estrelas, 1M + linhas de código). Atribuímos aleatoriamente cada tarefa para permitir a IA (normalmente Cursor Pro com Claude 3.5/3.7) ou não permitir a ajuda da IA.

No início do estudo, os desenvolvedores previram que eles seriam acelerados em 24%. Depois de realmente fazerem o trabalho, estimaram que tinham sido acelerados em 20%. Mas descobriu-se que, na verdade, eles foram desacelerados em 19%.

Quando a IA é permitida, os desenvolvedores gastam menos tempo ativamente codificando e procurando informações e, em vez disso, gastam tempo solicitando IA, aguardando/revisando saídas de IA e ocioso. Não encontramos uma razão única para a desaceleração — ela é impulsionada por uma combinação de fatores.

Por que realizamos este estudo? Os benchmarks de agentes de IA têm limitações: são autônomos, usam pontuação algorítmica e não têm interação humana ao vivo. Isso pode dificultar a inferência direta do impacto no mundo real. Se quisermos um sistema de alerta precoce para saber se a I&D da IA está a ser acelerada pela própria IA, ou mesmo automatizada, seria útil poder medir diretamente isso em ensaios de engenharia do mundo real, em vez de depender de proxies como benchmarks ou mesmo de informações mais ruidosas como anedotas.

O que tiramos? 1. Parece provável que, para algumas configurações importantes, as ferramentas recentes de IA não aumentaram a produtividade (e podem, de fato, diminuí-la). 2. Os auto-relatórios de aceleração não são confiáveis – para entender o impacto da IA na produtividade, precisamos de experimentos na natureza.