Ik was een van de 16 ontwikkelaars in deze studie. Ik wilde spreken over mijn mening over de oorzaken en mitigatiestrategieën voor dev-vertraging. Ik zal zeggen als een "waarom naar je luisteren?" hook dat ik een AI-versnelling van -38% ervoer op mijn toegewezen problemen. Ik denk dat transparantie de gemeenschap helpt.

Ten eerste denk ik dat AI-versnelling erg zwak gecorreleerd is met iemands vermogen als ontwikkelaar. Alle ontwikkelaars in deze studie zijn erg goed. Ik denk dat het meer te maken heeft met het vervallen in faalmodi, zowel in het vermogen van de LLM als in de workflow van de mens. Ik werk met een heleboel geweldige pretraining-ontwikkelaars, en ik denk dat mensen met veel van dezelfde problemen worden geconfronteerd. We zeggen graag dat LLM's hulpmiddelen zijn, maar behandelen ze meer als een wondermiddel. Letterlijk elke ontwikkelaar kan getuigen van de voldoening van het eindelijk debuggen van een netelige kwestie. LLM's zijn een grote dopamine-snelkoppelingsknop die uw probleem in één keer kan oplossen. Blijf je op de knop drukken die 1% kans heeft om alles op te lossen? Het is een stuk leuker dan het slopende alternatief, althans voor mij.

Ik denk dat gevallen van overmatig gebruik van LLM kunnen optreden omdat het gemakkelijk te optimaliseren is voor waargenomen plezier in plaats van time-to-solution tijdens het werken. Ik druk 5 uur op tab in cursor in plaats van 1 uur te debuggen:

Ten derde is het supergemakkelijk om afgeleid te worden in de downtime terwijl LLM's worden gegenereerd. De aandachtseconomie van sociale media is meedogenloos, en ik denk dat mensen 30 minuten scrollen terwijl ze "wachten" op hun generatie van 30 seconden. Het enige wat ik hierover kan zeggen is dat we onze eigen valkuilen moeten kennen en moeten proberen deze LLM-generatietijd productief te vullen: - Als de taak veel focus vereist, besteed deze tijd dan aan het werken aan een subtaak of het nadenken over vervolgvragen. Zelfs als het model je vraag in één keer beantwoordt, wat begrijp ik dan nog meer? - Als de taak weinig focus vereist, voer dan in de tussentijd nog een kleine taak uit (reageer op e-mail/slack, lees of bewerk nog een alinea, enz.). Zoals altijd helpen kleine digitale hygiënestappen hierbij (websiteblokkers, telefoon op dnd, enz.). Sorry dat ik een grapje ben, maar het werkt voor mij :)

Enkele slotverklaringen: - METR is een geweldige organisatie om mee samen te werken, en het zijn sterke wetenschappers. Ik heb genoten van zowel deelname aan dit onderzoek als het lezen van hun resultaten. - Ik ben geen LLM-goeroe die probeert te prediken. Zie dit als het publiceren van een persoonlijke dagboekaantekening en hopen dat anderen kunnen profiteren van mijn introspectie.