Byłem jednym z 16 programistów biorących udział w tym badaniu. Chciałem podzielić się moimi opiniami na temat przyczyn i strategii łagodzenia spowolnienia deweloperskiego. Powiem jako haczyk "po co cię słuchać?", że doświadczyłem -38% przyspieszenia SI w przydzielonych mi sprawach. Myślę, że przejrzystość pomaga społeczności.

Po pierwsze, uważam, że przyspieszenie SI jest bardzo słabo skorelowane z umiejętnościami dewelopera. Wszyscy deweloperzy w tym badaniu są bardzo dobrzy. Myślę, że ma to więcej wspólnego z popadnięciem w tryb awarii, zarówno w zdolnościach LLM, jak i w przepływie pracy człowieka. Pracuję z mnóstwem niesamowitych programistów zajmujących się przygotowaniami do treningu i myślę, że ludzie borykają się z wieloma podobnymi problemami. Lubimy mówić, że LLM to narzędzia, ale traktujemy je bardziej jak magiczną kulę. Dosłownie każdy deweloper może zaświadczyć o satysfakcji z ostatecznego debugowania drażliwego problemu. LLM to duży przycisk skrótu dopaminy, który może jednorazowo rozwiązać twój problem. Czy ciągle naciskasz przycisk, który ma 1% szans na naprawienie wszystkiego? Jest to o wiele przyjemniejsze niż wyczerpująca alternatywa, przynajmniej dla mnie.

Myślę, że przypadki nadużywania LLM mogą się zdarzyć, ponieważ łatwo jest zoptymalizować go pod kątem postrzeganej przyjemności, a nie czasu na rozwiązanie podczas pracy. Ja naciskam Tab w kursorze przez 5 godzin zamiast debugowania przez 1:

Po trzecie, bardzo łatwo jest się rozproszyć w czasie przestoju, podczas gdy generują się LLM. Ekonomia uwagi w mediach społecznościowych jest brutalna i myślę, że ludzie spędzają 30 minut na przewijaniu, "czekając" na swoje 30-sekundowe pokolenie. Wszystko, co mogę powiedzieć na ten temat, to to, że powinniśmy znać nasze własne pułapki i starać się produktywnie wypełnić ten czas generacji LLM: - Jeśli zadanie wymaga dużego skupienia, poświęć ten czas na pracę nad podzadaniem lub zastanowienie się nad pytaniami uzupełniającymi. Nawet jeśli model zabije twoje pytanie, czego jeszcze nie rozumiem? - Jeśli zadanie wymaga skupienia, w międzyczasie wykonaj inne małe zadanie (odpowiedz na e-mail/slack, przeczytaj lub edytuj kolejny akapit itp.). Jak zawsze, pomagają w tym małe kroki związane z higieną cyfrową (blokery stron internetowych, telefon na dnd itp.). Przepraszam, że jestem głupcem, ale to działa dla mnie :)

Kilka stwierdzeń końcowych: - METR to wspaniała organizacja, z którą się współpracuje, a do tego są silnymi naukowcami. Uwielbiałem zarówno udział w tym badaniu, jak i czytanie ich wyników. - Nie jestem jakimś guru LLM, który próbuje prawić kazania. Pomyśl o tym jak o tym, że publikuję osobisty wpis w pamiętniku i mam nadzieję, że inni mogą skorzystać z mojej introspekcji.