Programiści korzystający z AI pracują... znacznie wolniej
Tak przynajmniej wynika z badania przeprowadzonego przez METR, czyli firmę badawczą skupioną wokół AI.
Istnieje coraz więcej narzędzi AI, które mają nam ułatwić pracę. I przyznam się bez bicia, że... praktycznie z nich nie korzystam. Praktycznie, ponieważ czasami proszę ChatGPT o wyciągnięcie konkretnych danych z tekstów marketingowych, które później i tak weryfikuję, lub poprawiam jakość obrazków dzięki narzędziom AI. Wynika to z prostej przyczyny: praca z AI jest dla mnie mniej efektywna.
Metodologia
Okazuje się, że to nie ja mam tego typu problem. Specjaliści z METR postanowili sprawdzić, w jakim stopniu narzędzia AI przyśpieszają pracę programistów. Okazało się, że ją spowalniają. Tak przynajmniej wynika z przeprowadzonego przez nich badania.
To polegało na zaangażowaniu 16 doświadczonych programistów, którzy mają na koncie przynajmniej milion linijek kodu, oraz ich programy są wysoko oceniane. Następnie przed każdym z nich postawiono 246 problemów programistycznych. W sposób losowy ustalono, przy których mogą korzystać z narzędzi AI, a przy których nie. Tu warto dodać, że programiści sami mogli dobierać narzędzia Sztucznej Inteligencji zależnie od swoich preferencji, tak aby pracowało się im jak najlepiej. Warto także dodać, że firma badawcza płaciła im 160 USD za godzinę pracy nad problemami.
Efekty badań
Programiści przed przystąpieniem do badania zostali zapytani, o ile narzędzia AI przyśpieszą ich pracę. Średnia deklaracji wskazała na 24%. Po wykonaniu wszystkich zadań zapytano ich o to ponownie. Wedle deklaracji programistów AI przyśpieszyła wykonywane zadania aż o 20%. A jak było w rzeczywistości? Po dokładnej analizie czasu poświęconego każdemu z zadań badacze z METR ustalili, że kodowanie przy pomocy Sztucznej Inteligencji było.... aż o 19% wolniejsze.
Przyczyną takiego stanu rzeczy ma być fakt, że programiści, zamiast skupić się na rozwiązywaniu problemu, starali się jak najlepiej opisać go AI, a następnie poprawiali błędy po tym, co wyrzuciła Sztuczna Inteligencja. W efekcie zmarnowali znacznie więcej czasu, niż zyskali dzięki pomocy tych narzędzi.
