Radni procesi softverskih inženjera značajno su se promijenili u posljednjih nekoliko godina s pojavljivanjem AI alata za kodiranje poput Cursor i GitHub Copilot, koji obećavaju povećanje produktivnosti automatskim pisanjem koda, ispravljanjem bugova i testiranjem promjena. Ovi alati koriste AI modele iz OpenAI, Google DeepMind, Anthropic i xAI koji su brzo poboljšali svoju izvedbu u nizovima testova softverskog inženjerstva.
Međutim, nova studija koju je u četvrtak objavila neprofitna AI istraživačka grupa METR dovodi u pitanje u kojoj mjeri današnji AI alati za kodiranje povećavaju produktivnost iskusnim programerima.
METR je proveo randomizirano kontrolirano ispitivanje za ovu studiju regrutirajući 16 iskusnih open-source programera i dajući im zadatak da završe 246 stvarnih zadataka na velikim repozitorijima koda kojima redovito doprinose. Istraživači su nasumično odredili otprilike polovicu tih zadataka kao “AI-dozvoljene,” dopuštajući programerima da koriste vrhunske AI alate za kodiranje poput Cursor Pro, dok su drugu polovicu zadataka zabranili korištenje AI alata.
Prije nego što su završili svoje zadatke, programeri su prognozirali da će korištenje AI alata smanjiti vrijeme dovršavanja za 24%. Međutim, to nije bio slučaj.
“Iznenađujuće, otkrivamo da dopuštanje AI zapravo povećava vrijeme dovršavanja za 19%— programeri su sporiji kada koriste AI alate,” rekli su istraživači.
Važno je napomenuti da je samo 56% programera u studiji imalo iskustvo s korištenjem Cursor-a, glavnog AI alata korištenog u studiji. Dok su gotovo svi programeri (94%) imali iskustvo s nekim web-baziranim LLM-ovima u svojim radnim procesima, ovo je bila prva situacija u kojoj su neki koristili Cursor specifično. Istraživači napominju da su programeri bili obučeni za korištenje Cursor-a u pripremi za studiju.
Ipak, METR-ovi nalazi postavljaju pitanja o navodnim univerzalnim dobitcima u produktivnosti koje obećavaju AI alati za kodiranje u 2025. godini. Na temelju studije, programeri ne bi trebali pretpostavljati da će AI alati za kodiranje — posebno oni poznati kao “vibe coders” — odmah ubrzati njihove radne procese.
METR-ovi istraživači ukazuju na nekoliko mogućih razloga zašto je AI usporio programere umjesto da ih ubrza.
Prvo, programeri provode mnogo više vremena postavljajući AI i čekajući na odgovore kada koriste vibe coders nego što zapravo kodiraju. AI također često ima poteškoće s velikim, složenim kodnim bazama, što je bio slučaj u ovom testu.
Autori studije pažljivo ističu da ne žele donositi jake zaključke iz ovih nalaza, izričito napominjući da ne vjeruju da AI sustavi trenutno ne uspijevaju ubrzati mnoge ili većinu softverskih programera. Druge velike studije pokazale su da AI alati za kodiranje ubrzavaju radne procese softverskih inženjera.
Autori također ističu da je napredak AI-a bio značajan u posljednjih nekoliko godina i da ne bi očekivali iste rezultate ni za tri mjeseca. METR je također otkrio da su AI alati za kodiranje značajno poboljšali svoju sposobnost dovršavanja složenih, dugoročnih zadataka u posljednjim godinama.
Istraživanje pruža još jedan razlog za skeptičnost prema obećanim dobitcima AI alata za kodiranje. Druge studije su pokazale da današnji AI alati za kodiranje mogu uvoditi greške i, u nekim slučajevima, sigurnosne ranjivosti.
