Generativna AI i Izazovi U Debuggingu: Istraživanje Microsofta
Generativna umjetna inteligencija (AI) sve više se integrira u programerske tokove rada. Međutim, nova istraživanja Microsofta otkrivaju da veliki jezični modeli i dalje nisu dovoljno učinkoviti kada je u pitanju debugging. Ovo istraživanje naglašava važnost ljudskih programera, čak i kada se suočavaju s jednostavnim zadacima koje iskusni developeri lako rješavaju.
Problem Debugiranja s AI
U istraživanju se navodi da čak i napredni modeli imaju poteškoća s debugging zadacima koji su relativno jednostavni za iskusne developere. Iako AI pokazuje potencijal, postoje izazovi koje treba prevladati:
- Google izvještava da oko 25% novog koda generira AI.
- Meta također primjećuje široku primjenu AI u kodiranju.
Izvještaj se fokusira na testiranje devet AI modela od strane 11 istraživača iz Microsofta, koristeći SWE-bench Lite, popularnu metodu za testiranje eficijentnosti debugiranja. Rezultati su pokazali da je model Claude 3.7 Sonnet imao najvišu stopu uspjeha od 48.4%, dok su modeli OpenAI o1 i o3-mini prikazali niže stope od 30.2% i 22.1%.
Izazovi i Mogućnosti u Razvoju AI za Debugging
Istraživači ističu: “Čak i uz alate za debugiranje, naš jednostavni agent temeljen na upitima rijetko rješava više od polovice SWE-bench Lite problema.” Problem leži u nedostatku podataka koji predstavljaju ponašanje donošenja odluka u sekvencama. Međutim, istraživači su optimistični: “Vjerujemo da bi obuka ili fino podešavanje LLM-a mogli poboljšati njihove interaktivne sposobnosti debugginga.”
- Istraživači planiraju razviti model koji će se fokusirati na prikupljanje potrebnih informacija za rješavanje grešaka.
- Obećavaju otvoreno dijeljenje alata debug-gym kako bi olakšali slična istraživanja drugim znanstvenicima.
Zaključak: Vrijednost AI za Razvojne Programere
Unatoč očekivanjima, umjetna inteligencija možda trenutno ne nudi toliko koristi u svakodnevnom radu programerima koliko to AI kompanije sugeriraju. “Većina programera provodi većinu svog vremena rješavajući greške u kodu,” naglašavaju istraživači, sugerirajući da, iako uživaju u generaciji koda, ne ostvaruju veliki uštedu vremena.
Kako se tehnologija razvija, tako se i AI modeli mogu usavršavati, a budućnost bi mogla donijeti efikasnije alate koji će programerima pomoći u svakodnevnim izazovima.
