Združenje za informatiko in telekomunikacije

Novice


 


Kaj umetna inteligenca res naredi z razvojem programske opreme: dokazi dveh znanstvenih poskusov

Razvoj programske opreme se seli od pisanja kode k usmerjanju in nadzoru dela, ki ga vse bolj opravlja umetna inteligenca. Vprašanje za stroko ni več, ali orodja pospešijo delo, temveč koliko, pri kateri vrsti nalog, za koga in za kakšno ceno v kakovosti. Na to najbolj verodostojno odgovarjata dva randomizirana znanstvena poskusa, izvedena v resničnem podjetniškem okolju – s pomenljivo različnimi rezultati. 

Dva poskusa, dva različna odgovora 
Randomiziran kontroliran poskus skupine Google (Paradis et al., 2024) je pri 96 inženirjih meril čas na eni podjetniški nalogi. Uporaba treh AI-funkcij (dopolnjevanje kode, samodejna prilagoditev prilepljene kode, pretvorba naravnega jezika v kodo) je čas skrajšala za okoli 21 odstotkov, a s širokim intervalom zaupanja – ocena je torej znatna, a negotova. Moderira jo dnevni obseg kodiranja: največ pridobijo najbolj dejavni. Metodološke omejitve so izrazite in jih priznavajo avtorji sami: časovno omejena naloga (do ~3 h), interna orodja enega podjetja in konflikt interesov, saj Google vrednoti lastne razvojne pripomočke. 

Obsežnejši terenski poskus (Cui et al., Management Science, 2025) je združil tri randomizirane eksperimente pri Microsoftu, Accenture in enem podjetju s seznama Fortune 100. Med 4.867 razvijalci se je število dokončanih nalog povečalo za približno 26 odstotkov (SE 10,3 odstotka), pri čemer so – nasprotno kot pri Googlu – več pridobili manj izkušeni razvijalci. Zunanja veljavnost je tu višja (terensko okolje, velik vzorec), a je merjen izid drugačen: prepustnost (dokončane naloge), ne čas na eni nalogi. 

Skupni sklep je robusten: učinek je resničen in pozitiven, reda 21–26 odstotkov. Manj robustno je vse drugo – kdo pridobi največ (dejavni proti manj izkušenim) ostaja odprto, oba izida pa merita hitrost oziroma prepustnost, ne kakovosti ali varnosti nastale kode. 

Kje se pospešek izgubi 
Zunaj nadzorovanih pogojev je slika bolj zapletena. Nadzorovana študija inštituta METR je pokazala, da so izkušeni razvijalci pri delu v veliki, obstoječi kodni bazi z AI nalogo dokončali 19 odstotkov počasneje, čeprav so bili prepričani o nasprotnem. Razlago dobro ujame Osmanijev »problem zadnjih 30 %«: umetna inteligenca hitro ustvari ogrodje in očitne vzorce, preostanek (robni primeri, varnost, integracija v produkcijske sisteme) pa ostane enako zahteven. Težišče dela se zato seli v pregled kode, ki postaja novo ozko grlo. 

Na kakovostni strani so dokazi trezni. Po Veracode 45 odstotkov AI-generirane kode ne prestane varnostnih testov OWASP Top 10, empirične analize repozitorijev pa ob kratkotrajnem pospešku beležijo rast kompleksnosti in tehničnega dolga. Poročilo DORA 2025 to strne: AI zvišuje prepustnost, a znižuje stabilnost dostave in deluje kot ojačevalec – zrele ekipe okrepi, šibke pa razgali. 

Inženirske posledice 
Iz dokazov izhaja, da učinek ni lastnost orodja, temveč zrelosti razvojnega procesa. Konkretno to pomeni: 

  • Avtomatizirano testiranje in hitre povratne zanke kot pogoj – višja prepustnost brez njih pomeni nižjo stabilnost. 
  • Varnostno preverjanje v cevovodu (SAST/DAST znotraj CI/CD), ne kot naknadni korak. 
  • Pregled kode kot prvorazredni proces: AI-izhod kot osnutek, obvezno označevanje AI-avtorstva in sledljivost. 
  • Ohlapno sklopljena arhitektura – po DORA koristi žanjejo predvsem modularni sistemi, tesno sklopljeni skoraj ne. 
  • Merjenje z DORA/SPACE (prepustnost in stabilnost skupaj), ne z navideznimi kazalniki, kot je število vrstic kode. 
  • Za lastniško in občutljivo kodo modeli v lastni ali suvereni infrastrukturi, da koda in podatki ne zapustijo organizacije. 

Zaključek 
Znanstveni dokazi podpirajo zmeren, kontekstualno pogojen optimizem: umetna inteligenca pospeši razvoj za red velikosti 20–26 odstotkov pri primernih nalogah, a učinek zlahka izgine v kompleksnem okolju in se lahko sprevrže v tehnični dolg. Ker bo orodja uvedel skoraj vsak, razlike ne bo delala uvedba, temveč zrelost inženirskih praks. Vloga SRIP GoDigital je pri tem v povezovanju akterjev, izmenjavi izmerjenih izkušenj in prevajanju teh ugotovitev v obvladljive prakse slovenskih razvojnih ekip. 

Viri 
Paradis et al. (Google): How much does AI impact development speed? An enterprise-based RCT, 2024 (arXiv 2410.12944). arxiv.org/abs/2410.12944 
Cui et al.: The Effects of Generative AI on High-Skilled Work: Three Field Experiments with Software Developers, Management Science, 2025 (SSRN 4945566). ssrn.com – 4945566 
METR: Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, 2025. metr.org 
Security Degradation in Iterative AI Code Generation, IEEE-ISTAS 2025 (arXiv 2506.11022). arxiv.org/abs/2506.11022 
DORA / Google: State of AI-assisted Software Development 2025. dora.dev/research/2025 
A. Osmani: The 70% Problem – Hard Truths About AI-assisted Coding; Veracode – varnost AI-generirane kode. addyo.substack.com 

Fotogalerija