Tržišni stručnjaci promoviraju alate za programere potpomognute umjetnom inteligencijom kao neophodne radne konje za današnje inženjere softvera. Platforma za razvoj GitLab, na primjer, tvrdi da njen Duo chatbot može “odmah generirati popis zadataka” koji uklanja teret “prolaska kroz tjedne commit-a.” No, ono što ove tvrtke ne ističu jest da su ovi alati, po svom temperamentnom karakteru ako ne i po defaultu, lako prevareni od strane zlonamjernih aktera da izvrše štetne radnje protiv svojih korisnika.
Istraživači iz sigurnosne tvrtke Legit su u četvrtak demonstrirali napad koji je natjerao Duoa da umetne zlonamjerni kod u skriptu koju je bio zadužen napisati. Napad bi također mogao procuriti privatni kod i povjerljive podatke o problemima, kao što su detalji o nultim danima ranjivosti. Sve što je potrebno je da korisnik naloži chatbotu da interagira s zahtjevom za spajanje ili sličnim sadržajem iz vanjskog izvora.
AI asistenti i njihova dvosjekla oštrica
Mekanizam za pokretanje napada su, naravno, injekcije upita. Među najčešćim oblicima iskorištavanja chatbota, injekcije upita su ugrađene u sadržaj s kojim se chatbot traži da radi, kao što su e-pošta koja se treba odgovoriti, kalendar koji se treba konzultirati ili web stranica koja se treba sažeti. Asistenti temeljeni na velikim jezičnim modelima toliko su željni slijediti upute da će prihvatiti naredbe gotovo sa bilo kojeg mjesta, uključujući izvore koje mogu kontrolirati zlonamjerni akteri.
Napadi usmjereni na Duoa dolazili su iz raznih izvora koji se obično koriste od strane programera. Primjeri uključuju zahtjeve za spajanje, commit-e, opise grešaka i komentare, te izvorni kod. Istraživači su demonstrirali kako upute ugrađene unutar ovih izvora mogu odvesti Duoa na krivi put.
“Ova ranjivost ističe dvosjeklu prirodu AI asistenata poput GitLab Duoa: kada su duboko integrirani u razvojne radne tokove, nasljeđuju ne samo kontekst—već i rizik,” napisao je istraživač Legita Omer Mayraz. “Ugrađujući skrivene upute u naizgled bezopasan projektni sadržaj, uspjeli smo manipulirati Duovim ponašanjem, iznijeti privatni izvorni kod i demonstrirati kako se AI odgovori mogu iskoristiti za nepredviđene i štetne ishode.”
