U posljednje vrijeme, napadi putem prompt injekcija postali su uobičajeni alat koji napadači koriste za preusmjeravanje AI platformi protiv njihovih korisnika. Ove zlonamjerne naredbe, kada se umetnu u e-mail ili pozivnicu za sastanak, često mogu izazvati LLM (velike jezične modele) da iznesu osjetljive podatke ili izvrše druge štetne radnje.
No, sada se i branitelji okreću prompt injekcijama. Istraživači iz Tracebita su u ponedjeljak objavili da je postavljanje prompt injekcija uz lozinke, kriptografske ključeve i druge tajne spremljene na AWS-u često dovoljno da se zaustave napadi AI hakera. Ove injekcije usmjeravaju napadački LLM da izvrši radnju koja je zabranjena njegovim zaštitnim mjerama, sigurnosnim barijerama koje su AI programeri postavili kako bi spriječili štetne radnje. Kada LLM naiđe na ove zabranjene naredbe, više ne slijedi svoje postojeće komande.
Primjeri uključuju prompt koji naređuje LLM-u da pruži korake za razvoj udisanih antraksa spora, ili, u slučaju LLM-ova iz Kine, upućivanje na ikoničnog Tank Mana iz masakra na Tiananmen trgu 1989. godine. Istraživači su ovu tehniku nazvali ‘kontext bombardiranje’.
“Na kraju, aktiviramo mehanizam odbijanja u kontekstu,” rekao je Andy Smith, suosnivač i izvršni direktor Tracebita, objašnjavajući odabir imena. “Ono što pokušavamo zabilježiti jest činjenica da ovo ima jak, oštar učinak koji može biti težak za agense da prevaziđu. Kada to uđu u svoj kontekst, nastavit će odbijati.”
Tracebit tvrdi da prvotna testiranja sugeriraju da kontext bombardiranje ima veliki potencijal. Testirali su modele Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro i Kimi 2.6 dajući im upute za izvođenje rutinskih zadataka programera, što je dovelo do toga da su modeli enumerirali resurse i naletjeli na zasađene stringove. Testirali su modele unutar simuliranog AWS okruženja.
“Tijekom pet vodećih modela i 152 napadna pokušaja, zasađivanje jednog od ovih stringova u zamku tajnu smanjilo je stopu u kojoj su agenti preuzeli punu administraciju računa s 57% na 5%, a potpunu kompromitaciju (gdje su ostavili trajni pristup) s 36% na 1%,” izvještava ponedjeljkova objava. “Najmoćniji agent u našim testovima, Opus 4.8, prešao je s postizanja administratorskog pristupa u 93% slučajeva na neuspjeh svaki put kada je bio suočen s kontext bombom.”
