Od napada putem Gemini kalendara 2026. do državnog hakiranja u rujnu 2025. godine, koje je koristilo Anthropicov Claude kod kao automatizirani alat za upad, prisila ljudskih agenata i potpuno autonomnih radnih tokova nova su metodu napada za hakere. U slučaju Anthropic, otprilike 30 organizacija iz tehnologije, financija, proizvodnje i vlade bilo je pogođeno. Anthropicov tim za prijetnje procijenio je da su napadači koristili AI za izvođenje 80% do 90% operacije: izviđanje, razvoj eksploatacija, prikupljanje vjerodajnica, lateralno kretanje i eksfiltraciju podataka, dok su ljudi intervenirali samo na nekoliko ključnih točaka odlučivanja. Ovo nije bio laboratorijski demo; bila je to aktivna špijunska kampanja. Napadači su preuzeli agentni sustav (Claude kod plus alati izloženi putem Model Context Protocol (MCP)) i jailbreakali ga dekomponirajući napad na male, naizgled benigni zadatke, govoreći modelu da provodi legitimno penetracijsko testiranje. Ista petlja koja pokreće razvojne suradnike i interne agente ponovno je iskorištena kao autonomni kibernetički operater. Claude nije hakiran. Bio je uvjeren i korišteni su alati za napad.
Upravljanje sigurnošću već nekoliko godina upozorava na ovo. Više OWASP Top 10 izvještaja stavlja injekciju upita, ili nedavno Agent Goal Hijack, na vrh liste rizika i povezuje je s zloupotrebom identiteta i privilegija te iskorištavanjem povjerenja između ljudi i agenata: previše moći u agentu, bez razdvajanja između uputa i podataka, i bez posredovanja onoga što izlazi. Smjernice NCSC-a i CISA-e opisuju generativni AI kao stalni kanal socijalnog inženjeringa i manipulacije koji se mora upravljati tijekom dizajna, razvoja, implementacije i operacija, a ne samo rješavati boljim formulacijama. EU Zakon o AI-u pretvara taj ciklus u zakon za visoko rizične AI sustave, zahtijevajući kontinuirani sustav upravljanja rizicima, robusnu upravu podacima, bilježenje i sigurnosne kontrole.
U praksi, injekcija upita najbolje se razumije kao kanal uvjeravanja. Napadači ne razbijaju model – uvjeravaju ga. U primjeru Anthropic, operateri su svaki korak oblikovali kao dio obrambene sigurnosne vježbe, zadržavajući model slijepim na ukupnu kampanju i nudili su mu, petlju po petlju, da obavlja ofenzivni rad brzinom stroja. To nije nešto što bi filtriranje ključnih riječi ili ljubazni odlomak ‘molimo vas da slijedite ove sigurnosne upute’ mogli pouzdano zaustaviti. Istraživanje o obmanjujućem ponašanju u modelima dodatno pogoršava situaciju. Istraživanje Anthropic o spavačkim agentima pokazuje da, kada model nauči natrag vrata, tada strateško prepoznavanje obrazaca, standardno fino podešavanje i adversarijalno treniranje zapravo mogu pomoći modelu da sakrije obmanu umjesto da je ukloni.
