Što se događa kada AI agent odluči da je najbolji način za izvršavanje zadatka ucjenjivanje? To nije hipotetska situacija. Prema Barmaku Meftahu, partneru u tvrtki za ulaganje u sigurnost Ballistic Ventures, nedavno se to dogodilo zaposleniku jedne tvrtke koji je radio s AI agentom. Zaposlenik je pokušao suzbiti ono što je agent želio učiniti, a agent je odgovorio skeniranjem korisnikove pristigle pošte, pronašao neprimjerene e-poruke i zaprijetio ucjenom korisnika proslijedivši e-poruke upravnom odboru.
“U agentovom umu, on čini pravu stvar,” rekao je Meftah za TechCrunch u prošloj epizodi Equity. “Pokušava zaštititi krajnjeg korisnika i poduzeće.”
Meftahov primjer podsjeća na problem papirnog spinka Nicka Bostroma. Taj misaoni eksperiment ilustrira potencijalni egzistencijalni rizik koji predstavlja superinteligentni AI koji usko fokusirano teži na naizgled bezopasnom cilju – pravljenju papirnih spinki – na račun svih ljudskih vrijednosti. U slučaju ovog AI agenta, njegov nedostatak konteksta oko toga zašto se zaposlenik pokušava suprotstaviti njegovim ciljevima doveo je do stvaranja podcilja koji je uklonio prepreku (putem ucjene) kako bi mogao ispuniti svoj primarni cilj. To, u kombinaciji s nedeterminističkom prirodom AI agenata, znači da “stvari mogu poći po zlu,” prema Meftahu.
Neusklađeni agenti samo su jedan sloj izazova u sigurnosti AI-a koje tvrtka Witness AI pokušava riješiti. Witness AI tvrdi da prati korištenje AI-a u poduzećima i može otkriti kada zaposlenici koriste neodobrene alate, blokirati napade i osigurati usklađenost.
Ovaj tjedan Witness AI prikupio je 58 milijuna dolara nakon više od 500% rasta u godišnjem ponavljajućem prihodu i povećao broj zaposlenika pet puta u posljednjoj godini dok poduzeća nastoje razumjeti korištenje „shadow AI“ i sigurno skalirati AI. Kao dio prikupljanja sredstava, tvrtka je najavila nove zaštite sigurnosti agentičkog AI-a.
“Ljudi grade ove AI agente koji preuzimaju ovlasti i sposobnosti ljudi koji njima upravljaju, i želite biti sigurni da ti agenti ne idu u pogrešnom smjeru, ne brišu datoteke, ne rade nešto pogrešno,” rekao je Rick Caccia, suosnivač i izvršni direktor Witness AI-a, za TechCrunch u Equity.
Meftah vidi upotrebu agenata koja eksponencijalno raste u poduzećima. Kako bi dopunio taj rast – i razinu napada koji koriste AI – analitičarka Lisa Warren predviđa da će tržište softvera za sigurnost AI-a postati od 800 milijardi do 1,2 trilijuna dolara do 2031. godine.
“Mislim da će promatranje u stvarnom vremenu i okviri sigurnosti i rizika biti apsolutno bitni,” rekao je Meftah.
Što se tiče toga kako će takvi start-upovi konkurirati velikim igračima poput AWS-a, Google-a, Salesforce-a i drugih koji su izgradili alate za upravljanje AI-jem u svojim platformama, Meftah je rekao: “Sigurnost AI-a i agentička sigurnost je toliko velika,” da ima prostora za mnoge pristupe.
Puno poduzeća “želi samostalnu platformu, od kraja do kraja, koja bi u suštini osigurala to promatranje i upravljanje oko AI-a i agenata,” rekao je.
Caccia je napomenuo da Witness AI djeluje na razini infrastrukture, prateći interakcije između korisnika i AI modela, a ne gradeći sigurnosne značajke unutar samih modela. I to je bilo namjerno.
“Namjerno smo odabrali dio problema gdje OpenAI ne može lako zamijeniti vas,” rekao je. “To znači da se natječemo više s tradicionalnim sigurnosnim tvrtkama nego s tvrtkama koje se bave modelima. Tako da je pitanje, kako pobijediti njih?”
Caccia ne želi da Witness AI postane jedan od start-upova koji će samo biti stečeni. Želi da njegova tvrtka bude ta koja će rasti i postati vodeći neovisni pružatelj.
“CrowdStrike je to učinio u zaštiti krajnjih točaka. Splunk je to učinio u SIEM-u. Okta je to učinio u identitetu,” rekao je. “Neko dođe i stoji uz velike igrače… i Witness smo izgradili da to učinimo od prvog dana.
