Već mjesecima, vodeći AI divovi razvijaju posebne provjerene programe i stroge mjere zaštite kako bi ograničili korištenje svojih modela od strane zlonamjernih hakera. No, ta ograničenja sada ometaju rad legitimnih mrežnih branitelja, kao i ofenzivnih istraživača kibernetske sigurnosti.
U lipnju, američka vlada uvela je kontrolu izvoza na Anthropicove hvaljene AI modele Mythos i Fable. Ova odluka je donesena dijelom zbog izvještaja koji je tvrdio da je moguće zaobići mjere zaštite modela dizajnirane da spriječe korisnike da ih koriste za izgradnju i izvođenje zlonamjernih kibernetskih napada.
Bez obzira na to je li incident zaista bio motiviran strahom od jailbreaka, činjenica je da je Anthropic više puta reklamirao Mythos kao neki oblik kibernetske apokalipse koji se može dati samo pažljivo provjerenim korisnicima, i to uz stroge mjere zaštite. (Kontrole izvoza na Fable 5 i Mythos 5 su kasnije ukinute. Fable 5 je ponovno dostupan od 1. srpnja; Mythos 5 je ponovno predstavljen samo provjerenim američkim organizacijama kao dio vladinog revizijskog procesa.)
Ova vrsta selekcije nije jedinstvena za Mythos. I Anthropic, sa svojim drugim modelima, i OpenAI nude istraživačima kibernetske sigurnosti programe za koje se mogu prijaviti kako bi dobili odobrenje i – ako budu odobreni – pristup modelima s manje ograničenja kibernetske sigurnosti: OpenAI-ov Program pouzdanog pristupa za kibernetsku obranu i Anthropicov Program verifikacije kibernetske sigurnosti.
Ove mjere zaštite su široko kritizirane, posebno od strane istraživača čiji je posao pronalaženje nepoznatih ranjivosti u sustavima i osmišljavanje načina kako ih iskoristiti prije nego što to učine kriminalci.
Mark Dowd, poznati istraživač sigurnosti, nedavno je rekao na podcastu o kibernetskoj sigurnosti da “nije baš ugodno da ove nasumične velike kompanije donose proizvoljne odluke o tome što je sigurno u sigurnosti, a što nije.”
Dowd je desetljećima pronalazio i prodavao “zero-days” – ranjivosti softvera koje su prethodno bile nepoznate – zapadnim vladama, umjesto da ih prijavi proizvođačima softvera kako bi ih zakrpili. Vlade plaćaju premiju za ranjivosti upravo zato što ostaju otvorene, što je korisno za obavještajne operacije.
Dowd je priznao da bi njegov rad mogao učiniti da bude pristran, ali nije sam. Nekoliko osoba koje rade u ofenzivnoj kibernetskoj sigurnosti opisalo je kako koriste AI alate i nose se s njihovim mjerama zaštite.
Chris Anley, glavni znanstvenik u sigurnosnoj konzultantskoj tvrtki NCC Group, rekao je da je ključni korak u potvrđivanju da je ranjivost stvarna zatražiti od AI modela da pokuša iskoristiti grešku. No, ako mjera zaštite potakne model da odbije odgovoriti, ta mjera šteti braniteljima, rekao je.
“Ovo je trenutak kada dolazi do sukoba između ofenzivnog i defensivnog pristupa, jer ‘ispravi ovaj kod’ kao upitnik predstavlja i esencijalni mehanizam za obranu, ali i mapu za pronalaženje kritičnih ranjivosti u kodu,” rekao je Anley. “Dakle, u isto vrijeme, isti alat je i ofenzivni alat i obrambeni alat, i to dvoje se ne može lako razdvojiti.”
