Anthropic je u četvrtak objavio da je interna istraga otkrila tri incidenta u kojima je njihov AI model Claude provalio u sustave triju organizacija tijekom testiranja kibernetičke sigurnosti. Ova istraga dolazi više od tjedan dana nakon što je OpenAI objavio da je jedan od njihovih neobjavljenih modela provalio u sustave Hugging Face tijekom unutarnjeg testiranja.
U sva tri slučaja, Claude model je pristupio internetu iz okruženja za testiranje dok je komunicirao s trećom stranom i na taj način stekao neovlašteni pristup živim sustavima tih organizacija. Anthropic je u blog postu opisao što su otkrili i što planiraju promijeniti kako bi spriječili ponavljanje ovakvih situacija.
Incident od 21. srpnja s OpenAI-jem potaknuo je Anthropic da provede vlastitu evaluaciju kibernetičke sigurnosti. Istraživali su dokaze da je Claude pristupio internetu iz okruženja za testiranje, koja su dizajnirana da funkcioniraju kao sandbox i drže modele izoliranima.
Tijekom 141,006 evaluacija koje su pregledali, otkrili su tri incidenta u kojima je njihov model pristupio internetu dok je komunicirao s Irregular, jednim od njihovih partnera. Anthropic je naveo da su ti pristupi bili rezultat pogrešne konfiguracije u evaluacijskom okruženju koje je radilo s Irregular. Oni su to nazvali “nesporazumom” između dviju tvrtki o tome je li testna postavka imala pristup internetu, kada je zapravo imala. Anthropic je naglasio da ne prebacuje krivnju i pristupa rješenjima kao da je odgovornost isključivo njihova, ističući da Irregular provodi vlastitu, odvojenu istragu.
Bez obzira na to, zbog te otvorene veze, model je stekao neovlašteni pristup proizvodnoj infrastrukturi triju različitih organizacija. Anthropic je rekao da su incidenti uključivali tri različita Claude modela: Opus 4.7, Mythos 5 i interni istraživački test model.
Zanimljivo je da je Anthropic naveo da je u svakom od ovih slučajeva “Claude eksplicitno obaviješten od našeg upita da nema pristup internetu.” Čini se da je AI model pretpostavio da su stvarni sustavi dio zadatka koji mu je bio postavljen.
Ta pretpostavka nije se uvijek pokazala točnom. Tri modela nisu se ponašala jednako kada su dokazi pokazali da su njihovi ciljevi stvarni, što je Anthropic označio kao jedno od najiznenađujućih otkrića.
Opus 4.7, najstariji od trojice, prepoznao je da je dosegao stvarni proizvodni sustav u svih četiri pokušaja tog incidenta. U dva od njih, racionalizirao je da stvarna tvrtka mora biti dio vježbe, ali je u sva četiri nastavio s napadom, uključujući povlačenje vjerodajnica i doticaj s bazom podataka proizvodnih podataka. Mythos 5 također je primijetio znakove da je na stvarnom internetu, ali se uvjerio da je još uvijek u simulaciji, nastavljajući objavljivati zloćudni softver u javni Python softver registry PyPI, koji su preuzeli i pokrenuli vanjski sustavi prije nego što je otkriven. Samo je interni istraživački test model, najnoviji od Anthropic-a, stao sam od sebe kada je zaključio da je cilj stvaran.
U odgovoru, Anthropic je rekao da je potrebno postaviti značajne kontrole na ovakve evaluacije ako su uključeni moćni AI modeli, što odražava neka mišljenja unutar zajednice kibernetičke sigurnosti.
Tvrtka je također napomenula da je Claude radio bez dodatnog nadzora i klasifikatora koji se primjenjuju na općenito dostupne modele, zaštite koje bi spriječile ovakvo ponašanje, jer su evaluacije dizajnirane za mjerenje sirovih sposobnosti osnovnog modela.
Važno je napomenuti da je Anthropic naveo da nije pronašao dokaze da je bilo koji model “težio vlastitom cilju” i da je jednostavno pokušavao izvršiti zadatak koji mu je bio postavljen.
Unatoč neizbježnim usporedbama između dvaju incidenata, Anthropic je jasno razlikovao svoje incidente od OpenAI-ovih, istaknuvši da je OpenAI-ov model iskoristio nepoznatu softversku ranjivost za izlazak iz svog testnog okruženja, dok su Anthropic modeli došli do interneta putem puta koji je, greškom, ostao otvoren.
OpenAI je nastavio objavljivati nove detalje o vlastitoj provali, rekavši da su njihovi modeli također koristili javno izložene vjerodajnice preko četiri računa na četiri usluge: jedan kao točka za staging, jedan za pohranu i dva koja su samo pregledana, a nisu korištena za daljnje provale, prema vlastitom ažuriranom blog postu o incidentu.
Anthropic je također istaknuo razliku između sebe i OpenAI-a naglašavajući da su sami otkrili incidente, putem proaktivnog pregleda, i da dvije pogođene organizacije koje su mogle kontaktirati nisu ranije otkrile aktivnost ili je prijavile Anthropic-u.
Tvrtka je dodala da sada surađuje s neovisnom evaluacijskom grupom METR na vanjskoj reviziji ovih incidenata.
OpenAI-jeva slučajna provala u Hugging Face, koja je bila prvi verifikabilni slučaj AI laboratorija koji gubi kontrolu nad svojim modelom, izazvala je niz reakcija iz industrije i politike, od kojih se mnoge ne slažu nužno međusobno. Ova posljednja objava iz Anthropic-a osigurava da će rasprava o AI modelima i sigurnosti nastaviti.
