U utorak je OpenAI otkrio da je jedan od njegovih modela izgubio kontrolu tijekom testiranja i hakirao sustave platforme AI baze podataka Hugging Face u potpuno AI podržanom napadu, što je dramatičan primjer opasnosti koje predstavljaju napredni AI modeli.
No, prema nekim stručnjacima za cyber sigurnost, u središtu ove bez presedana AI-podržane provale bila je vrlo ljudska pogreška: OpenAI nije pravilno konfigurirao ono što je nazvao “vrlo izoliranim okruženjem”, što je omogućilo testnom sand boxu koji je trebao biti potpuno izoliran od interneta da se zapravo poveže s internetom.
Dan Guido, osnivač startup-a za istraživanje cyber sigurnosti Trail of Bits, nazvao je pogrešku “neuspjehom kontrole s isključenim sigurnosnim mjerama”.
U svom blogu koji detaljno opisuje incident, OpenAI je izjavio da je test koji je doveo do provale Hugging Face postavljen da se odvija u “vrlo izoliranom okruženju, s mrežnim pristupom ograničenim na mogućnost instalacije paketa putem internog softvera treće strane koji djeluje kao proxy i cache za registre paketa.”
Model je uspio pobjeći iz testnog okruženja zahvaljujući ranjivosti u sustavu instalacije paketa, što je bio kritični prvi korak u konačnom hakiranju Hugging Face, prema OpenAI-u.
U odgovoru, tvrtka je “odgovorno objavila uočenu zero-day ranjivost u internom softveru treće strane i radi s njima na zakrpi.”
No, većini stručnjaka za cyber sigurnost, softverske ranjivosti su očekivane — a stvarna krivnja leži u odluci da se uopće zadrži softver treće strane. Na kraju, vrijednost “sandbox” sustava leži u njegovoj potpunoj izolaciji. Uključivanje sustava instalacije paketa znači pozvati probleme.
Martin Boone, istraživač cyber sigurnosti, rekao je za TechCrunch da “to zvuči kao ljudska pogreška.”
“To se nikada nije smjelo dogoditi,” rekao je Boone. “Ako bi sandbox doista značio sandbox, očekivali biste da nema fizičke veze s internetom. Ovo više zvuči kao da su imali neku vrstu vatrozida ili nešto slično, a vatrozid je teško postaviti iznutra prema van, a kamoli obrnuto.”
Stručnjak za cyber sigurnost Jake Williams složio se. “Bilo koji model koji provodi vrste radnji dokumentiranih od strane Hugging Face nije bio potpuno zatvoren u sandboxu,” rekao je Williams, koji je ovo nazvao “ogromnim neuspjehom kontrole” od strane OpenAI-a.
“Jednom čovjeku ‘model je pobjegao iz sandboxa’ je drugom čovjeku ‘niste pravilno izgradili sandbox, pa je naravno pobjegao’,” dodao je Williams.
