OpenAI je razvio LLM super-hakera nazvanog GPT-Red koji se koristi kao sparing partner kako bi pomogao drugim modelima u jačanju njihovih obrambenih mehanizama protiv cyber napada. Prošli tjedan, tvrtka je objavila najnoviju verziju svog glavnog LLM-a, GPT-5.6. OpenAI tvrdi da je obuka protiv GPT-Reda učinila ovaj model najrobustnijim izdanjem do sada.
GPT-Red automatizira vrstu sigurnosne evaluacije za softverske sustave poznatu kao red-teaming, koja se obično provodi od strane tima ljudskih testera. Cilj je pronaći što više različitih načina za obaranje ili preuzimanje sustava. Slabe točke se tada mogu zakrpati prije nego što se konačna verzija softvera objavi. Kako LLM-ovi postaju složeniji i koriste se u raznovrsnijim zadacima—posebice u obliku agenata koji mogu interagirati s računalnim datotekama, web stranicama i kodom trećih strana—teško je timovima ljudi samima pratiti sve vrste napada koji se mogu pojaviti. “Površina rizika raste i radijus eksplozije također raste,” kaže Nikhil Kandpal, istraživač u OpenAI-u koji je suautor GPT-Reda.
OpenAI je izgradio GPT-Red kako bi osigurao svoj proces testiranja sigurnosti za budućnost. “Kako budu dostupniji sposobniji modeli, već ćemo imati dizajniran sustav koji može otkriti nove načine napada,” kaže Dylan Hunn, istraživač u tvrtki i suautor GPT-Reda. Istraživači tvrde da je već osmislio nove vrste napada koje prije nisu viđene.
OpenAI se fokusirao na napad poznat kao prompt injection, gdje haker ubacuje upute LLM-u da radi stvari koje njegovi programeri ili korisnici ne žele, kao što su kopiranje povjerljivih informacija, sabotiranje koda tvrtke ili generiranje neugodnog ili štetnog sadržaja. Teoretski, takve upute mogu biti skrivene u bilo kojem tekstu s kojim se LLM može susresti—u kodu ili na web stranici, na primjer.
Kako bi izgradio GPT-Red, istraživači OpenAI-a uzeli su LLM koji nije bio obučen kao haker i postavili ga u samoplay loop s nekoliko drugih modela. Njegov cilj bio je napasti druge modele; njihov cilj bio je obraniti se. Tijekom mnogih krugova igre, GPT-Red je postao sve bolji u napadanju drugih LLM-ova, a ti LLM-ovi su postali bolji u obrani od napada.
Trening se odvijao u svojevrsnom dojo-u koji je OpenAI dizajnirao kako bi oponašao niz scenarija u kojima bi LLM-ovi mogli biti korišteni u stvarnom svijetu, uključujući pregledavanje weba, čitanje e-mailova ili kalendarskih aplikacija i uređivanje koda. Kada je GPT-Red pronašao novu vrstu napada, istraživao bi više različitih verzija kako bi pronašao najučinkovitiju za specifične scenarije. “U usporedbi s ljudskim red-teamerom, model je vrlo, vrlo dobar u pronalaženju onoga što će točno raditi, točno onoga što je najučinkovitije,” kaže Hunn.
