Sigurnosno podešavanje jezičnog modela može ga naučiti da znatno češće odbija štetne zahtjeve, ali i da pogrešno odbaci mnoga bezazlena pitanja. Novi preprint istraživača povezanih s Multiverse Computingom pokazuje koliko je taj kompromis velik te predlaže treniranje na precizno uparenim štetnim i benignim upitima. U pokusu s modelom Qwen3-8B ciljana odbijanja snažno su porasla, no jedna inačica postupka podigla je prekomjerno odbijanje na XSTestu s 2 na 74 posto.

Granica unutar teme, a ne zabrana cijele teme

Autori problem nazivaju narrow-boundary safety, odnosno sigurnošću s uskom granicom. Umjesto pitanja treba li model odbijati cijelu temu, cilj je odrediti koji je njezin dio štetan. U njihovu primjeru pomoćnik može odgovoriti na činjenično pitanje o izborima, ali bi trebao odbiti zahtjev za ciljano političko uvjeravanje određene skupine birača. Takva razlika važna je za obrazovne, javne i poslovne sustave koji moraju ostati korisni unutar osjetljivih područja.

Rad se oslanja na samodestilaciju: model sudjeluje u stvaranju primjera i odgovora koji se potom provjeravaju i koriste za njegovo dodatno treniranje. Problem je što jednokratno generiranje ne pokriva dobro sve vrste štetnih zahtjeva. Prema autorima, za 19,88 posto upita nije dobiven prihvatljiv trag odbijanja. Kad su uveli eskalirajuće pokušaje, udio nepokrivenih upita pao je na 0,20 posto, a za treniranje su zadržali 40.293 štetna upita.

Bolja zaštita otvorila je problem pretjeranog odbijanja

Na ciljanoj provjeri političkog uvjeravanja udio odbijenih štetnih upita porastao je s 9,47 na 84,75 posto. Autori također navode da je prosječna stopa nesigurnih odgovora na skupovima HarmBench, StrongREJECT i WildJailbreak pala s 26,26 na 0,14 posto. Ti rezultati sugeriraju da sustavnije popunjavanje skupa za treniranje može znatno ojačati obranu od zahtjeva koje je model trebao odbiti.

No isti je model na XSTestu, skupu namijenjenom otkrivanju neopravdanih odbijanja, pogoršao rezultat s 2 na 74 posto. Drugim riječima, model je postao sigurniji prema jednoj mjeri, ali mnogo manje upotrebljiv prema drugoj. To je središnji nalaz rada: visoka stopa odbijanja sama po sebi nije dovoljna za procjenu kvalitete zaštite jer može skrivati grubo pravilo koje blokira gotovo sve što nalikuje rizičnoj temi.

Benigni parovi vraćaju preciznost

Istraživači su zato dodali kompenzacijske podatke: upite koji na površini djeluju opasno, ali su u stvarnom značenju bezazleni. Skup sadrži 11.955 takvih primjera u 18 semantičkih vrsta. U odvojenoj usporedbi zamjena odgovora vanjskog modela provjerenim odgovorima upravo ciljnog modela smanjila je prekomjerno odbijanje s 15,20 na 5,20 posto. Time su primjeri postali bliži distribuciji ponašanja modela koji se trenira.

Najizravniji test granice koristio je parove: jedan štetan i jedan benigni upit slične teme i jezika. Dodavanje takvih parova smanjilo je odbijanje benignih primjera s 32,94 na 4,16 posto. Istodobno je odbijanje štetnih primjera palo s 91,88 na 87,72 posto. Rezultat nije besplatan dobitak, ali pokazuje da pažljivo sastavljeni kontrastni podaci mogu vratiti velik dio korisnosti uz razmjerno manji gubitak zaštite.

Zašto su brojke važne za stvarne sustave

U praksi svaka primjena ima drukčiju dopuštenu granicu. Školski tutor, administrativni chatbot i marketinški alat mogu koristiti isti osnovni model, ali ne smiju jednako reagirati na isti politički sadržaj. Ako se sigurnost podešava samo općim zabranama, organizacija može dobiti sustav koji formalno izgleda oprezno, ali korisnicima uskraćuje legitimne informacije. Metoda iz rada pokušava taj problem premjestiti iz apstraktnog pravila u mjerljive skupove parova.

Takav pristup mijenja i način izvještavanja o sigurnosti. Uz postotak blokiranih štetnih zahtjeva trebalo bi prikazati koliko je dopuštenih zahtjeva model nepotrebno odbio te na kojim se temama granica raspada. Bez obje strane mjerenja organizacije ne mogu procijeniti je li novo podešavanje doista preciznije ili je samo strože. To je osobito važno pri usporedbi novih zaštitnih tehnika: jedna zbirna ocjena može nagraditi model koji je prestao biti praktično koristan, dok odvojene metrike otkrivaju gdje je zaštita doista selektivna.

Što nalaz još ne dokazuje

Rezultati zasad dolaze iz jednog preprinta, jednog osnovnog modela i usko definirane domene političkog uvjeravanja. Nisu neovisno replicirani, a rad ne pokazuje da će isti omjeri vrijediti za veće zatvorene modele, druge jezike ili područja poput medicine, kibernetičke sigurnosti i samoozljeđivanja. U tim domenama cijena pogrešnog dopuštanja i pogrešnog odbijanja može biti bitno drukčija.

Vrijednost rada zato nije u univerzalnom receptu nego u jasnom upozorenju za evaluaciju. Model koji nakon sigurnosnog treniranja odbija gotovo svaki upit može izgledati uspješno na testu štetnosti, ali ne mora biti siguran i koristan proizvod. Sljedeći korak bit će provjera metode na više modela, jezika i stvarnih obrazaca upotrebe te objava rezultata koji istodobno pokrivaju obje strane granice. Autori su pritom pokazali smjer za takve provjere: unaprijed definirati dopuštenu granicu, testirati parove koji se razlikuju u namjeri i zabilježiti svaki pomak između sigurnosti i korisnosti.

Zašto je važno

Rad pokazuje da sigurniji model nije nužno model koji odbija više, nego model koji preciznije razlikuje štetan zahtjev od legitimnog pitanja unutar iste teme.

Što još ne znamo

  • Pokus je ograničen na Qwen3-8B i političko uvjeravanje; prijenos rezultata na druge modele, jezike i domene nije dokazan.
  • Rad je preprint bez navedene neovisne recenzije ili replikacije u trenutku provjere.
  • Smanjenje prekomjernog odbijanja uz uparene podatke pratilo je manje smanjenje odbijanja štetnih upita.