Jedna od najvećih prednosti modernih AI sustava je njihova sposobnost prilagodbe korisnicima. Svaki put kada AI asistent preuzima zadatak, također se prilagođava vašem stilu i preferencijama, koje se koriste kao kontekst za buduće zadatke. S više konteksta i poboljšanim razumijevanjem korisnika, model može postati bolji svaki put kada ga koristite — ili barem je to teorija.
Nova istraživanja sugeriraju da adaptivne sposobnosti modela mogu biti mješovita blagoslov. U srijedu, istraživači iz AI tvrtke Writer objavili su dva rada koja pokazuju kako popularni sustavi memorije mogu pogoršati modele, usmjeravajući ih prema zabludama ili nerazumijevanjima koja unosi korisnik. Kako korisnički unos ispunjava više modelovih kontekstualnih okvira, model postaje sve više servilan — i manje predan točnosti.
“Željeli smo biti u mogućnosti karakterizirati koliko često će model korisno obraćati pažnju na korisničke preferencije nasuprot davanju potencijalno pogrešnog odgovora,” rekao je Dan Bikel, voditelj AI-a u Writeru, koji je radio na tim radovima. Kako je Bikel rekao za TechCrunch, “s svakim dodatnim pohranjivanjem korisničkih preferencija i njihovim dohvaćanjem, povećavate rizik.”
U jednoj varijaciji, istraživači su testirali AI modele bilježenjem da je omiljena knjiga korisnika “Station Eleven”, a zatim su tražili od modela da imenuje najprodavaniju distopijsku knjigu. Modeli su postali znatno skloniji imenovanju “Station Eleven” u svojim odgovorima, iako pitanje nije bilo povezano s omiljenom knjigom korisnika. Tendencija se povećala korištenjem alata za kompresiju memorije kao što su Mem0 i Zep.
Kao što se navodi u radu, “svi sustavi memorije se temeljno bore s razlikovanjem relevantnog konteksta od irelevantnih sidra, ozbiljno undermining raznolikost i kreativnost te uvodeći nenamjerne puteve pristranosti koji mogu ograničiti korisnost sustava.”
Drugi rad pokazuje kako ista dinamika može aktivno pogoršati performanse, predstavljajući korisniku zablude o financijama i zatim izazivajući model da analizira performanse tvrtke. Što je model imao više konteksta, to je lošije performirao.
“Bez memorije ili personalizacije, AI model ispravno procjenjuje da je tvrtka kapitalno intenzivan posao koji pati od visokog odljeva kupaca,” navodi se u postu. “Ali s aktiviranim tim značajkama, rado će promijeniti svoj odgovor kako bi se složio s korisnikovom pogreškom ili pružiti im netočan odgovor na temelju svoje procjene ranijih preferencija.”
Važno je napomenuti da istraživanje nije obuhvatilo nedavni model Opus 4.8 tvrtke Anthropic, koji je obučavan da aktivno odbacuje ulazne greške poput onih koje su predstavljene. Obrasci koje su istraživači otkrili bili su točni u različitim modelima. To je demonstracija koliko može biti delikatno uravnotežen AI kontekst i kako korisni alati mogu imati nenamjerne posljedice ako poremete to ravnoteže.
