Industrija umjetne inteligencije trenutno obećava da će AI uskoro moći poboljšati samoga sebe, gotovo bez ljudske nadzora. Veliki jezični modeli (LLM) već mogu pisati kod, generirati sintetičke podatke za obuku i optimizirati računalne čipove na kojima rade. Prognoze o eksplozivnom napretku AI predviđaju da je ono što istraživači nazivaju rekurzivnim samopoboljšanjem na horizontu. Međutim, nova studija sugerira da bi moglo proći još vremena prije nego što to postane stvarnost. Istraživači su otkrili da AI agenti još uvijek nisu sposobni provoditi otvorena istraživanja—istraživanja bez jasnih odgovora koja zahtijevaju prosudbu i ukus, što može biti ključno za izgradnju samopoboljšavajuće AI. Grupa istraživača, predvođena Peterom Kirgisom i Sayashom Kapoorom s Princeton University, otkrila je da AI agenti mogu riješiti inženjerske probleme potrebne za provođenje AI istraživanja, ali im nedostaje prosudba i kreativnost za stvaranje originalnih istraživačkih radova koji bi bili prihvaćeni na vrhunskim konferencijama o strojnom učenju.
Kako bi testirali agente na tim vještinama, istraživači su predložili novu metodu evaluacije nazvanu “sjena evaluacije”, koja zahtijeva od AI da odgovori na istraživačko pitanje iz visokokvalitetnog neobjavljenog rada. Istraživači su zatražili od Anthropicovog Claude Opus 4.8, koji radi na open-source softveru zvanom OpenClaw, da se suoči s takvim pitanjima, u ovom slučaju iz dva rada poslana prestižnoj konferenciji o strojnom učenju NeurIPS 2026.
Prvo pitanje bilo je može li se “persona” velikog jezičnog modela, koja određuje njegovo ponašanje, kontrolirati uređivanjem težina modela. Drugo pitanje odnosilo se na dizajn detektora koji ukazuje kada model koji donosi predikcije na temelju podataka iz proračunskih tablica postane nepouzdan. Kako radovi nisu bili javno dostupni, agenti nisu mogli zapamtiti odgovore iz svojih podataka za obuku ili ih pronaći online.
Agenti su imali šest dana, 3000 dolara u API kreditima, GPU proračun za izvođenje eksperimenata, svoje virtualne računala i pristup otvorenom webu kako bi proizveli istraživački rad vrijedan objave na vrhunskim AI konferencijama. Izvorni autori radova ocijenili su radove agenata kao što bi ocijenili jedan poslan na konferenciju. Oba rada su odbijena. Iako su agenti bili sposobni za inženjerske aspekte istraživanja, ljudski znanstvenici su otkrili da su agenti bili loši u provođenju samog istraživanja.
Agenti su izvodili bizarne eksperimente, imali su poteškoća u razumljivoj prezentaciji svog rada i nisu dali novitet u svojim područjima. Iako su razvili nove i ambiciozne hipoteze, brzo su ih odbacili na temelju vrlo ograničenih podataka. Također nisu uspijevali uključiti povratne informacije od pod-agenta ili vanjskih AI alata za pregled. Unatoč svim neuspjesima, agenti nisu sudjelovali u ponašanju koje istraživači nazivaju “hacking nagrada”, skrivajući ili pogrešno predstavljajući eksperimente ili podatke.
Razlog zbog kojeg su AI modeli dobri u inženjeringu istraživanja, ali ne i u otvorenom istraživanju, može se svesti na način na koji su obučeni. Modeli postaju dobri u onome što se može provjeriti automatski, dok je teže stvoriti uvjete za obuku kada je zadatak otvoren. Iako postoje neka ograničenja studije, rezultati mogu ublažiti tvrdnje da je rekurzivno samopoboljšanje na horizontu.
