Od 2024. godine, tim za optimizaciju performansi u Anthropicu daje kandidatima za posao test koji moraju riješiti kod kuće kako bi provjerili svoje znanje. No, kako su alati za kodiranje temeljeni na AI postali bolji, test se morao znatno promijeniti kako bi se ispredio AI-pomoćnom varanju.
Vođa tima Tristan Hume opisao je povijest ovog izazova u blog objavi u srijedu. “Svaki novi Claude model prisilio nas je da redizajniramo test”, piše Hume. “Kada su imali istu vremensku ograničenost, Claude Opus 4 nadmašio je većinu ljudskih kandidata. To nam je još uvijek omogućilo da razlikujemo najsnažnije kandidate – ali tada je Claude Opus 4.5 izjednačio i s njima.”
Rezultat je ozbiljan problem u procjeni kandidata. Bez nadzora uživo, ne postoji način da se osigura da netko ne koristi AI za varanje na testu – a ako to učine, brzo će napredovati. “Pod ograničenjima testa kod kuće, više nismo imali način da razlikujemo između izlaza naših najboljih kandidata i našeg najnaprednijeg modela”, piše Hume.
Pitanje varanja uz pomoć AI već stvara probleme u školama i sveučilištima širom svijeta, što je ironično jer se i AI laboratoriji moraju nositi s tim. No, Anthropic je također jedinstveno opremljen za suočavanje s ovim problemom.
Na kraju je Hume dizajnirao novi test koji je imao manje veze s optimizacijom hardvera, čineći ga dovoljno novim da zbuni suvremene AI alate. No, kao dio objave, podijelio je izvorni test kako bi vidio može li netko tko čita doći do boljeg rješenja.
“Ako možete nadmašiti Opus 4.5”, stoji u objavi, “radosni bismo čuli od vas.”
