Priča je prvotno objavljena u The Algorithm, našem tjednom biltenu o AI-u. Anthropic—trenutno najvrednija AI tvrtka na svijetu, s procjenom od gotovo 1 trilijun dolara—ima reputaciju objavljivanja neobičnih i intrigantnih istraživanja. Na primjer, istražuje mogu li AI modeli osjećati bol, a ponekad prekida razgovore s chatbotovima ako posumnja da korisnici “zlostavljaju” model.
Jedna niša kojoj se Anthropic posvećuje više od drugih AI tvrtki zove se mehanistička interpretabilnost, što znači istraživanje složene matematike AI modela kako bi se saznalo zašto daje određeni ishod, a ne neki drugi. To je složena tema; postoji milijuni podataka koji mogu pridonijeti bilo kojem rezultatu, a prolazak kroz njih može izgledati više poput nasumičnog skupa riječi nego nečega korisnog. Također je kontroverzno. Opisivanje AI modela pojmovima posuđenim iz psihologije i neuroznanosti može učiniti njihovo ponašanje izgledom sofisticiranijim nego što bismo inače smatrali.
Zato, kada je Anthropic prošli tjedan objavio da je pronašao novi uvid u “unutarnje misli” svojih modela dok razmišljaju o odgovorima, morao sam razgovarati s kolegom. Stariji urednik Will Douglas Heaven, osim što ima doktorat iz računalnih znanosti, proveo je puno vremena istražujući što možemo reći o tome kako AI modeli funkcioniraju. Razgovarao sam s njim o tome što bismo trebali uzeti iz novog (i predvidljivo neobičnog) istraživanja Anthropic-a.
Što je točno Anthropic naučio? Anthropic već nekoliko godina pokušava razumjeti kako funkcioniraju veliki jezični modeli (LLM). Anthropic nije jedini koji se bavi tim pitanjem, ali mislim da je tvrtka to postavila kao dio svoje osnovne misije više od drugih. CEO Anthropic-a, Dario Amodei, rekao je da nećemo moći potpuno kontrolirati LLM-ove osim ako ne saznamo više o tome kako rade.
Ovo novo istraživanje je u tom kontekstu. Ide dublje u čudne mehanizme unutar LLM-ova nego ikad prije. Ono što je Anthropic otkrio jest da LLM-ovi imaju prostor unutar sebe—koji Anthropic naziva J-prostor—ispunjen riječima koje se ne pojavljuju u njihovom izlazu, ali se čini da utječu na način na koji rješavaju probleme. Sve to je bilo skriveno dok Anthropic nije razvio novu tehniku za istraživanje svog modela Claude, tako da je to pravo otkriće.
Ponekad te riječi prate gdje je LLM stigao u određenom zadatku, ponekad izgledaju više kao trenuci prepoznavanja (na primjer, “protein” bi se mogao pojaviti kada LLM-u date samo slova proteinske sekvence), a ponekad predstavljaju vrstu unutarnjeg komentara o donošenju odluka modela. U mom omiljenom primjeru, Claude je odlučio varati na ispitu iz kodiranja kada se riječ “panika” pojavila.
Anthropic je također otkrio da LLM-ovi mogu opisivati i manipulirati riječima u ovom prostoru. Tako se čini da ga koriste.
