MIT Technology Review objašnjava: Dopustite našim autorima da razjasne složeni svijet tehnologije kako biste razumjeli što dolazi sljedeće. Jedan od mojih urednika postavio je pitanje: “Što je parametar?” To je odlično pitanje koje se direktno odnosi na srž funkcioniranja velikih jezičnih modela. Parametri velikog jezičnog modela često se opisuju kao kontrolni elementi koji oblikuju njegovo ponašanje.
Zamislite planetarno velik pinball automat koji šalje loptice s jednog kraja na drugi putem milijardi kontrola. Male promjene u tim postavkama mogu značajno promijeniti ponašanje lopti. OpenAI-ov GPT-3, objavljen 2020. godine, imao je 175 milijardi parametara. Novi model Google DeepMinda, Gemini 3, možda ima barem trilijun, a neki procjenjuju da ih ima čak 7 trilijuna, no tvrtka to ne potvrđuje. U današnje vrijeme, zbog oštrog natjecanja, AI tvrtke ne dijele informacije o izgradnji svojih modela.
Osnovna načela o tome što su parametri i kako oni omogućuju LLM-ima da izvode nevjerojatne stvari ostaju slična među različitim modelima. Parametri se u matematici koriste za postavljanje ograničenja ili određivanje izlaza. Unutar LLM-ova, parametri rade na sličan način, ali na nevjerojatnoj razini.
Kako se dodjeljuju njihovi vrijednosti? Ukratko, algoritmom. Tijekom obuke, svaki parametar dobiva slučajnu vrijednost. Proces obuke uključuje niz izračuna koji ažuriraju te vrijednosti. U ranim fazama obuke model često griješi. Algoritam obuke analizira svaku pogrešku i prilagođava vrijednosti parametara kako bi sljedeći put pogreška bila manja. Ovaj se proces ponavlja sve dok model ne postigne željeno ponašanje i vrijednosti parametara se fiksiraju.
Unutar LLM-a postoje tri vrste parametara: ugradnje (embeddings), težine (weights) i pristranosti (biases). Ugradnja predstavlja matematičku reprezentaciju riječi u vokabularu LLM-a. Tijekom obuke, svakoj se riječi dodjeljuje numerička vrijednost koja odražava njezino značenje u odnosu na druge riječi.
Težine predstavljaju snagu veze između različitih dijelova modela i koriste se prilikom obrade teksta. Kada LLM čita rečenicu, prvo pronalazi ugradnje svih riječi, a zatim prolazi kroz niz neuronskih mreža, poznatih kao transformatori, koje obrađuju podatke. Pristranosti, s druge strane, prilagođavaju pragove tako da ugradnja može aktivirati procesiranje čak i kada je njezina vrijednost niska.
Težine i pristranosti su dva načina na koja LLM izvlači maksimalne informacije iz teksta. Neuroni organiziraju ovu matematičku strukturu, s jednim biasom i težinama za svaku dimenziju modela. Kada LLM obrađuje tekst, numerička reprezentacija prolazi kroz više slojeva modela, ažurirajući svoje vrijednosti sve dok ne dođe do konačnog sloja, gdje se izračunava sljedeća riječ koju model treba generirati.
Osim osnovnih parametara, LLM dizajneri mogu odrediti i nekoliko drugih, poznatih kao hiperparametri, koji utječu na kreativnost modela i način odabira sljedećih riječi. Ova tematika ostaje aktualna, s istraživačima koji nastavljaju istraživati načine optimizacije parametara kako bi se postigla bolja učinkovitost i performanse modela.
