K2 Horizon otvara šest AI modela, ali najveći još čeka dio podataka i koda

Jedna obitelj od sata do podatkovnog centra

K2 Horizon nije jedan model s nekoliko komercijalnih paketa, nego šest zasebnih veličina koje dijele temeljnu arhitekturu, rječnik, način treniranja i sučelja za pokretanje. Najmanji model ima 0,9 milijardi parametara i IFM ga usmjerava prema uređajima s vrlo malo memorije i energije, poput satova i naočala. Slijede guste verzije od 3,7 i 7 milijardi parametara za telefone, razvoj i jeftinije lokalno izvođenje, zatim gusti model od 32 milijarde parametara za snažnija računala i lokalne poslužitelje.

Dvije najveće verzije koriste rijetku arhitekturu, odnosno ne aktiviraju cijelu mrežu za svaki ulaz. Model 36B-A4B sprema 36 milijardi parametara, ali u obradi jednog tokena koristi oko četiri milijarde. Glavni 375B-A23B ima ukupno 375 milijardi parametara, dok za svaki token aktivira 23 milijarde. Takva mješavina stručnjaka pokušava zadržati veliki kapacitet znanja bez troška izvođenja koji bi imao jednako velik gusti model. Najveća verzija podržava kontekst od 524.288 tokena, dovoljno velik za vrlo duge dokumente ili višekoračne agentske zadatke, ali memorijski i hardverski zahtjevi i dalje je stavljaju izvan dosega običnog osobnog računala.

Institut predlaže da razvojni tim započne na malom modelu, a zatim prijeđe na veću verziju bez promjene cijelog načina posluživanja. Modeli imaju podršku za popularne sustave vLLM, SGLang i Ollama, a dostupni su preko Hugging Facea te partnerskih API usluga. Apache 2.0 dopušta preradu i komercijalnu uporabu koda i modela uz uvjete licence, što K2 Horizon čini zanimljivim istraživačima i tvrtkama koje žele vlastito izvođenje umjesto slanja podataka zatvorenom vanjskom API-ju.

Praktična dostupnost ipak se razlikuje od formalno otvorene licence. Manje inačice mogu se preuzeti i pokrenuti kroz uobičajene biblioteke, a kartice modela daju primjere za Transformers, vLLM, SGLang i Docker. Kod najveće verzije preuzimanje težina ne znači da će je korisnik moći izvoditi na jednoj radnoj stanici: ukupna veličina datoteka, memorija za aktivne parametre i dugi kontekst traže ozbiljnu poslužiteljsku infrastrukturu. Partnerski API zato ostaje najjednostavniji pristup glavnom modelu, dok su manji članovi obitelji realniji izbor za lokalne pokuse, prilagodbu i provjeru objavljenih metoda.

Otvorene težine nisu isto što i otvoren razvoj

Kod većine takozvanih otvorenih velikih jezičnih modela korisnik može preuzeti završne težine, odnosno brojčano stanje mreže nakon treniranja. To je dovoljno za lokalno pokretanje i prilagodbu, ali ne omogućuje rekonstrukciju odluka koje su dovele do tog rezultata. Bez popisa i obrade podataka, rasporeda učenja, izvornog trening-koda, ranijih kontrolnih točaka i evaluacijskih skripti teško je provjeriti zašto je model razvio određenu sposobnost, pristranost ili sigurnosni problem.

IFM zato K2 Horizon predstavlja kao projekt otvorene znanosti, a ne samo otvorenih težina. Reuters navodi da paket uključuje podatke, metode i međukontrolne točke kako bi drugi istraživači mogli pratiti razvoj modela i pokušati reproducirati rezultate. Kartica verzije od 3,7 milijardi parametara doista navodi da su javni podaci i recept, kod za treniranje, evaluacijski resursi i međukontrolne točke. Takva dokumentacija može pomoći pri proučavanju promjena sposobnosti tijekom treniranja, a ne samo ispitivanju konačnog proizvoda.

No objava još nije potpuno ujednačena. Kartica najvećeg modela 375B-A23B kaže da je završna kontrolna točka objavljena, ali da će podaci, kod za treniranje i međukontrolne točke biti objavljeni naknadno. To ne poništava vrijednost već dostupnih modela, ali znači da IFM-ovu tvrdnju o potpuno otvorenoj obitelji treba čitati kao cilj i proces koji traje, a ne kao dokaz da je svaki obećani artefakt već dostupan za svaku veličinu. Rok za dovršetak tog paketa nije naveden.

Brže generiranje i novi način odabira stručnjaka

IFM ističe dvije tehničke novosti. Prva je difuzijska destilacija, pristup kojim se model uči stvarati blokove tokena usporedno umjesto da tekst uvijek proizvodi strogo znak po znak ili riječ po riječ. Institut tvrdi da njegov dodatak može ubrzati generiranje približno tri puta bez mjerljivog pada kvalitete. Druga je Mixture of Value Attention, odnosno način usmjeravanja informacijskih tokova prema specijaliziranim dijelovima modela s ciljem boljeg zaključivanja bez povećanja količine računanja.

Te tvrdnje zasad dolaze od samog proizvođača. IFM objavljuje rezultate na testovima matematike, programiranja, znanstvenog zaključivanja, uporabe alata i agentskog rada te tvrdi da pojedine veličine nadmašuju veće otvorene modele. Kartice modela donose tablice i konfiguracije, što olakšava provjeru, ali nije isto što i neovisna evaluacija na jednakom hardveru i s jednakim postavkama. Posebno treba provjeriti koliko se najavljena ubrzanja održavaju u stvarnim aplikacijama, pri dugim kontekstima i u više jezika.

Zašto je izdanje važno unatoč nedovršenom rollout-u

Vrijednost K2 Horizona nije samo u pokušaju natjecanja s vodećim laboratorijima. Objavljeni podaci i kod mogu omogućiti sveučilištima, manjim tvrtkama i neovisnim istraživačima da ispituju kako izbor podataka i treninga mijenja ponašanje modela. To je važno i za sigurnost: problem se može tražiti u određenoj fazi razvoja, a popravak se može ponoviti i usporediti. Otvoreni recept također smanjuje ovisnost o tvrdnjama proizvođača, pod uvjetom da su artefakti dovoljno potpuni i da istraživači imaju računalne resurse za reprodukciju.

Projekt istodobno pokazuje ograničenje otvorenosti velikih modela. Čak i kad su težine, kod i podaci javni, treniranje sustava od stotina milijardi parametara zahtijeva infrastrukturu koju većina istraživača nema. Otvorenost zato ne uklanja ekonomsku razliku između velikog laboratorija i pojedinačnog korisnika, ali omogućuje reviziju, izradu manjih izvedenica i lokalno pokretanje pristupačnijih članova obitelji. U tom je smislu model od 3,7 ili 7 milijardi parametara za širu zajednicu možda praktično važniji od naslovnog sustava od 375 milijardi.

K2 Horizon dolazi iz instituta koji je Sveučilište Mohamed bin Zayed pokrenulo u svibnju 2025., s uredima u Abu Dhabiju, Silicijskoj dolini i Parizu. Izdanje time služi i širem cilju Ujedinjenih Arapskih Emirata da izgrade vlastiti položaj u globalnoj AI industriji. Hoće li obitelj postati stvarna referenca za otvoreni razvoj ovisit će manje o promotivnoj oznaci, a više o tome hoće li IFM dovršiti objavu svih obećanih podataka i koda te hoće li neovisni timovi moći ponoviti rezultate. Prvi materijali daju ozbiljnu osnovu za taj test, ali konačna presuda tek slijedi.