Svaki put kada postavite pitanje ChatGPT-u, vaš zahtjev pokreće utrku za prijenos podataka. Informacije napuštaju memoriju, prolaze kroz CPU za prethodnu obradu, putuju do GPU-a za teške izračune i zatim se vraćaju — a taj put se ponavlja za svaku riječ koju AI generira.
Usko grlo je strukturno — to znači usmjeravanje kroz neke od najskupljih i najintenzivnijih čipova u industriji za svaki zahtjev. Ta neučinkovitost upravo je ono što XCENA, startup sa sjedištem u Južnoj Koreji i SAD-u, pokušava riješiti. Ovaj četverogodišnji startup dizajnirao je čip koji smješta računalne mogućnosti bliže DRAM-u — brzim, kratkoročnim memorijskim čipovima koji pohranjuju podatke koje procesor aktivno koristi — omogućujući rutinske operacije podataka da se obrađuju blizu memorije, bez skupih putovanja između CPU-a, GPU-a i memorije.
Ako uspije u velikom mjerilu, posljedice za troškove AI infrastrukture mogle bi biti značajne, što dijelom objašnjava entuzijazam investitora oko tvrtke. Naime, XCENA je nedavno prikupila 135 milijuna dolara u seriji B s procjenom od 570 milijuna dolara, čime je ukupan iznos prikupljenog kapitala dosegao 185 milijuna dolara.
CEO XCENA-e, Jin Kim, suosnivač je startupa 2022. godine zajedno s CTO-om Dohun Kimom i CPO-om Harry Juhyun Kimom, svi veterani Samsunga i SK Hynixa, divova u industriji memorije koji opskrbljuju čipovima koji pokreću Nvidia GPU-e. “CPU-i i GPU-i su tijekom desetljeća postali pametniji. Memorija nikada nije. XCENA to želi promijeniti,” rekao je Jin Kim u intervjuu za TechCrunch. “Nedavni porast cijena memorije i povezanih dionica ukazuje na širi pomak u AI infrastrukturi prema arhitekturama usredotočenim na memoriju,” dodao je. (Ove je godine, tri tvrtke koje dominiraju globalnim tržištem čipova za memoriju — Samsung, SK Hynix i Micron — prvi put prešle procjenu od trilijun dolara.)
XCENA se kladi na tezu da “inference nije samo problem računanja; to je sve više problem skaliranja memorije,” rekao je Kim.
XCENA-in čip, MX1, povezuje se s CPU-om putem CXL (Compute Express Link) — u suštini, posvećena brza traka između procesora i memorije — obrađujući podatke prije nego što ikada trebaju napustiti memorijski modul. Donosi računalne mogućnosti do podataka, a ne obrnuto. Tvrtka tvrdi da bi ono što je ranije zahtijevalo 10 poslužitelja moglo potencijalno raditi na samo jednom.
“Dok GPU-i izvrsno obavljaju matriksno množenje — složenu matematiku iza obuke AI modela — većina obrade podataka, uključujući prethodnu obradu, upravljanje KV cache-om (sustav koji pohranjuje kontekst prethodnog razgovora kako model ne bi morao ponovo obrađivati), i predmemoriju podataka, još uvijek se oslanja na CPU-e. Naš čip obavlja te zadatke izravno unutar memorijskog modula,” rekao je Kim.
Potreba za rješenjima za memoriju porasla je od druge polovice prošle godine, a tvrtka vjeruje da trenutak radi u njezinu korist.
Razgovori s nekoliko globalnih dobavljača memorije su u ranoj fazi, iako je Kim odbio imenovati ih. Idealni kupci tvrtke su hiperskaleri koji troše desetine milijardi godišnje na AI infrastrukturu, gdje čak i mali dobitak u učinkovitosti memorije može značiti stotine milijuna u uštedama.
MX1 je još uvijek prototip. Serijski čipovi trebali bi krenuti s proizvodnih linija Samsunga do kraja 2026. godine, a tvrtka očekuje da će generirati prihode počevši od 2027. godine.
