Potražnja za računalima koja pokreću AI modele naglo raste, no postoje dva velika izazova koja tvrtke moraju prevladati: dobivanje pravih čipova i njihovo smještanje u podatkovne centre kako bi počeli generirati prihode.
General Compute, nova neocloud tvrtka koja iznajmljuje AI procesnu snagu, specijalizirana je za fazu kada modeli rade i odgovaraju korisnicima, umjesto da se treniraju. Ova tvrtka pruža odgovore na pitanja koja osvjetljavaju smjer razvoja AI ekosustava. Ti odgovori pomogli su im prikupiti 15 milijuna dolara u prvom krugu financiranja, s post-money procjenom od 60 milijuna dolara, a financiranje je predvodio FUSE VC uz sudjelovanje Carya Venture Partners i Village Global Ventures.
Prvo, što je pravi čip? Potražnja za GPU-ima naglo je porasla, no postaje sve jasnije da oni nisu najbolje rješenje za pokretanje AI modela nakon što su trenirani. Faza AI u kojoj model aktivno generira odgovore ima različite računalne zahtjeve od faze treniranja, zbog čega se dizajnira nova klasa čipova. Nvidia je u prosincu ostvarila transakciju vrijednu 20 milijardi dolara s Groq, a Cerebras je prošlog tjedna pokrenuo IPO vrijedan 57 milijardi dolara, što ukazuje na nove trendove.
Kako su kapaciteti tih tvrtki ograničeni, suosnivači General Compute, CEO Finn Puklowski i CTO Jason Goodison, pronašli su alternativu. Okreću se specijaliziranim čipovima koje proizvodi SambaNova, proizvođač čipova podržan od strane Intela, fokusiran na inferenciju, koji je malo pao iz fokusa Silicijske doline.
To bi se moglo promijeniti kada SambaNova ove godine predstavi svoje nove čipove. Njihova arhitektura je fleksibilnija i koristi više memorije za pohranu konteksta tijekom izračuna, a SambaNova tvrdi da nadmašuje ne samo GPU-ove, već i druge specijalizirane čipove poput Groq ili Cerebras. Puklowski navodi da će novi čipovi generirati 600 do 700 tokena u sekundi, dok GPU-ovi generiraju oko 250 tokena u sekundi.
General Compute već ima naručeno 300 milijuna dolara vrijednih SN50 čipova i tvrdi da će biti prvi neocloud koji ih koristi.
Ovi čipovi također pomažu riješiti drugi veliki problem – gdje ih smjestiti. Naime, oni su hlađeni zrakom, a ne vodom, i troše manje energije, što omogućava njihovu instalaciju u postojeće podatkovne centre bez dodatnih investicija u infrastrukturu.
Puklowski istražuje mogućnosti kolokacije – aranžmane u kojima General Compute instalira svoju opremu u tuđim objektima – ne samo s pružateljima podatkovnih centara, već i s crypto rudarima koji žele prilagoditi svoju infrastrukturu s obzirom na to da su troškovi proizvodnje bitcoina često nadmašivali njegovu cijenu.
General Compute je prošli tjedan pokrenuo svoju uslugu u oblaku, tvrdeći da je već najbrži u pokretanju MiniMax 2.7, snažnog open-source LLM.
