General Compute, startup za AI inferenciju u oblaku, osigurao je zajam od 400 milijuna dolara od Upper90, investicijske tvrtke u tehnologiju. Ovo bi mogao biti prvi dogovor u kojem su specifični čipovi za inferenciju stavljeni kao kolateral — čipovi izrađeni za brzo i učinkovito pokretanje već obučenih AI modela, umjesto skupljih čipova koji se koriste za izgradnju modela.
Ovo financiranje je posljednji znak da tržišta reagiraju na zabrinutosti oko cijene AI alata i tokena prelazeći na infrastrukturu koja pokreće otvorene modele jeftinije od najnovijih LLM-ova iz frontier laboratorija.
Osnovan od strane CEO-a Finna Puklowskog, General Compute prikupio je 15 milijuna dolara u svibnju za izgradnju neocloud-a oko silicija iz SambaNova, proizvođača čipova podržanog od strane Intela. (Neocloud-ovi su posebno izrađeni za AI radne opterećenja, za razliku od opće namjenske infrastrukture koju nude tradicionalni hyperscaleri poput AWS-a ili Azure-a.)
Čipovi SN50 tvrtke dizajnirani su za inferenciju. Energetski su učinkoviti i ne zahtijevaju skupe sustave hlađenja vodom, što znači da se mogu brže implementirati od GPU-a u raznim data centrima. General Compute tvrdi da će novi čipovi pružiti 16 puta bržu inferenciju od oblaka temeljenih na GPU-ima.
Izazov je nabaviti mnogo ovih čipova, osobito kada ste nova tvrtka.
Osnivač i CEO Upper90, Billy Libby, bivši kvantitativni trgovac iz Goldmana Sachsa, imao je plan za ovo: 2021. godine, njegova je tvrtka financirala kupnju GPU-a od Crusoea, startup-a usmjerenog na energiju, za kojeg vjeruje da je bio prvi zajam temeljen na vrijednosti naprednih čipova.
Tradicionalni vjerovnici su se tada klonili takvih dogovora zbog rizika i neizvjesnosti oko deprecijacije GPU-a. No, nakon što je CoreWeave pretvorio zajmove osigurane čipovima u poslovni model, a zatim i u osnovu za spektakularnu IPO, ovakvo financiranje postalo je uobičajeno.
“Kada smo financirali Nvidia GPU-e kao prva grupa koja je to učinila, tržište je bilo neefikasno,” rekao je Libby za TechCrunch. “Stvarno smo mogli sastaviti nešto kao rani sudionik i na neki način biti kompenzirani za rizik.”
Kako su GPU-i sada relativno dobro razumljivi i možda precijenjeni, Upper90 se okreće tvrtkama poput General Compute kako bi iskoristili sljedeći val AI bum-a. “Mislimo da će otvoreni modeli biti važni, i prošle smo godine tražili igrača koji se bavi inferencijom,” rekao je Libby. “Svi ne trebaju superkompjuter, ali im je potrebna inferencija i AI.”
Ova teza postaje sve jača, s tvrtkama koje pružaju pristup otvorenim modelima, poput OpenRoutera i Fireworks-a, koje prikupljaju nova sredstva po ogromnim procjenama. Novi modeli poput Kimi-ovog K3, koji su se nedavno natjecali s najnovijim izdanjima iz Anthropic-a i OpenAI-a na benchmark-ovima kodiranja. A novi proizvođači čipova poput Groq-a i Cerebras-a privlače interes kupaca i javnih tržišta.
Sposobnost General Compute-a da pristupi čipovima izvan Nvidia-ovog ekosustava važna je iz istog razloga. TensorWave, još jedna tvrtka za AI infrastrukturu, čini sličan ulog na partnerstvo s AMD-om. Kako se pojavljuju sve više alternativa Nvidia-i, pružatelji računalne infrastrukture koji nisu vezani uz Nvidia dogovore mogli bi imati prednost u pružanju troškovno učinkovitih rješenja za inferenciju.
“Postoji mnogo čipova koji počinju rasti koji imaju sjajan [ukupni trošak vlasništva], ili koji mogu raditi mnogo brže od Nvidia-e, ali nema previše kupaca za njih,” rekao je Puklowski. “S povezivanjem s Upper90, ovo nije samo ‘cool startup koji je dobio novac za kupnju računalne moći.’ Ovo je prvi znak organizacije kapitala i fragmentacije Nvidia-ove monopolističke dominacije.”
