Profesor sa Stanforda i uspješni poduzetnik Zain Asgar prikupio je 80 milijuna dolara u Series A rundi za startup koji rješava problem uskog grla u AI inferenciji. Rundu je predvodio Menlo Ventures.
Tvrtka, Gimlet Labs, stvorila je ono što tvrdi da je prvi i jedini “multi-silicon inference cloud”, softver koji omogućava simultano pokretanje AI radnih opterećenja na raznim tipovima hardvera. Može podijeliti rad aplikacije između tradicionalnih CPU-a i AI prilagođenih GPU-a, kao i sustava s velikim memorijama.
“U osnovi radimo na svim dostupnim hardverima”, izjavio je Asgar za TechCrunch.
Jedan agent može povezati više koraka, pri čemu svaki “zahtijeva različiti hardver: inferencija je vezana uz izračun; dekodiranje je vezano uz memoriju; a pozivi alata su vezani uz mrežu”, piše vodeći investitor, Tim Tully iz Menlo Ventures, u blog postu o financiranju.
Nijedan čip još ne može sve obaviti, ali kako se novi hardver uvodi, a stari GPU-ovi ponovno koriste, “multi-silicon flota je spremna – samo joj nedostaje softverski sloj koji će je učiniti funkcionalnom.” To je ono što Tully vjeruje da Gimlet Labs nudi.
Ako se trenutni trend povećanja računalnih resursa nastavi, McKinsey procjenjuje da će troškovi podataka centara dostići gotovo 7 trilijuna dolara do 2030. Asgar navodi da aplikacije koriste postojeći hardver već deployed “nešto između 15 i 30 posto” vremena.
“Drugi način razmišljanja o ovome: bacate stotine milijardi dolara jer ostavljate neiskorištene resurse”, rekao je. “Naš cilj bio je pokušati shvatiti kako možete učiniti AI radna opterećenja 10x učinkovitijima nego ikad, danas.”
On i njegovi suosnivači, Michelle Nguyen, Omid Azizi i Natalie Serrino, počeli su razvijati softver za orkestraciju koji dijeli agentička radna opterećenja tako da se mogu simultano rasporediti na sve vrste hardvera.
Gimlet Labs tvrdi da pouzdano ubrzava AI inferenciju od 3x do 10x uz istu cijenu i potrošnju energije. Gimlet također može podijeliti osnovni model tako da se pokreće na različitim arhitekturama, koristeći najbolji čip za svaki dio modela.
Tvrtka je već sklopila partnerstva s proizvođačima čipova NVIDIA, AMD, Intel, ARM, Cerebras i d-Matrix.
Gimletov proizvod, isporučen ili kao softver ili putem API-ja do vlastitog Gimlet Clouda, nije namijenjen običnim developerima AI aplikacija. Namijenjen je najvećim AI laboratorijima i podatkovnim centrima.
Tvrtka je javno lansirana u listopadu s, kako tvrde, osmeroznamenkastim prihodima od samog početka (barem 10 milijuna dolara). Asgar je rekao da se njegova korisnička baza više nego udvostručila u posljednja četiri mjeseca i sada uključuje velikog proizvođača modela i izuzetno veliku tvrtku za računalstvo u oblaku, iako je odbio imenovati ih.
