Tim koji je radio na SGLang-u, popularnom open-source alatu koji koriste tvrtke poput xAI i Cursor za ubrzanje obuke AI modela, prešao je u svoju nedavno pokrenutu komercijalnu tvrtku. Ta tvrtka, nazvana RadixArk, najavljena je prošlog kolovoza.
RadixArk, koji je nastao kao SGLang 2023. godine u laboratoriju UC Berkeley osnivača Databricks-a Iona Stoice, nedavno je procijenjen na oko 400 milijuna dolara u krugu financiranja koji je vodio Accel, prema izvorima bliskim toj temi. TechCrunch nije mogao potvrditi veličinu financiranja.
Start-up je ranije prikupio angel kapital od investitora, uključujući izvršnog direktora Intela Lip-Bu Tana, rekli su izvori.
Ying Sheng, ključna suradnica SGLang-a i bivša inženjerka u xAI-u, napustila je Elon Musk-ov AI start-up kako bi postala suosnivačica i izvršna direktorica RadixArk-a, prema objavi na LinkedIn-u koju je objavila prošlog mjeseca. Sheng je prethodno bila istraživačka znanstvenica u Databricks-u.
RadixArk-ova Ying Sheng, Accel i Lip-Bu Tan nisu odgovorili na zahtjev za komentar.
Obje tvrtke, SGLang i RadixArk, fokusiraju se na optimizaciju obrade inferencije — što u osnovi omogućuje modelima da rade brže i učinkovitije na istom hardveru. Zajedno s obukom modela, inferencija čini veliki dio troškova poslužitelja povezanih s AI uslugama. Kao rezultat toga, alati koji optimiziraju proces mogu stvoriti ogromne uštede gotovo odmah.
vLLM, zreliji projekt za optimizaciju inferencije, također je prešao iz open-source projekta u start-up. Novonastala tvrtka razgovarala je o prikupljanju više od 160 milijuna dolara u financiranju uz procjenu od oko 1 milijardu dolara, izvijestio je Forbes prošlog mjeseca.
Tri osobe upoznate s tim dogovorom rekle su TechCrunchu da Andreessen Horowitz vodi ulaganje u vLLM, iako konačni brojevi tog ulaganja još nisu potvrđeni. Andreessen Horowitz je odbio komentirati. Suosnivač vLLM-a Simon Mo karakterizirao je informacije o ovom krugu kao “činjenice netočne” u izjavi za TechCrunch, iako je odbio specificirati koje su pojedinosti bile netočne.
Poput SGLang-a, vLLM je inkubiran u laboratoriju Iona Stoice na UC Berkeley. Stoica, profesor na UC Berkeley, poznati je suosnivač Databricks-a kao i nekoliko drugih start-upova.
RadixArk nastavlja razvijati SGLang kao open-source AI model engine. Start-up također razvija Miles, specijalizirani okvir dizajniran za učenje pojačanjem, koji omogućuje tvrtkama da treniraju AI modele kako bi postali pametniji tijekom vremena.
Dok većina svojih alata ostaje besplatna, RadixArk je počeo naplaćivati usluge hostinga, rekao je izvor blizak tvrtki za TechCrunch.
