Većina razgovora o umjetnoj inteligenciji (AI) danas fokusira se na izgradnju kapaciteta u oblaku i masivnih podatkovnih centara za pokretanje modela. Tvrtke poput Applea i Qualcomma su u ranim fazama razvijanja korisnijeg AI-a na uređajima. Usred toga, tehnički tim od 14 osoba iz Londona, Mirai, radi na poboljšanju načina na koji modeli rade na telefonima i prijenosnicima.
Mirai, koji je podržan s 10 milijuna dolara u početnom krugu financiranja predvođenim Uncork Capitalom, osnovali su Dima Shvets i Alexey Moiseenkov prošle godine. Obojica osnivača imaju iskustva u izgradnji skalabilnih potrošačkih aplikacija. Shvets je suosnivač aplikacije za zamjenu lica Reface, koja je bila podržana od strane a16z. Shvets je kasnije postao i skaut za ovu investicijsku tvrtku. Moiseenkov je bio izvršni direktor i suosnivač viralne aplikacije za AI filtre, Prisme, koja je obilježila prošlo desetljeće.
Obojica su kao potrošački programeri razmišljala o AI-u i strojnom učenju na uređajima čak i prije nego što je generativni AI postao popularan, rekao je Shvets.
“Kada smo se sastali u Londonu, počeli smo razgovarati o tehnologiji i shvatili da unutar hypea oko generativnog AI-a i veće upotrebe AI-a svi govore o oblaku, serverima i dolasku AGI-a. No, nedostaje komad o AI-u na uređajima za potrošačke hardvere,” rekao je za TechCrunch.
Shvets i Moiseenkov željeli su iskoristiti AI kako bi stvorili sustav koji bi im omogućio izvođenje složenih zadataka na telefonu, što ih je dovelo do pokretanja Mirai-a. Kada su pitali druge koji razvijaju potrošačke aplikacije, čuli su da mnogi žele bolju optimizaciju troškova i marže po korištenju tokena.
Danas, Mirai razvija okvir za modele kako bi bolje radili na uređajima. Tvrtka je izgradila motor za inferenciju za Apple Silicon koji optimizira propusnost na uređaju. Uz svoj nadolazeći SDK, programeri mogu integrirati radno okruženje u svoje aplikacije s samo nekoliko redaka, tvrdi tvrtka.
“Jedna od vizija zašto smo pokrenuli tvrtku bila je ta da želimo dati programerima iskustvo integracije poput onog u Stripeu… jednostavno odete na našu platformu, integrirate ključ i počnete raditi s sažimanjem, klasifikacijom ili bilo kojom drugom upotrebom,” rekao je Shvets.
Start-up je izgradio ovaj motor u Rustu, što može povećati brzinu generacije modela do 37%, tvrde. Tvrtka je izjavila da, dok podešava model za platformu, ne mijenja težine modela kako bi osigurala da ne dođe do gubitka u kvaliteti izlaza.
Mirai trenutno fokusira svoj rad na poboljšanju tekstualnih i glasovnih modaliteta na platformi, s planovima za podršku vizualizaciji u budućnosti. Tim je započeo rad s dobavljačima modela na rubu kako bi podešavali svoje modele za upotrebu na rubu i pregovaraju s različitim proizvođačima čipova. Kasnije planiraju donijeti svoj motor i na Android.
Pored toga, Mirai planira objaviti benchmarke na uređaju kako bi proizvođači modela mogli testirati performanse na uređaju. Shvets prepoznaje da se ne može sav rad s AI-jem obaviti na uređaju. Kako bi omogućili mješoviti način rada, tim gradi sloj orkestracije koji će slati zahtjeve koje ne može ispuniti uređaj u oblak.
Iako start-up još ne surađuje izravno s aplikacijama, njihov motor mogao bi pokretati asistente na uređaju, transkribere, prevoditelje i chat aplikacije, doznali smo.
Andy McLoughlin, upravitelj partner u Uncork Capitalu, napomenuo je da je investirao u tvrtku za strojno učenje na rubu u prošloj deceniji. Rekao je da je tvrtka bila rano uspostavljena i na kraju je prodala svoje poslovanje Spotifyju. U današnjem svijetu, situacija je drugačija, smatra.
“S obzirom na troškove inferencije u oblaku, nešto se mora promijeniti… Za sada, VC-evi su zadovoljni nastavkom financiranja raketnih tvrtki, trošeći ogromne iznose na inferenciju u oblaku. No, to neće trajati – u nekom trenutku, ljudi će se usredotočiti na temeljnu ekonomiku ovih poslova i shvatiti da se nešto mora promijeniti,” rekao je. “Čini se da će svaki proizvođač modela željeti pokretati dio svojih radnih opterećenja na rubu, a Mirai se čini vrlo dobro pozicioniranim da uhvati ovu potražnju.”
U krugu financiranja Mirai sudjelovali su i pojedinci, uključujući izvršnog direktora Dreamera Davida Singletona, YC partnera Francois Chaubarda, suosnivača Snowflakea Marcina Żukowskog, suosnivača ElevenLabsa Mati Staniszewskog, bivšeg menadžera proizvoda Google AdSensea i člana uprave Coinbasea Gokula Rajarama, investitora Groqa Scooter Brauna, CTO-a Turing.com Vijay Krishnana, te Bena Parra i Matta Schlichta iz Theory Forge Venturesa, kao i bivšeg tehničkog vođu Netflixa, Adityu Jamija.
