Kako modeli umjetne inteligencije postaju sve dostupniji, startupovi se natječu u razvoju softverskog sloja koji ih koristi. Jedan zanimljiv igrač u ovom prostoru je Osaurus, open source server za LLM, ekskluzivan za Apple, koji omogućava korisnicima da se prebacuju između različitih lokalnih AI modela, bilo lokalno ili u oblaku, zadržavajući svoje datoteke i alate na vlastitom hardveru.
Osaurus je nastao iz ideje o desktop AI suputniku, Dinokiju, kojeg je suosnivač Osaurusa Terence Pae opisao kao vrstu “AI-pokretan Clippy.” Kupci Dinokija pitali su ga zašto bi trebali kupiti aplikaciju ako i dalje moraju plaćati tokene — jedinice koje AI tvrtke naplaćuju za obradu upita i generiranje odgovora.
To je natjeralo Paea da dublje razmisli o pokretanju AI lokalno.
“Tako je Osaurus i krenuo,” rekao je Pae, bivši inženjer softvera u Tesli i Netflixu, tijekom poziva za TechCrunch. Ideja je bila pokušati pokrenuti AI asistenta lokalno. “Možete raditi gotovo sve na svom Macu lokalno, poput pregleda datoteka, pristupa pregledniku, pristupa sistemskim konfiguracijama. Pretpostavio sam da bi to bio odličan način da Osaurus pozicioniram kao osobni AI za pojedince.”
Pae je počeo graditi alat javno kao open-source projekt, dodajući funkcionalnosti i ispravljao greške putem procesa.
Danas, Osaurus se fleksibilno povezuje s lokalno hostanim AI modelima ili oblačnim pružateljima poput OpenAI i Anthropic. Korisnici slobodno biraju koje AI modele koriste, a ostale aspekte AI iskustva zadržavaju na vlastitom hardveru, poput memorije modela ili svojih datoteka i alata.
S obzirom na to da različiti AI modeli imaju različite prednosti, prednost ovog sustava je što korisnici mogu prebaciti na AI model koji najbolje odgovara njihovim potrebama.
Takva struktura čini Osaurus “harness” — kontrolni sloj koji povezuje različite AI modele, alate i radne tijekove kroz sučelje, slično alatima poput OpenClaw ili Hermes. Međutim, razlika je u tome što su takvi alati često usmjereni na programere koji znaju koristiti terminal. Osaurus, s druge strane, nudi jednostavno sučelje koje potrošači mogu koristiti, a bavi se sigurnosnim pitanjima pokretanjem u izoliranom, virtualnom okruženju.
Pae vjeruje da će potrebe lokalne umjetne inteligencije s vremenom opadati. “Vidim potencijal u tome, jer inteligencija po potrošnji — što je metrika za lokalnu AI — značajno raste. To je na vlastitoj putanji inovacija,” rekao je.
