Dani nevjerojatne dominacije Nvidije na tržištu nisu završili, ali se s različitih strana pojavljuju izazivači i opcije. ZML, francuski AI startup koji je podržan od strane dobitnika Turingove nagrade Yanna LeCuna, objavio je softver za inference koji omogućava različitim otvorenim velikim jezičnim modelima da rade na različitim čipovima — uključujući Nvidijine, AMD-ove, Googleove TPU, Apple Metal i Intel Arc.
Uz ZML/LLMD, novo pokrenuti LLM inference server, ambicija tvrtke je razbiti postojeće barijere i omogućiti korištenje različitih čipova za AI slučajeve upotrebe maksimalnom brzinom, a ponekad i brže, rekao je osnivač ZML-a Steeve Morin za TechCrunch.
Kako se AI integrira u naš rad i svakodnevni život, optimizacija inference — odnosno procesiranja upita — postaje sve važnija, često ostajući neprimjetna zbog softverskih i arhitektonskih prepreka koje dovode do ograničenja dobavljača, rekao je Morin.
Očekivanje postizanja vrhunske izvedbe na različitim čipovima predstavlja tehnološki podvig, ali bi mogao biti i disruptor na tržištu usred rastućih strahovanja oko troškova vezanih uz AI.
ZML se nada pružiti poduzećima i oblacima mogućnost korištenja kombinacije čipova, od kojih neki mogu biti jeftiniji ili trošiti manje energije. „Ideja je vratiti ljudima moć da kreiraju vlastiti sustav i postignu stvarne dobitke u učinkovitosti koji omogućuju širenje [AI],“ rekao je Morin.
Ovakva softverska pomoć može pomoći novim proizvođačima AI čipova, mnogi od kojih dolaze iz Europe, primijetio je Morin, navodeći Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud i VSORA.
To ne znači da je Morin skeptičan prema Nvidiji. Nije, dijelom zbog postojeće opskrbe. Rekao je TechCrunchu da ZML ima dobar odnos s AI čip gigantom, koji se priprema za uspon inference.
Inference je područje tako intenzivnih ulaganja da je trend nazvan “zlatna groznica inference.” Tako ZML ima konkurenciju kao što su Baseten, nedavno procijenjen na 13 milijardi dolara; Inferact, od kreatora otvorenog projekta vLLM; kao i RadixArk, komercijalna tvrtka iza SGLang.
