U industriji umjetne inteligencije, korisnici postaju sve svjesniji koliko skupi njihovi sustavi mogu biti — i osjećaju novu hitnost za smanjenje troškova. Dok modeli otvorenog koda nude znatno niže troškove po tokenu, može biti teško pronaći pravi model za određeni posao.
U četvrtak, Writer, koji nudi alate i agente za marketing, lansirao je novi vodeći model nazvan Palmyra X6, koji ima za cilj riješiti taj problem za svoje korisnike. Izrađen kao post-trening varijanta otvorenog modela Z.ai GLM-5.2, Writer tvrdi da bi novi sustav trebao pružiti mogućnosti spremne za implementaciju po znatno nižoj cijeni. Tvrtka procjenjuje da će novi model, u kombinaciji s promjenama u infrastrukturnim resursima tvrtke, smanjiti troškove za svoje kupce za čak 50% za osnovne zadatke.
Zajedno s novim modelom, tvrtka je također objavila značajna poboljšanja svog standardnog agentnog sustava. Obje funkcije bit će dostupne korisnicima Writer-a od četvrtka.
“Mislim da su poduzeća apsolutno zasićena stalnim traganjem za sljedećim standardom,” izjavila je CEO May Habib za TechCrunch. “Žele smanjiti troškove, a izgleda da to nitko ne može isporučiti.”
Novim pristupom se posebno naglašavaju složeni, višestepeni zadaci, koji se izvršavaju brže i s manje tokena. Writer vidi optimizaciju sustava kao ključni faktor za ostvarenje tog cilja.
Nedavna studija istraživača Writer-a daje vjerodostojnost ovom pristupu, testirajući male promjene u učinkovitosti sustava na više različitih modela. Istraživanje je pokazalo da su, u mnogim slučajevima, promjene u sustavu bile pouzdaniji način za smanjenje troškova nego izbor modela, s prosječnim smanjenjem troškova od 40% tijekom testiranja.
“Sustav je jedini komponenta čija se učinkovitost multiplicira preko svakog modela koji organizacija koristi — sadašnjeg i budućeg,” napisali su istraživači.
Za klijente Writer-a, iskustvo ostaje neovisno o modelu: Palmyra X6 će se nalaziti uz druge Writer modele ili izvan modele uvezene putem Azure-a ili Amazon Bedrock-a. No, Habib također vidi pritisak na smanjenje troškova kao poticaj širem nepovjerenju prema velikim AI laboratorijima, koji imaju financijski poticaj za povećanje korištenja tokena.
“Eksplozija troškova je ovdje bez presedana za kupce, a isto vrijedi i za stupanj u kojem CIO-vi odustaju od laboratorija,” rekla je Habib za TechCrunch, dodajući da AI laboratoriji “ne razumiju dovoljno kako pomoći poduzeću da izvuče korist iz AI.”
