Jensen Huang ima test za procjenu isplativosti inženjera, a taj test dolazi s proračunom za tokene. Govoreći na All-In Podcastu na kraju GTC-a 2026, izvršni direktor Nvidije rekao je da će ga duboko zabrinuti ako godišnja potrošnja AI tokena inženjera koji zarađuje 500.000 dolara bude manja od polovice njihove plaće. Potvrdio je da Nvidia radi na godišnjem trošku od 2 milijarde dolara za svoje inženjere.
Opisivao je kompromis koji su većina tvrtki napravila bez prevelike pompe: novac koji je prije isplaćivao plaće sada se sve više koristi za tokene. Četiri najveća hyperscalera usmjerila su otprilike 700 milijardi dolara kombiniranih kapitalnih ulaganja za 2026., gotovo dvostruko više nego prošle godine, dok podaci tvrtke Challenger, Gray & Christmas pokazuju da je AI najčešće spominjani razlog za otkaze u SAD-u četvrti mjesec zaredom.
Interna bilješka Metae koju je dobio Reuters opisuje otkaze u svibnju, kada je uklonjeno 8.000 radnih mjesta, kao pokriće za velike investicije kompanije, u kvartalu kada su prihodi porasli za 33%. Otkazi u tvrtkama poput ovih nisu mjere preživljavanja, nego financiranje.
Problem je što financiranje nije donijelo ono što je obećano. Gartner je anketirao 350 izvršnih direktora u tvrtkama s više od 1 milijarde dolara prihoda, koje primjenjuju AI agente ili automatizaciju, i otkrio da je otprilike 80% smanjilo broj zaposlenih bez ikakve korelacije s poboljšanjem povrata. Analitičarka Helen Poitevin je izjavila: “Smanjenje radne snage može stvoriti prostor u proračunu, ali ne stvara povrat.”
Uber je skup način naučio o tokenima, dajući 5.000 inženjera AI alate za kodiranje u prosincu i iscrpljujući svoj cijeli proračun za AI do travnja. Glavni operativni direktor Andrew Macdonald priznao je da, unatoč tome što je 70% posvećenog koda generirano pomoću AI, veza s nečim što kupci primjećuju nedostaje: “Ta povezanost još nije tu.”
Postavite ta dva neuspjeha jedan pored drugog i stvarni problem postaje jasniji. Tvrtke su trošak tokena smatrale fiksnim, a radnu snagu fleksibilnom, kada je suprotno točno. Smanjenje plaća događa se jednom i sa sobom nosi institucionalno znanje. Proračun za tokene, ispostavlja se, može se prilagoditi na više načina ako netko odluči to inženjerski riješiti.
Gdje se proračun za tokene prilagođava
Najjeftinije rješenje je također i najmanje glamurozno: prestanite plaćati za ponovnu obradu istog teksta. Caching prompta, sada standardan među glavnim API pružateljima, smanjuje trošak ponovnog unosa do 90%. Sigurnosna tvrtka ProjectDiscovery dokumentirala je povećanje svoje stope pogodaka cache-a s 7% na 84%, smanjivši ukupnu potrošnju LLM-a za 59 do 70% dok je poslužila 9,8 milijardi tokena iz cache-a. Taj inženjerski zahvat povratio je više proračuna nego što većina krugova otkaza povezanih s AI može uštedjeti.
Sljedeći korak je usmjeravanje rada na model odgovarajuće veličine. Cjenici pružatelja pokazuju da vodeći modeli koštaju pet puta više od svojih manjih verzija po tokenu, no mnogi radni procesi šalju rutinske klasifikacije i sažimanja prema najskupljoj razini prema zadanim postavkama. Obrada u serijama dodatno smanjuje cijenu za 50% za sve što ne zahtijeva odgovor u stvarnom vremenu.
Generacija pojačana pretraživanjem rješava problem s drugog kuta slanjem modelu samo relevantnog dijela baze znanja umjesto cijele stvari, dok kompresija prompta smanjuje redundantne primjere koji povećavaju svaki poziv. Otvoreni modeli dodatno smanjuju troškove, obrađujući rutinske radne procese po znatno nižim cijenama od API-ja za timove spremne upravljati infrastrukturom.
Te mjere su jednostavno AI ekvivalent gašenja svjetala u praznim sobama, a Uberov mjesečni limit od 1.500 dolara po inženjeru – uveden nakon travanjskog prekoračenja – rani je dokaz da disciplina trošenja naposljetku dolazi. Tvrtke koje napreduju jednostavno to biraju prije nego što ih proračun prisili.
Druga polovica rješenja je ljudska
Optimizacija troškova tokena važna je samo ako uštede idu na produktivan način, a najjači dokazi ukazuju na ljude. Poitevinino istraživanje pokazalo je da su organizacije koje su poboljšale ROI bile one koje su koristile AI za jačanje svoje radne snage umjesto da je zamijene.
Klarna je provela kontrolirani eksperiment u ime svih, zamijenivši otprilike 700 radnih mjesta korisničkog servisa s asistentom pokretanom OpenAI-om prije nego što su zadovoljstvo kupaca opalo. Izvršni direktor Sebastian Siemiatkowski rekao je što rijetko koji izvršni direktor javno priznaje: “Rezultat je bila niža kvaliteta, a to nije održivo.”
Fintech sada provodi kombinirani model, pri čemu AI preuzima rutinske oblike dok se ponovno zapošljavaju ljudi za sve što zahtijeva prosudbu. Gartner predviđa širenje ovog obrasca, prognozirajući da će do 2027. polovica tvrtki koje su smanjile osoblje korisničkog servisa zbog AI ponovo zaposliti te radnike.
Postoji jedno ulaganje u radnu snagu koje logika optimizacije čini hitnim, a ne opcionalnim. Institut za AI usmjeren na ljude na Sveučilištu Stanford utvrdio je da je zapošljavanje softverskih inženjera u dobi od 22 do 25 godina opalo gotovo 20% u odnosu na razine iz 2024. godine, iako su starije skupine rasle, što znači da tvrtke uklanjaju obučeni kadar potreban za vođenje svih tih sustava za pet godina.
Tvrtka koja je upravo smanjila 60% svojih troškova tokena ima prostora u proračunu za nastavak zapošljavanja na najnižoj razini. Hoće li to učiniti, odluka je vodstva, a ne financijska.
Provokacija Huangove Nvidije će se i dalje odjekivati kroz pozive o zaradi, a brojke kapitalnih ulaganja će nastaviti rasti. Tvrtke koje će napredovati neće biti one koje su najviše trošile na tokene ili smanjile najviše ljudi kako bi ih priuštile – bit će to one koje su primijetile da je proračun za tokene cijelo vrijeme bio fleksibilna linija, stisnule ga inženjeringom umjesto smanjenjem broja zaposlenih i potrošile razliku na ljude koji čine tokene vrijednima.
