Za poduzeća, obećanje agentic AI-a je mnogo više od boljeg chatbota. To su softverski agenti koji izvršavaju poslovne zadatke od početka do kraja, uključujući ljude, poslovne radne tokove, podatke i sustave. Platforma koja je najprikladnija za pokretanje agenata izgrađena je s odgovarajućim kapacitetom CPU-a, otpornim pristupom podacima, svjesnom uporabom alata, promatranjem, upravljanjem memorijom i sposobnošću predvidivog planiranja i skaliranja agenata.
Kako bi bolje razumjeli neke od ovih ovisnosti, Intel je proveo tisuće eksperimenata s radnim opterećenjima agentic AI-a. Naši inicijalni nalazi poručuju pet praktičnih lekcija za vođe poduzeća:
- Agentic AI je veći problem sustava, a ne samo problem inferencije.
- Većina postojećih rješenja agentic AI-a je ograničena i ne mjeri ukupne performanse sustava.
- Planiranje kapaciteta vrši se pomoću gustoće agenata po virtualnom CPU-u (vCPU), a ne samo prema broju agenata.
- Pratite latenciju zadataka agenata, a ne samo prosječnu iskorištenost CPU-a.
- Preporučuje se skaliranje sustava za hostanje agenata, dok se skaliranje prema gore čuva za radne opterećenja s težim zahtjevima po agentu.
Agentic AI je više od inferencije. Njegova vrijednost u poduzećima ovisi o cijelom sustavu, orkestraciji zadataka, pristupu podacima, izvršenju alata, upravljanju latencijom, upravljanju i skalabilnoj infrastrukturi. Agent je automatizirani proces radnog toka usmjeren na cilj: planira višestepeni zadatak, poziva alate, čita rezultate i ponavlja kada nešto ne uspije. Stoga agenti u poduzećima nisu samo problem inferencije; oni su problem sustava.
Većina metrika agentic AI-a fokusira se na procjenu korištenog LLM-a. Timovi platformi također trebaju znati koliko dugo zadaci traju, koliko agenata flota može podržati, kakvo je iskustvo korisnika na kraju procesa izvršenja i kako se troškovi mijenjaju kada više agenata radi istovremeno.
Prikladniji pogled na poduzeće gleda na šest metrika: uspješnost zadatka, trošak po zadatku, vrijeme po zadatku, propusnost zadatka, gustoća agenata (agenti po vCPU) i latencija. Zajedno, one odgovaraju na pitanja koja zanimaju operatore AI-a u poduzećima: Izvodi li sustav očekivano? Koliko agenata sustav može podržati? Kako bi se trebao skalirati kako bi podržao više agenata?
Za dublje razumijevanje performansi radnog opterećenja agentic AI-a, Intel je proširio Terminal-Bench, open-source alat za procjenu AI agenata s profiliranjem, telemetrijom i mogućnostima ponavljanja. Ovaj alat omogućuje razumijevanje gdje agenti provode vrijeme izvan inferencije LLM-a.
Uvođenje agentic AI-a treba se pristupiti u tri faze. Prva pravila vezana uz veličinu su normalizacija broja agenata prema dostupnom računalnom kapacitetu. Gustoća agenata, mjerena kao agenti po vCPU, signalizira zasićenost. Pravilna gustoća također ovisi o poslovnom cilju.
U konačnici, vrijednost agentic AI-a dolazi iz pomoći poduzećima da završe pravi posao preko timova, sustava, podataka i procesa. Za poduzeća prioritet nije samo bolja izvedba modela; radi se o stvaranju pouzdane sredine u kojoj AI agenti mogu podržati poslovne radne tokove, poboljšati produktivnost i skalirati se kako raste usvajanje.
