Ako bi Googleovi istraživači umjetne inteligencije imali smisla za humor, novu ultraefikasnu AI algoritam kompresije memorije, TurboQuant, objavljenu u utorak, nazvali bi “Pied Piper” — ili, barem, tako mislimo mi na internet misli.
Šala se referira na fiktivni startup Pied Piper koji je bio centralna tema HBO-ove serije “Silicon Valley” koja se emitirala od 2014. do 2019. godine.
Serija je pratila osnivače startupa dok su se kretali kroz tehnološki ekosustav, suočavajući se s izazovima kao što su konkurencija većih tvrtki, prikupljanje sredstava, tehnološki i proizvodni problemi, pa čak i (na naše zadovoljstvo) oduševljavanje sudaca na fiktivnoj verziji TechCrunch Disrupt.
Pied Piperova revolucionarna tehnologija u seriji bila je algoritam kompresije koji je značajno smanjio veličine datoteka uz gotovo bezgubitnu kompresiju. Nova TurboQuant iz Google Research također se bavi ekstremnom kompresijom bez gubitka kvalitete, ali primijenjena na ključnu točku uskog grla u AI sustavima. Stoga, usporedbe.
Google Research opisuje tehnologiju kao nov način smanjenja radne memorije AI-a bez utjecaja na performanse. Metoda kompresije, koja koristi oblik vektorske kvantizacije za otklanjanje problema s keširanjem u AI obradi, omogućila bi AI-u da zapamti više informacija zauzimajući manje prostora i održavajući točnost, prema istraživačima.
Planiraju predstaviti svoja saznanja na ICLR 2026 konferenciji sljedećeg mjeseca, zajedno s dvije metode koje omogućuju ovu kompresiju: metodom kvantizacije PolarQuant i metodom treninga i optimizacije pod nazivom QJL.
Razumijevanje matematike uključene ovdje može biti nešto što istraživači i računalni znanstvenici mogu shvatiti, ali rezultati uzbuđuju širu tehničku industriju. Ako se uspješno implementira u stvarnom svijetu, TurboQuant bi mogao učiniti AI jeftinijim za rad smanjenjem njegovog “radnog pamćenja” — poznatog kao KV keš — za “najmanje 6x”.
Neki, poput CEO-a Cloudflare-a Matthew Prince-a, čak nazivaju ovo Googleovim DeepSeek trenutkom — referenca na dobitke u efikasnosti koje je postigao kineski AI model, koji je treniran po znatno nižim troškovima od svojih konkurenata na lošijim čipovima, dok su rezultati ostali konkurentni.
Ipak, valja napomenuti da TurboQuant još nije široko primijenjen; još uvijek je to laboratorijski proboj. To otežava usporedbe s nečim poput DeepSeek-a, ili čak fikcionalnog Pied Piper-a. Na TV-u, tehnologija Pied Piper-a trebala je radikalno promijeniti pravila računalstva. TurboQuant, međutim, mogao bi dovesti do dobitaka u efikasnosti i sustava koji zahtijevaju manje memorije tijekom inferencije. No, ne bi nužno riješio šire nedostatke RAM-a uzrokovane AI-jem, s obzirom na to da se fokusira samo na memoriju za inferenciju, a ne na trening — potonji i dalje zahtijeva ogromne količine RAM-a.
