Električna energija je ključna sirovina za umjetnu inteligenciju, no nove tehnike obrade nadmašuju sposobnost operatera podatkovnih centara da upravljaju svojim odnosom s elektroenergetskom mrežom, prisiljavajući ih da smanje potrošnju za čak 30%.
“U ovim AI tvornicama se rasipa toliko energije,” rekao je izvršni direktor Nvidije Jensen Huang tijekom glavnog govora na godišnjoj GTC konferenciji. “Svaki neiskorišteni vat je izgubljeni prihod,” izjavila je tvrtka tijekom godišnje prezentacije.
Danas je startup Niv-AI izašao iz sjene s 12 milijuna dolara početnog kapitala kako bi riješio ovaj problem preciznim mjerenjem potrošnje energije GPU-a novim senzorima i razvojem alata za učinkovitije upravljanje.
Startup sa sjedištem u Tel Avivu osnovali su prošle godine izvršni direktor Tomer Timor i CTO Edward Kizis, a podržavaju ga Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Forward i Aurora Capital Partners. Tvrtka nije željela otkriti svoju vrijednost.
Dok granične laboratorije upravljaju tisućama GPU-a u simultanom radu na treniranju i izvođenju naprednih modela, često dolazi do porasta potražnje za energijom u milisekundama kada se procesori prebacuju između računalnih zadataka i komunikacije s drugim GPU-ima. Ovi porasti otežavaju podatkovnim centrima upravljanje energijom koju crpe iz mreže. Kako bi izbjegli nedostatak dovoljno struje, podatkovni centri plaćaju za privremeno skladištenje energije kako bi pokrili poraste ili smanjuju korištenje GPU-a. Oba slučaja smanjuju povrat ulaganja u skupe čipove.
“Ne možemo nastaviti graditi podatkovne centre na isti način kao dosad,” rekao je Lior Handelsman, partner u Grove Ventures koji sjedi u upravnom odboru Niv-a.
Prvi korak u Nivovom planu je razumjeti što se događa; tvrtka sada postavlja senzore na razini ormara koji otkrivaju potrošnju energije na razini milisekundi na GPU-ima koje posjeduje i uz dizajnerske partnere. Cilj je razumjeti specifične energetske profile različitih zadataka dubokog učenja i razviti tehnike ublažavanja koje omogućuju podatkovnim centrima da iskoriste više svoje postojeće kapacitete.
Naravno, inženjeri očekuju izgraditi AI model na podacima koje prikupe, s ciljem obuke za predviđanje i usklađivanje energetskih opterećenja u podatkovnom centru — “suvozač” za inženjere podatkovnih centara.
Niv-AI očekuje da će imati operativni sustav u nekoliko američkih podatkovnih centara u sljedećih šest do osam mjeseci. To je privlačna ideja jer se veliki igrači koji pokušavaju izgraditi nove podatkovne centre suočavaju s problemima u korištenju zemljišta i opskrbnim lancima. Osnivači vide svoj konačni proizvod kao nedostajući “sloj inteligencije” između podatkovnih centara i elektroenergetske mreže.
“Mreža se zapravo boji da će podatkovni centar trošiti previše energije u određenom trenutku,” rekao je Timor za TechCrunch. “Problem koji proučavamo je problem s obje strane užeta. Jedna je pomoći podatkovnim centrima da iskoriste više GPU-a i, nadamo se, da iskoriste više energije koju već plaćaju. S druge strane, također možete stvoriti odgovornije energetske profile između podatkovnih centara i mreže.”
