Razvijali smo se za linearni svijet. Ako hodate sat vremena, pređete određenu udaljenost. Hodat ćete dva sata i preći duplo veću udaljenost. Ova intuicija dobro je služila na savani. No, katastrofalno ne uspijeva kada se suočava s AI-jem i njegovim eksponencijalnim trendovima. Od kada sam počeo raditi na AI-u 2010. godine do danas, količina podataka potrebnih za treniranje AI modela porasla je nevjerojatnih 1 trilijun puta – od približno 10¹⁴ flops (operacija s pomičnim zarezom, osnovna jedinica računanja) za rane sustave do više od 10²⁶ flops za današnje najveće modele. Ovo je eksplozija. Sve ostalo u AI-u proizlazi iz ove činjenice.
Skeptici neprestano predviđaju prepreke. I dalje su u krivu pred ovom epohalnom revolucijom u računalnoj snazi. Često ističu da Mooreov zakon usporava. Također spominju nedostatak podataka ili navode ograničenja u energiji. No, kada pogledate kombinirane sile koje pokreću ovu revoluciju, čini se da su eksponencijalni trendovi prilično predvidljivi. Da bismo razumjeli zašto, vrijedi pogledati složenu i brzo pokretnu stvarnost ispod naslova.
Pretpostavite da je treniranje AI-a soba puna ljudi s kalkulatorima. Godinama je dodavanje računalne snage značilo dodavanje više ljudi s kalkulatorima u tu sobu. Većinu vremena ti radnici sjedili su besposleni, čekajući brojeve za svoje sljedeće proračune. Svaka pauza bila je propušteni potencijal. Danas, revolucija ide dalje od jednostavno boljih kalkulatora; zapravo se radi o tome da osiguramo da ti kalkulatori nikada ne prestanu raditi i da rade zajedno kao jedno. Tri napretka sada se spajaju kako bi to omogućila. Prvo, osnovni kalkulatori postali su brži. Nvidia čipovi donijeli su više od sedam puta veću sirove performanse u samo šest godina, od 312 teraflops u 2020. do 2,250 teraflops danas. Naš vlastiti Maia 200 čip, predstavljen u siječnju, donosi 30% bolju izvedbu po dolaru od bilo kojeg drugog hardvera u našoj floti.
Drugo, brojevi dolaze brže zahvaljujući tehnologiji zvanoj HBM, ili memorija visoke propusnosti, koja slaganje čipova vertikalno poput malih nebodera; najnovija generacija, HBM3, utrostručuje propusnost svog prethodnika, opskrbljujući procesore podacima dovoljno brzo da ih drži zaposlenima cijelo vrijeme. Treće, soba s ljudima s kalkulatorima postala je ured, a zatim cijeli kampus ili grad. Tehnologije poput NVLink i InfiniBand povezuju stotine tisuća GPU-a u superračunala veličine skladišta koja funkcioniraju kao jedinstvena kognitivna bića. Prije nekoliko godina to je bilo nemoguće.
Ova poboljšanja zajedno donose dramatično više računalne snage. Gdje je treniranje jezičnog modela 2020. godine trajalo 167 minuta na osam GPU-a, sada traje manje od četiri minute na ekvivalentnom modernom hardveru. Da bismo to stavili u perspektivu: Mooreov zakon predviđa samo oko 5x poboljšanje tijekom ovog razdoblja. Vidjeli smo 50x. Prešli smo s dva GPU-a za treniranje AlexNeta, modela prepoznavanja slika koji je započeo moderni procvat dubokog učenja 2012. godine, na više od 100,000 GPU-a u današnjim najvećim klasterima, svaki od njih pojedinačno daleko snažniji od svojih prethodnika.
