Nakon što je izvršni direktor Amazona, Andy Jassy, najavio revolucionarno ulaganje od 50 milijardi dolara u OpenAI, Amazon me pozvao na privatnu turu laboratorija za razvoj čipova koji je u središtu tog ugovora.
Stručnjaci prate Amazonov Trainium čip, stvoren u tom objektu, zbog njegovih implikacija na jeftinije AI inferencije i mogućeg smanjenja Nvidiaove gotovo monopolističke pozicije.
Moji vodiči za tu turu bili su direktor laboratorija, Kristopher King, i direktor inženjerstva, Mark Carroll, zajedno s PR osobom koja je organizirala posjet, Doron Aronson.
AWS je bio glavni oblak platforma za Anthropic od samih početaka AI laboratorija, što je značajna veza koja je preživjela i nakon što je Anthropic dodao Microsoft kao partnera u oblaku.
Ugovor s OpenAI čini AWS ekskluzivnim pružateljem novog alata za izradu AI agenta, Frontier, što bi moglo postati važan dio OpenAI-ovog poslovanja. Vidjet ćemo hoće li ta ekskluzivnost ostati kako je najavljeno.
Što čini AWS privlačnim za OpenAI? Kao dio ovog dogovora, oblaka gigant pristao je opskrbiti OpenAI s 2 gigavata Trainium računalne snage. Ovo je ogroman angažman, s obzirom na to da Anthropic i Amazonova vlastita Bedrock usluga već troše Trainium čipove brže nego što ih Amazon može proizvesti.
Trenutno je 1,4 milijuna Trainium čipova deployed kroz sve tri generacije, a Anthropicov Claude radi na više od milijun Trainium2 čipova.
Vrijedno je napomenuti da, iako je Trainium prvotno bio namijenjen bržem i jeftinijem treniranju modela, sada se koristi i za inferenciju, što je trenutno najveća prepreka u industriji.
Trainium2 rukuje većinom inferencijskog prometa na Amazonovoj Bedrock usluzi, koja podržava izradu AI aplikacija.
“Naša baza kupaca se brzo širi, koliko god možemo dobiti kapacitet,” rekao je King. “Bedrock bi mogao biti jednako velik kao EC2 jednog dana,” dodao je.
Amazonova ambicija ide dalje od samih čipova. Također dizajniraju servere koji hostiraju čipove, s dodatnom tehnologijom za kontrolu troškova i performansi.
U laboratoriju se također nalaze i prilagođeni te komercijalni alati za testiranje i analizu problema s čipovima.
U ovom trenutku, najveći dio Trainium2 čipova koristi se u Project Rainier, jednom od najvećih AI računalnih klastera na svijetu, koji je pokrenut krajem 2025. s 500.000 čipova.
Amazon CEO Andy Jassy pažljivo prati ovaj laboratorij, javno se hvaleći njegovim proizvodima.
