Financijska putanja OpenAI-a uvelike ovisi o troškovima infrastrukture, što je potaknulo razvoj novog prilagođenog OpenAI Jalapeño čipa. Razvijen u suradnji s Broadcomom, ovaj integrirani sklop (ASIC) predstavlja izravan pokušaj smanjenja velikih kapitalnih izdataka povezanih s hardverom trećih strana.
Dok Nvidia trenutačno ostvaruje procijenjenu profitnu maržu od 75% na svojim vrhunskim procesorima, OpenAI posluje s užim maržama, zadržavajući otprilike 33 centa dobiti na svaki dolar generiran nakon obračunavanja svojih ogromnih operativnih troškova. Financijski teret vođenja velikih jezičnih modela na velikoj skali je značajan.
Prošle godine, održavanje ChatGPT poslužitelja koštalo je OpenAI nevjerojatnih 8,4 milijarde američkih dolara. S obzirom na to da platforma sada privlači 900 milijuna tjednih korisnika, predviđa se da će operativni trošak ove godine dosegnuti otprilike 14 milijardi američkih dolara. Tijekom sljedećih osam godina, OpenAI se obvezao uložiti otprilike 1,4 trilijuna dolara u računalnu snagu, što je ogroman rizik za tvrtku koja trenutno ostvaruje 25 milijardi dolara godišnjeg prihoda.
Dizajniranje hardvera za LLM inference
OpenAI Jalapeño čip, nazvan kao prvi “Intelligence Processor” tvrtke, izgrađen je posebno za LLM inference, a ne za opću AI obradu. OpenAI je osigurao osnovni arhitektonski dizajn temeljen na svojim specifičnim modelima i sustavima usluge, dok je Broadcom upravljao inženjeringom silicija i integracijom visokih performansi.
TSMC upravlja fizičkom proizvodnjom na Tajvanu, a Celestica je zadužena za izradu ploča i rack sustava. Prema OpenAI-u, rani laboratorijski uzorci već rade na naprednim radnim opterećenjima, uključujući neobjavljeni model GPT-5.3-Codex-Spark, na ciljnoj proizvodnoj frekvenciji i snazi.
Richard Ho, voditelj hardverskog programa OpenAI-a, istaknuo je da arhitektura minimizira kretanje podataka kako bi se ostvarila veća iskorištenost prema teorijskoj vrhunskim performansama. Za razliku od općih akceleratora prilagođenih iz naslijeđenih AI radnih opterećenja, ova arhitektura posebno balansira računalne, memorijske i mrežne resurse kako bi riješila probleme s kretanjem podataka koji su inherentni interaktivnoj LLM usluzi.
Vertikalna integracija
Prelaskom na prilagođeni silicij, OpenAI se preusmjerava s pukog softverskog sloja na vertikalno integriranu infrastrukturnu tvrtku. Ova strategija pokriva cijeli proces: arhitekturu čipa, softverske jezgre, sustave memorije, mrežno planiranje i konačni aplikacijski sloj. Baš kao što Apple čvrsto povezuje vlastiti hardver i iOS, OpenAI sada može optimizirati svoju infrastrukturu oko svojih točnih internetskih modela.
Ova integracija pokreće kontinuirani operativni sustav. Povećana efikasnost infrastrukture smanjuje troškove obuke i usluge modela. Povoljnija usluga dovodi do boljih, responzivnijih proizvoda, što povećava broj korisnika i prihod koji se reinvestira u sljedeću generaciju prilagođene infrastrukture.
Prevladavanje prednosti kasnijeg ulagača
Uvođenjem vlastitog silicija, OpenAI ulazi u prostor gdje su njegovi glavni konkurenti gotovo desetljeće razvijali vlastiti hardver. Google je počeo koristiti svoje Tensor Processing Units (TPUs) 2015. godine i sada kontrolira otprilike četvrtinu globalnog AI računalnog kapaciteta izvan Nvidia opskrbnog lanca.
Amazon je isporučio više od milijun svojih prilagođenih čipova, dok Meta i Microsoft nastavljaju razvijati vlastitu infrastrukturu.
“Jalapeño je dio naše dugoročne strategije cjelovite infrastrukture kako bismo učinili računalnu snagu dostupnijom”, rekao je Greg Brockman, predsjednik i suosnivač OpenAI-a. “Dizajniranjem više slojeva sami možemo pružiti više inteligencije s većom učinkovitošću.”
Kako bi zatvorio ovu vremensku razliku, OpenAI je ubrzao fazu razvoja. OpenAI Jalapeño čip prešao je iz dizajna u proizvodnju u samo devet mjeseci. Inženjerski timovi postigli su ovu vremensku liniju koristeći OpenAI-ove vlastite jezične modele za automatizaciju i optimizaciju dijelova procesa dizajniranja hardvera.
To stvara jedinstveni povratni mehanizam gdje se modeli koji se nude korisnicima aktivno koriste za izgradnju fizičke infrastrukture koja će pokretati buduće iteracije. Prvo uvođenje hardvera u podatkovne centre planirano je za kraj 2026. godine.
