U srijedu je OpenAI predstavio svoj prvi prilagođeni procesor za inferenciju, dizajniran i proizveden u suradnji s Broadcomom. Nazvan Jalapeño, novi procesor osmišljen je posebno za jedinstvene potrebe OpenAI-ovih sustava za inferenciju. OpenAI-ovi vlastiti AI modeli sudjelovali su u razvoju čipa, objavila je tvrtka.
Iako se čip još uvijek testira, OpenAI tvrdi da rani rezultati pokazuju značajno bolju izvedbu po potrošenom vatu u usporedbi s trenutnim vrhunskim alternativama.
Suradnja je službeno objavljena u listopadu, no planovi OpenAI-a za čip već dugo se šuškaju kao način smanjenja ovisnosti o Nvidia grafičkim procesorima. Google i Amazon također su izgradili prilagođene čipove za slične svrhe, često nazvane ‘AI akceleratori’ — silicij dizajniran posebno za ubrzavanje radnih opterećenja strojnog učenja.
Predsjednik OpenAI-a Greg Brockman objasnio je pristup tvrtke razvoju čipova na svom internom podcastu, ubrzo nakon što je najavljena suradnja s Broadcomom.
„Imamo duboko razumijevanje radnog opterećenja“, rekao je Brockman u epizodi. „Stvarno smo tražili specifična radna opterećenja koja su nedovoljno opslužena, [i pitali se] kako možemo izgraditi nešto što će moći ubrzati ono što je moguće?“
Jalapeño je posebno dizajniran za inferenciju, proces pokretanja unaprijed izgrađenih AI modela kao odgovor na korisničke naredbe. U najavi, OpenAI je naglasio niske operativne troškove prilikom pokretanja modela za kodiranje u realnom vremenu. Vjerojatno će se intenzivniji zadaci poput pretreninga i dalje oslanjati na Nvidia hardver, no čak i mala smanjenja troškova inferencije mogu značajno poboljšati financijski rezultat tvrtke.
Optimizacija tog sustava inferencije može se pokazati ključnim faktorom u ekonomiji umjetne inteligencije u budućnosti — i vjerojatno će se odvijati na svakom razini sustava. OpenAI već gradi agentne proizvode poput Codexa i modela koji ih pokreću, kao i podatkovne centre za pokretanje tih modela. Prijelaz na namjenske čipove omogućuje tvrtki daljnje napredovanje u tom procesu, kako je tvrtka objasnila u svojoj najavi.
„OpenAI ne razvija samo vrhunske modele ili gradi proizvode na njima; dizajnira infrastrukturu ispod njih: arhitekturu čipova, jezgre, sustave memorije, umrežavanje, raspoređivanje, sustave implementacije i iskustvo proizvoda“, napisala je tvrtka. „Budući da OpenAI djeluje na svim razinama, svaki sloj može se optimizirati oko istog cilja: učiniti svoje modele bržima, pouzdanijima i pristupačnijima za korisnike.“
