Ranije ovog tjedna, ured kalifornijskog državnog odvjetnika objavio je da istražuje xAI zbog izvještaja da se chatbot startupa Grok koristi za stvaranje nelegalnih seksualnih slika žena i maloljetnika. U petak, vlada je poslala pismo o prekidu i obustavi tvrtki, zahtijevajući da odmah poduzmu mjere kako bi zaustavili proizvodnju nelegalnih intimnih slika i materijala o seksualnom zlostavljanju djece (CSAM).
„Danas sam poslao xAI pismo o prekidu i obustavi, zahtijevajući od tvrtke da odmah prestane s stvaranjem i distribucijom deepfake, nelegalnih, intimnih slika i materijala o seksualnom zlostavljanju djece“, rekao je kalifornijski AG Rob Bonta u priopćenju za medije. „Stvaranje ovog materijala je ilegalno. Očekujem da xAI odmah postupi u skladu s tim. Kalifornija nema toleranciju prema [CSAM].“
Ured AG-a dodatno je tvrdio da xAI izgleda kao da „olakšava masovnu proizvodnju“ nelegalnih slika, koje se koriste za uznemiravanje žena i djevojaka putem interneta. Agencija očekuje da xAI dokaže da poduzima korake za rješavanje ovih problema u sljedećih pet dana.
U središtu negativnih reakcija je Grokova značajka „spicy“ moda, koju je xAI stvorio za generiranje eksplicitnog sadržaja. Problem se proširio izvan Kalifornije; Japan, Kanada i Britanija otvorili su istrage o Groku, dok su Malezija i Indonezija privremeno blokirale platformu u potpunosti. Unatoč tome što je xAI uveo neka ograničenja na svoje značajke uređivanja slika kasno u srijedu, ured kalifornijskog AG-a nastavio je s pismom o prekidu i obustavi.
X-ov sigurnosni račun ranije je osudio ovu vrstu korisničke aktivnosti, rekavši: „Svako tko koristi ili potiče Grok da stvara ilegalan sadržaj snosit će iste posljedice kao da su učitali ilegalan sadržaj.“ TechCrunch se obratio xAI-u za komentar, ali su dobili automatski odgovor koji kaže „Naslijeđeni mediji lažu.“ Također su se obratili uredu kalifornijskog AG-a za dodatne informacije.
Pojava besplatnih generativnih AI alata dovela je do uznemirujuće ekspanzije nelegalnog seksualnog materijala. Mnoge platforme se suočavaju s ovim problemom, ne samo X. Ova sramotna aktivnost privukla je pažnju ne samo državnih vođa, već i Kongresa. Naime, u četvrtak su zakonodavci poslali pismo izvršnim direktorima nekoliko tvrtki — uključujući X, Reddit, Snap, TikTok, Alphabet i Meta — pitajući ih kako planiraju suzbiti proliferaciju seksualiziranih deepfakeova.
