Civitai, online tržište za kupnju i prodaju sadržaja generiranog umjetnom inteligencijom, podržano od strane tvrtke Andreessen Horowitz, omogućava korisnicima kupnju prilagođenih datoteka s uputama za generiranje dubokih laži poznatih osoba. Analiza je pokazala da su neke od ovih datoteka posebno dizajnirane za izradu pornografskih slika koje su zabranjene na stranici. Istraživanje, provedeno od strane znanstvenika sa Stanforda i Sveučilišta Indiana, ispitao je zahtjeve korisnika za sadržajem na stranici, nazvanim “nagradama”. Istraživači su otkrili da je između sredine 2023. i kraja 2024. većina nagrada tražila animirani sadržaj, ali značajan dio bio je usmjeren na duboke laži stvarnih osoba, pri čemu je 90% tih zahtjeva ciljalo žene.
Debata oko dubokih laži, ilustrirana nedavnim reakcijama na eksplicitne slike na chatbotu Grok koji pripada X-u, vrti se oko toga što platforme trebaju učiniti kako bi blokirale takav sadržaj. Situacija s Civitai je malo složenija. Njihovo tržište uključuje stvarne slike, videozapise i modele, ali također omogućava pojedincima kupnju i prodaju datoteka s uputama nazvanih LoRAs koje mogu poučavati mainstream AI modele poput Stable Diffusiona da generiraju sadržaj za koji nisu obučeni. Korisnici zatim mogu kombinirati ove datoteke s drugim alatima za izradu grafičkih ili seksualnih dubokih laži. Istraživači su otkrili da je 86% zahtjeva za dubokim lažima na Civitai bilo za LoRAs.
U ovim nagradama, korisnici su tražili “visokokvalitetne” modele za generiranje slika javnih osoba poput influencerice Charli D’Amelio ili pjevačice Gracie Abrams, često povezujući ih s njihovim profilima na društvenim mrežama kako bi se slike mogle preuzeti s interneta. Neki zahtjevi su specificirali želju za modelima koji generiraju cijelo tijelo pojedinca, precizno hvataju njihove tetovaže ili omogućuju promjenu boje kose. Neki zahtjevi su se usredotočili na nekoliko žena u specifičnim nišama, poput umjetnica koje snimaju ASMR videa. Jedan je zahtjev bio za dubokom laži žene za koju se tvrdilo da je supruga korisnika. Bilo tko na stranici mogao je ponuditi AI modele na kojima je radio za zadatak, a najbolji prijedlozi su primili isplatu – od 0,50 do 5 dolara. Gotovo 92% nagrada za duboke laži je dodijeljeno.
Civitai i Andreessen Horowitz nisu odgovorili na zahtjeve za komentar. Moguće je da ljudi kupuju ove LoRAs za izradu dubokih laži koje nisu seksualno eksplicitne, iako bi i dalje kršile uvjete korištenja Civitai-a. Civitai također nudi edukativne resurse o tome kako koristiti vanjske alate za dodatno prilagođavanje rezultata generatora slika – na primjer, promjenom nekog položaja. Stranica također sadrži članke koje su napisali korisnici s detaljima o tome kako uputiti modele da generiraju pornografiju. Istraživači su otkrili da je količina pornografskog sadržaja na platformi porasla, a da je većina zahtjeva svakog tjedna sada za NSFW sadržaj.
