AI sugovornik može zvučati distopijski, no postao je važna tema u širem razgovoru o opasnostima generativne AI. Ovaj pojam odnosi se na konverzacijske agente koji održavaju osobni odnos s korisnikom, zadržavajući dosljednost kroz različite sesije.
Emocionalna povezanost često proizlazi iz tog dizajna i postaje sve važnija prodajna točka. Većina korištenja uključuje ležerno igranje uloga ili jednostavno želju za nečim što vas pamti. Kako je sve više ljudi u Kini počelo tretirati ove botove kao emocionalne sugovornike, Peking je odlučio da je potrebna regulativa.
Pravila za AI sugovornike u Kini stupaju na snagu 15. srpnja, a u danima koji prethode tom datumu, dva najpopularnija AI aplikacija su tiho isključila ključne funkcije. Doubao iz ByteDancea obavijestio je korisnike da će njegova funkcija agenta biti isključena 15. srpnja zbog “prilagodbi funkcija proizvoda”, dok je Alibaba izjavila da će njezini ljudski i korisnički kreirani agenti prestati raditi 10. srpnja, a šire usluge agenta pet dana kasnije.
Na prvi pogled, čini se da Kina isključuje AI agente. Međutim, to nije slučaj. Pravila razdvajaju agente koji obavljaju vaš posao i agente koji vam prave društvo, a Peking se protivio samo drugoj vrsti.
Regulativa, koja nosi naziv Privremene mjere za upravljanje AI antropomorfnim interaktivnim uslugama, suobjavljena je 10. travnja 2026. od strane Uprave za cyberspace Kine i četiri partnerske agencije: Nacionalne komisije za razvoj i reforme, Ministarstva industrije i informacijskih tehnologija, Ministarstva javne sigurnosti i Državne uprave za regulaciju tržišta.
Ova pravila obuhvaćaju usluge koje simuliraju ljudske osobine, obrasce mišljenja i stilove komunikacije kako bi osigurale dugotrajnu emocionalnu interakciju. Botovi za korisničku podršku, znanstvena pitanja i odgovore, radni asistenti te alati za obrazovanje i istraživanje su isključeni, pod uvjetom da izbjegavaju dugotrajnu emocionalnu povezanost.
Problem dizajna, a ne zabrana
Doubao i Qwen nisu prekršili zabranu, već su se suočili s dizajnerskim problemom. Mjere zahtijevaju od usluga za društvo da implementiraju sustave protiv ovisnosti, šalju obavezne obavijesti o korištenju i nude mehanizme instant izlaza, uz real-time detekciju nezdravih ovisnosti.
Ovi zahtjevi ne stoje dobro uz agente koji su stvoreni da pamte korisnika i održavaju dugotrajni odnos, pa je ByteDance odlučio isključiti tu funkciju. Alibaba je očigledno učinila isto. ByteDance sada usmjerava korisnike Doubaoa na Maoxiang, aplikaciju gdje mogu ponovno kreirati agente; Alibaba nije objavila nikakvu sličnu alternativu za Qwen.
Trošak pada na korisnike. Mnogi su otvoreno žalili zbog isključivanja na Weibu, opisujući agente kao dugotrajnu emocionalnu podršku i žaleći zbog nedostatka jednostavnog načina za izvođenje povijesti razgovora.
Što pravila Kine o AI sugovornicima definiraju
Suština je promišljenija nego što sugerira oštra zabrana. Pružatelji su zabranjeni od pružanja virtualnih usluga društva ili članova obitelji maloljetnicima, a moraju dobiti pristanak skrbnika prije nego što usluge pruže korisnicima mlađim od 14 godina.
Moraju također detektirati korisnike u akutnoj boli i intervenirati kada netko pokaže znakove samoozljeđivanja, suicidalnog ponašanja ili ozbiljnog financijskog gubitka, eskalirajući na određene skrbnike ili hitne kontakte.
Mehanizam usklađenosti je težak. Usluge koje pokreću antropomorfne funkcije ili pređu prag od milijun registriranih korisnika ili 100.000 mjesečno aktivnih moraju provesti sigurnosne procjene koje pokrivaju osam područja, od rukovanja podacima do zaštite maloljetnika.
Na papiru, ovo je potpuniji skup zaštite korisnika nego što je EU, američka Savezna trgovinska komisija ili kalifornijski SB 243 do sada uveli.
Što pravila ostavljaju otvorenim
Ono što mjere ne rješavaju jednako je važno. Ne postavljaju tehnički prag za ono što se računa kao emocionalna interakcija, a ta siva zona je upravo razlog zašto su platforme povukle cijele funkcije umjesto da rizikuju da se nađu na krivoj strani.
Oni također ostavljaju otvorenim kako se odgovornost dijeli između operatera platformi i pružatelja modela kada se kršenje temelji na ishodima modela, a korisnicima ne daju pravo da svoje podatke iznesu van.
Pozadina provedbe dodatno pojačava ovu točku. Regulator interneta u Šangaju izjavio je 26. lipnja da je uklonio više od 14.000 neusklađenih AI agenata, citirajući lažno predstavljanje službenih entiteta, vulgarno igranje uloga i neovlašteno prikupljanje osobnih podataka.
Odgovor na pitanje je li ovo pravi smjer ovisi o tome koju polovicu pravila čitate. Polovica o sigurnosti bavi se štetama koje su dokumentirane i uglavnom neregulirane drugdje, od adolescenata koji stvaraju veze s chatbotovima do aplikacija za društvo koje prikupljaju intimne podatke.
Obje strane su stvarne, a vlade koje prate eksperiment morat će odlučiti koje dijelove su spremne posuditi. Pan Helin, član stručnog odbora MIIT-a, jasno je izložio službeni slučaj, govoreći da “trenutni agenti još nisu zreli” i oblikujući politiku oko sigurnosti i standardizacije.
Tvrtke su, za sada, odabrale najbezbedniju opciju, što je isključivanje komponenata i rad na tome kako bi izgledala usklađena verzija kasnije.
Vidi također: Meta revidira politike AI chatbota zbog briga o sigurnosti djece
