Od 15. rujna, AI agenti, botovi koji pretražuju stranice u stvarnom vremenu, bit će blokirani na dijelu weba prema zadanim postavkama. Cloudflare je najavio ovu promjenu 1. srpnja, a većina medijskih natpisa od tada fokusirala se na Google. Korisniji dio je ono što od svakoga tko razvija agente zahtijeva i što im nudi zauzvrat.
Cloudflare je zamijenio svoju jedinstvenu funkciju blokiranja AI botova s tri kategorije. Kategorija ‘Pretraživač’ obuhvaća botove koji indeksiraju stranicu kako bi kasnije odgovorili na pitanja o njoj. Kategorija ‘Agent’ obuhvaća automatizirane sustave koji djeluju u stvarnom vremenu za korisnika, uključujući ChatGPT-ov bot za dohvaćanje i agente koji upravljaju preglednicima. Kategorija ‘Obuka’ obuhvaća botove koji preuzimaju sadržaj za modeliranje. Ova kontrola postala je dostupna 1. srpnja za sve korisnike, uključujući i besplatnu verziju.
Od 15. rujna, zadane postavke se mijenjaju. ‘Obuka’ i ‘Agent’ bit će blokirani na stranicama koje prikazuju reklame, dok će ‘Pretraživač’ ostati dostupan. Nove zadane postavke primjenjuju se na domene koje se novo pridružuju Cloudflareu, nove stranice koje postavljaju postojeći korisnici i sve postojeće korisnike besplatne verzije.
Svi koji ne žele ove promjene mogu se isključiti putem svojih sigurnosnih postavki prije tog datuma.
Logika Cloudflare-a je da je reklama dokaz da je stranica stvorena za ljude. Pretraživački bot koji vraća čitatelja je preporuka. Bot koji čita stranicu i predaje odgovor nekome drugom nije.
Na što se sada susreću AI agenti
Agentne primjene su izgrađene na pretpostavci da će otvoreni web ostati otvoren. Istraživački agent dohvaća stranicu s cijenama konkurenta. Alat za nadzor provjerava najave dobavljača. Agent korisničke podrške preuzima tehničke specifikacije proizvođača. Ništa od ovoga ne uključuje licencu, i do sada, ništa od toga nije trebala.
Cloudflare se nalazi ispred velikog dijela svjetskog web prometa, a njegovi blokovi djeluju na razini mreže, a ne kao preporuka koju bot može ignorirati. Stranice koje podržavaju reklame su upravo one koje agenti žele, jer tu se nalaze vijesti, recenzije, cijene i pokrivenost proizvoda. Neuspjeh za agenta poduzeća nije tužba, već šutnja ili odgovor temeljen na onome što je još mogao dohvatiti.
Dobivanje dozvole za AI agente
Svi koji koriste agente trebaju početi s određivanjem koji od njihovih Cloudflare računa će se klasificirati kao Agent-klasa. Klasifikacija je ponašajna, a ne nešto u što se možete prijaviti, stoga će istraživački agent koji pregledava u stvarnom vremenu biti uhvaćen bez obzira na to smatra li ga njegov operater crawlerom.
Očekujte degradiranu pokrivenost umjesto čiste neuspjeha, jer blok pada na stranice koje podržavaju oglase i ostavlja ostatak dostupnim. Pregovarani pristup, a ne ponovno napisani korisnički agent, je put naprijed.
Objavitelji imaju drugačiji popis zadataka. Prvo provjerite svoj tier, jer će postojeći korisnici besplatne verzije automatski biti prebačeni na nove zadane postavke 15. rujna, detalj koji je većina medijskih natpisa preskočila. Zatim odlučite je li blokiranje ‘Obuke’ vrijedno onoga što košta, jer uzima Googlebot sa sobom i vašu vidljivost u pretraživanju.
