Tvrtka Cloudflare, specijalizirana za internetsku infrastrukturu, danas je najavila da će prema zadanim postavkama blokirati AI botove koji posjećuju web stranice koje hosta. Cloudflare će također omogućiti klijentima da ručno odobre ili zabrane ove AI botove prema pojedinačnim slučajevima, a uvest će i uslugu “plaćanja po pretraživanju” koja će klijentima omogućiti primanje naknade svaki put kada AI bot poželi prikupiti sadržaj njihove web stranice.
Ovi botovi su vrsta web crawlera, algoritama koji pretražuju internet kako bi prikupili i katalogizirali informacije s online stranica. U prošlosti su web crawleri najčešće bili povezivani s prikupljanjem podataka za tražilice, no danas ih developeri koriste za prikupljanje podataka potrebnih za izgradnju i korištenje AI sustava. Međutim, takvi sustavi ne pružaju iste mogućnosti monetizacije i priznanja kao što su to povijesno činile tražilice. AI modeli koriste velike količine podataka s interneta za generiranje svojih izlaza, no ti izvori podataka često nisu navedeni, što ograničava mogućnost stvaratelja da zarađuju od svog rada. Tražilice koje nude AI generirane odgovore mogu uključivati poveznice na izvorne izvore, ali također mogu smanjiti interes ljudi za klikovima na druge stranice, što bi moglo dovesti do “zero-click” budućnosti.
“Tradicionalno, nespisani dogovor bio je da tražilica može indeksirati vaš sadržaj, zatim bi prikazali relevantne poveznice na određenu pretragu i poslali vam promet natrag na vašu web stranicu,” napisao je Will Allen, voditelj AI privatnosti, kontrole i medijskih proizvoda u Cloudflareu, u emailu za MIT Technology Review. “To se fundamentalno mijenja.”
Općenito, stvaratelji i izdavači žele odlučiti kako se njihov sadržaj koristi, kako je povezan s njima i kako su plaćeni za to. Cloudflare tvrdi da njihovi klijenti sada mogu odobriti ili zabraniti pretraživanje za svaku fazu AI životnog ciklusa (posebno, obuku, fino podešavanje i inferenciju) te staviti na bijelu listu određene verificirane crawlere. Klijenti također mogu odrediti cijenu koliko će koštati AI botove da pretražuju njihovu web stranicu.
U priopćenju za tisak iz Cloudflare-a, medijske tvrtke poput Associated Pressa i Timea, te forumi poput Quore i Stack Overflowa izrazili su podršku ovom potezu. “Platforme zajednice koje potiču LLM-ove trebale bi biti kompenzirane za svoje doprinose kako bi mogle ponovno ulagati u svoje zajednice,” rekao je izvršni direktor Stack Overflowa, Prashanth Chandrasekar, u objavi.
Web crawleri trebaju poštivati upute dane na web stranici (putem robots.txt datoteke) kako bi odredili mogu li pretraživati, no neke AI tvrtke su optužene da ignoriraju te upute. Cloudflare već ima sustav za verifikaciju botova gdje AI web crawleri mogu reći web stranicama za koga rade i što žele učiniti. Za njih, Cloudflare se nada da će njegov sustav olakšati dobre pregovore između AI tvrtki i vlasnika web stranica. Za manje poštene crawlere, Cloudflare planira iskoristiti svoje iskustvo u suočavanju s koordiniranim napadima uskraćivanja usluga od strane botova kako bi ih zaustavio.
