Or Lenchner, CEO tvrtke Bright Data, jedne od najvećih tvrtki za web-scraping na svijetu, tvrdi da njihovi botovi ne prikupljaju nepublicirane informacije. Bright Data je ranije tužena od strane Meta i X-a zbog navodnog nepropisnog prikupljanja sadržaja s njihovih platformi. (Meta je kasnije povukla tužbu, a savezni sudac u Kaliforniji odbacio je slučaj koji je pokrenula X.)
Karolis Stasiulevičius, glasnogovornik druge navedene tvrtke, ScrapingBee, izjavio je za WIRED: “ScrapingBee djeluje prema jednom od osnovnih principa Interneta: da je otvoreni web namijenjen pristupu. Javne web stranice su, po dizajnu, čitljive i za ljude i za strojeve.”
Oxylabs, još jedna tvrtka za scraping, izjavila je u nesigniranoj izjavi da njihovi botovi nemaju “pristup sadržaju iza prijava, paywall-a ili autentifikacije. Od naših kupaca zahtijevamo da koriste naše usluge samo za pristup javno dostupnim informacijama, a provodimo standarde usklađenosti kroz našu platformu.”
Oxylabs je dodao da postoje mnogi legitimni razlozi zašto tvrtke koriste scraping web sadržaja, uključujući svrhe kibernetičke sigurnosti i provođenje istraživačkog novinarstva. Tvrtka također tvrdi da mjere zaštite koje koriste neke web stranice ne razlikuju različite slučajeve uporabe. “Stvarnost je da mnogi moderni anti-bot sustavi ne razlikuju dobro između zlonamjernog prometa i legitimnog automatiziranog pristupa,” navodi Oxylabs.
Osim što uzrokuju probleme izdavačima, ratovi u web-scrapingu stvaraju nove poslovne prilike. Izvješće TollBita pronašlo je više od 40 tvrtki koje sada nude botove koji mogu prikupljati web sadržaj za obuku AI-a ili druge svrhe. Uspon AI-pokretanih pretraživača, kao i alati poput OpenClaw, vjerojatno pomažu povećanju potražnje za tim uslugama.
Neke tvrtke obećavaju pomoći kompanijama da iznesu sadržaj za AI agente umjesto da ih pokušavaju blokirati, strategija poznata kao optimizacija generativnog motora, ili GEO. “U suštini, svjedočimo porastu novog marketinškog kanala,” kaže Uri Gafni, glavni poslovni direktor Brandlight-a, tvrtke koja optimizira sadržaj kako bi se istaknuo u AI alatima.
“To će se samo intenzivirati 2026. godine, a vidjet ćemo kako se ovo širi kao punopravni marketinški kanal, s pretraživanjem, oglasima, medijima i trgovinom koji se stapaju,” dodaje Gafni.
Ova priča prvotno se pojavila na wired.com.
