Společnost Cloudflare začíná defaultně blokovat webové crawlery využívající umělou inteligenci. Staví se tak do role ochránce online vydavatelů před tím, co považuje ze strany společností zabývajících se vývojem AI za vykořisťování.
Vytváříte už aplikace s pomocí nástrojů umělé inteligence?
Tento krok reaguje na zásadní změnu ve fungování internetu. Téměř třicet let totiž fungovaly Google a další vyhledávače na základě jednoduché dohody: procházely webové stránky, aby indexovaly jejich obsah, a na oplátku jim posílaly návštěvníky prostřednictvím výsledků vyhledávání.
Tato dohoda byla výhodná pro všechny – vydavatelé získali návštěvníky a vyhledávače obsah, který mohly organizovat.
Generální ředitel společnosti Cloudflare Matthew Prince však tvrdí, že tato dohoda byla s rozvojem AI nástrojů porušena. „Problémem je, že ať už vytváříte obsah za účelem prodeje reklam, prodeje předplatného nebo jen proto, abyste věděli, že lidé oceňují to, co jste vytvořili, web řízený umělou inteligencí neodměňuje tvůrce obsahu tak, jak to dělal starý web řízený vyhledáváním,“ uvádí Prince ve svém blogovém příspěvku.
„A to znamená, že dohoda, kterou Google uzavřel, aby získal obsah výměnou za zasílání provozu, už prostě nedává smysl.“
Problém spočívá v tom, jak dnes společnosti zabývající se umělou inteligencí využívají webový obsah. Namísto toho, aby ho jednoduše indexovaly pro výsledky vyhledávání, používají ho k trénování svých AI modelů – v podstatě berou obsah, aniž by na oplátku poskytovaly smysluplný provoz.
Video ke kávě
Máte čas na rychlé a informativní video?
Prince to popisuje jako „těžbu webu umělou inteligencí“ ze strany společností jako Google, Microsoft, OpenAI nebo Anthropic.
Čísla hovoří jasně. Data společnosti Cloudflare ukazují, že během jednoho týdne v červnu 2025 platforma Claude společnosti Anthropic provedla téměř 71 000 požadavků na každého návštěvníka, kterého odeslala zpět na webové stránky.
Poměr společnosti OpenAI byl 1 600:1, zatímco u společnosti Google to bylo 9,4:1. Tradiční vyhledávače procházely obsah pouze párkrát na každého návštěvníka, kterého odeslaly zpět.
Tato nerovnováha vyvolala mezi vydavateli napětí. Někteří vedoucí pracovníci společností zabývajících se umělou inteligencí, jako například Mustafa Suleyman ze společnosti Microsoft AI, už loni vyjádřil myšlenku, že veřejně dostupný webový obsah jev podstatě freeware. „Kdokoli jej může kopírovat, přetvářet a reprodukovat,“ uvedl s tím, že jde o tzv. fair use neboli přiměřené užití v kontextu autorského zákona.
Řešením společnosti Cloudflare je platební systém s názvem Pay per crawl (Platba za procházení), který je v současnosti v beta verzi k otestování. Systém funguje tak, že vyžaduje, aby AI crawlery buď zaplatily za přístup, nebo obdržely žádost o platbu, když se pokusí o přístup k obsahu.
Vydavatelé obsahu si přitom mohou vybrat, zda AI crawlery zcela zablokují, povolí konkrétní crawlery, budou účtovat poplatek za přístup nebo poskytnou bezplatný přístup.
Někteří významnější vydavatelé mezitím začali uzavírat vlastní dohody se společnostmi vyvíjejícími AI – například vydavatelství HarperCollins má údajně dohodu, dle které Microsoft platí 5000 dolarů za každé dílo, které využije k trénování svých AI modelů, přičemž tato licence platí na tři roky a částka se dělí mezi autory a vydavatele…
Computertrends si můžete objednat i jako klasický časopis. Je jediným odborným magazínem na českém a slovenském trhu zaměreným na profesionály v oblasti informačních a komunikačních technologií (ICT). Díky silnému zázemí přináší aktuální zpravodajství, analýzy, komentáře a přehledy nejnovejších technologií dříve a na vyšší odborné úrovni, než ostatní periodika na tuzemském trhu.
Obsah Computertrends je určen odborníkům a manažerům z firem a institucí, kteří se podílejí na rozhodovacím procesu při nákupu ICT technologií. Jednotlivá čísla si můžete objednat i v digitální podobě.
PŘEDPLATNÉ
ČLÁNKY DO MAILU