Cloudflare będzie teraz blokować skrobaki internetowe AI, które nie płacą za dane

Ogłaszając "Dzień Niepodległości Treści", dyrektor generalny Cloudflare Matthew Prince ogłosił ogromne zmiany w infrastrukturze usług internetowych firmy, która będzie teraz domyślnie blokować wszystkie boty indeksujące sztuczną inteligencję.

W poście na blogu https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/prince wyjaśnił, że współczesny krajobraz wyszukiwania w sieci jest obecnie coraz bardziej definiowany przez chatboty AI, takie jak Google Gemini lub ChatGPT OpenAI. Choć są one przydatne, swobodnie skrobią dostępne dane online bez żadnych konsekwencji i nie rekompensują oryginalnym twórcom.

Prince argumentował, że ze względu na niedawne zmiany w wyszukiwarce Google, twórcy treści jest obecnie dziesięć razy "trudniej uzyskać taki sam ruch", jak dziesięć lat temu.

"Zamiast być uczciwą wymianą", powiedział Prince. "Sieć jest rozbierana przez roboty AI, a twórcy treści nie widzą prawie żadnego ruchu, a zatem prawie żadnej wartości"

Prince powiedział, że zeskrobane treści "są paliwem napędzającym silniki AI" i sprawiedliwe jest, aby oryginalni twórcy otrzymali za nie rekompensatę.

Cloudflare ogłosił również plany dotyczące rynku, który połączy twórców i firmy zajmujące się sztuczną inteligencją w jednym miejscu. Rynek będzie oceniał dostępne treści nie tylko pod kątem generowanego ruchu, ale także "tego, w jakim stopniu przyczyniają się one do rozwoju wiedzy" Prince uważa, że pomoże to silnikom AI przyspieszyć i "potencjalnie ułatwi nowy złoty wiek tworzenia treści o wysokiej wartości"

Prince przyznał, że nie zna jeszcze wszystkich odpowiedzi, ale firma współpracuje z "czołowymi informatykami i ekonomistami, aby je znaleźć"

Niedawno SourceHut, usługa hostingowa git o otwartym kodzie źródłowym https://status.sr.ht/issues/2025-03-17-git.sr.ht-llms/poinformował, że doświadczył zakłóceń spowodowanych "agresywnymi crawlerami LLM" i zablokował kilku dostawców usług w chmurze, w tym Google Cloud i Microsoft Azure, z powodu dużego natężenia ruchu przychodzącego z ich sieci.

W styczniu DoubleVerify, platforma do analityki internetowej, zgłosiła 86% wzrost w ogólnym nieprawidłowym ruchu (GIVT) ze skrobaków AI i innych zautomatyzowanych narzędzi online w porównaniu do 2024 roku.

Pomimo wcześniejszych obietnic, GPTbot OpenAI również znalazł sposoby na zignorowanie lub ominięcie robot.txt witryny, powodując ogromny wzrost ruchu dla właścicieli domen i kosztowne rachunki.