Crawlery AI czasami mają większy zasięg niż wyszukiwarka Google

Od dziesięcioleci Google jest niekwestionowanym liderem w zbieraniu informacji z Internetu i jest prawdopodobnie najbardziej znanym przykładem crawlera stron internetowych. Te zautomatyzowane programy przeszukują Internet i rejestrują znalezione treści, umożliwiając wyszukiwarkom odkrywanie stron internetowych. Wyszukiwarka Google musi jednak stawić czoła konkurencji, ponieważ systemy sztucznej inteligencji również wymagają danych z Internetu, dlatego firmy zajmujące się sztuczną inteligencją, takie jak OpenAI, wdrażają własne boty do wyszukiwania informacji w Internecie.

Pod koniec sierpnia 2025 r. dostawca usług hostingowych Hostinger przeprowadził badanie dostępności 5 milionów stron internetowych dla robotów indeksujących. Szczególnie uderzające jest to, że na przykład bot GPT OpenAI dotarł do 4,4 z 5 milionów stron internetowych, osiągając w ten sposób większy zasięg niż bot Google, który uzyskał dostęp do "tylko" 3,9 miliona stron internetowych. Mniej znane boty, takie jak SEO crawler Ahrefs, bot Claude firmy Anthropic oraz crawlery Meta, TikTok, Bing i Apple również były bardzo aktywne, generując łącznie około 1,4 miliarda zapytań dziennie dla 5 milionów stron internetowych.

Fakt, że niektóre boty osiągają niższy procent pokrycia niż inne, nie oznacza, że ignorują one pewne części Internetu. Programy te raczej zmieniają swoje cele, tworząc w ten sposób niemal kompletną mapę Internetu w dłuższym okresie czasu (ale nadal w ciągu kilku tygodni).

Badanie pokazuje również, że około 80% zapytań pochodzi od amerykańskich firm technologicznych, około 10% z Chin, a inne kraje stanowią znikomą część. Oznacza to, że indeksowanie Internetu jest zdominowane głównie przez dostawców z USA, a w tym kraju przez kilka dużych firm technologicznych. W rezultacie niewielka liczba platform ma duży wpływ na to, jakie treści są widoczne i jakie odpowiedzi generują systemy sztucznej inteligencji.