Čo je crawler?

Ako crawler funguje?

Začne pri adresách, ktoré už pozná, napríklad zo sitemapy alebo z odkazov na iných weboch. Stránku stiahne a prečíta. Odkazy, ktoré na nej nájde, zaradí na ďalšie prehľadávanie. Tak sa postupne dostane k novým stránkam aj k zmenám na starých.

Najznámejší je Googlebot. Podľa dokumentácie Googlu je to spoločný názov dvoch robotov, mobilného a počítačového. Keďže Google pri väčšine webov indexuje mobilnú verziu, väčšina požiadaviek prichádza od mobilného robota. Web preto musí mať celý obsah dostupný aj na mobile.

Ktoré AI crawlery chodia na weby?

Popri vyhľadávačoch dnes weby prehľadávajú aj roboty firiem, ktoré robia AI nástroje. Každá firma ich má niekoľko a každý z nich robí niečo iné:

• OpenAI: GPTBot zbiera obsah, ktorý sa môže použiť na trénovanie modelov, OAI-SearchBot zobrazuje weby vo vyhľadávaní v ChatGPT a ChatGPT-User otvorí stránku, keď o to požiada používateľ (dokumentácia OpenAI).
• Anthropic: ClaudeBot zbiera obsah, ktorý môže poslúžiť na trénovanie, Claude-SearchBot prehľadáva web pre výsledky vyhľadávania a Claude-User načíta stránku na otázku používateľa (pomocník Claude).
• Perplexity: PerplexityBot zobrazuje weby vo výsledkoch Perplexity a podľa firmy sa nepoužíva na trénovanie, Perplexity-User otvára stránky na požiadanie používateľa (dokumentácia Perplexity).
• Google: Google-Extended nie je samostatný robot, ale označenie v súbore robots.txt. Určuje, či Google smie obsah použiť na trénovanie modelov Gemini, a podľa Googlu nemá vplyv na zobrazenie ani poradie vo vyhľadávaní.

Kto zakáže trénovacieho robota, napríklad GPTBot, môže v danom nástroji ostať viditeľný. Kto zakáže vyhľadávacieho, môže z jeho odpovedí zmiznúť.

Ako crawlerom povedať, kam nesmú?

Slúži na to súbor robots.txt v koreni webu. Podľa Googlu robotom hovorí, ku ktorým adresám smú pristupovať. Nie je to však spôsob, ako stránku udržať mimo Googlu. Zablokovaná adresa sa vo výsledkoch môže objaviť aj tak, ak na ňu vedú odkazy. Ak má stránka z výsledkov zmiznúť, patrí na ňu značka noindex alebo ochrana heslom. Pri noindex ju robots.txt nesmie blokovať, inak Google značku vôbec neuvidí.

Súbor robots.txt je len žiadosť a prístup robotom technicky nezakáže. Google aj Anthropic píšu, že ich roboty pravidlá dodržiavajú. Iné roboty ich môžu ignorovať. Nástroje, ktoré otvárajú stránku na pokyn používateľa, ako ChatGPT-User alebo Perplexity-User, ich podľa dokumentácie svojich firiem dodržiavať nemusia.

Časté otázky

Ako zistím, ktoré crawlery chodia na môj web?

Návštevy Googlebota ukazuje Google Search Console v nastaveniach, v štatistikách prehľadávania. Ostatné roboty vidno v záznamoch servera, kde sa každý predstaví menom, napríklad GPTBot alebo ClaudeBot. Niektoré hostingy a služby ako Cloudflare ukazujú AI roboty aj v samostatnom prehľade.

Mám AI crawlery na webe zakázať?

Záleží na tom, čo vám prekáža. Ak nechcete, aby sa vaše texty použili na trénovanie, zakážte trénovacie roboty ako GPTBot a ClaudeBot alebo označenie Google-Extended. Vyhľadávacie roboty ako OAI-SearchBot, Claude-SearchBot a PerplexityBot nechajte, inak vás AI nástroje nebudú mať odkiaľ odporučiť.

Prečo crawler nenašiel moju novú stránku?

Najčastejšie preto, že na ňu nevedie žiadny odkaz a nie je ani v sitemape. Crawler sa k stránkam dostáva cez odkazy, takže stránka bez nich môže čakať dlho. Pomôže odkaz z navigácie alebo z inej stránky webu, zápis do sitemapy a pri Googli aj žiadosť o indexáciu v Search Console.