Čo je robots.txt a ako ním nezablokovať svoj web

Ako súbor robots.txt vyzerá?

Každý blok určí, pre ktorého crawlera platí a kam nemá chodiť. Pravidlá popisuje norma RFC 9309:

User-agent: *
Disallow: /kosik/

User-agent: GPTBot
Disallow: /

Sitemap: https://domena.sk/sitemap.xml

User-agent: meno robota, hviezdička znamená všetky ostatné.
Disallow: cesta, ktorú robot nemá prechádzať. Samotná lomka znamená celý web.
Allow: výnimka z niektorého zákazu.
Sitemap: adresa sitemapy, z ktorej sa roboty dozvedia o stránkach webu.

V ukážke nemajú roboty chodiť do košíka a GPTBot nemá prechádzať nič. Súbor platí len pre svoju doménu, subdoména potrebuje vlastný.

Čo robots.txt nedokáže?

Stránku z výsledkov vyhľadávania neskryje. Google píše, že zablokovaná adresa sa v nich môže objaviť, ak na ňu vedú odkazy z iných stránok. Na stránku, ktorá má z výsledkov zmiznúť, patrí značka noindex alebo heslo. Značku noindex Google uvidí len vtedy, keď stránku smie prejsť, preto ju robots.txt nesmie zároveň blokovať.

Pravidlá nie sú ani zámok. Norma RFC 9309 výslovne hovorí, že nejde o spôsob autorizácie prístupu, a nástroje, ktoré stránku otvárajú na pokyn človeka, ich uplatňovať nemusia. Platí to napríklad pre robota ChatGPT-User v službe ChatGPT alebo Meta-ExternalFetcher v Meta AI. Citlivý obsah preto patrí za heslo.

Prečo kvôli robots.txt firma zmizne z odpovedí AI?

AI firmy majú zvyčajne jedného robota na trénovanie a iného na vyhľadávanie. Kto zakáže všetkých naraz, vypadne aj z odpovedí, ktoré by mu mohli priviesť zákazníkov:

Chcete byť v odpovediach: nechajte povolené vyhľadávacie roboty, napríklad OAI-SearchBot, Claude-SearchBot a PerplexityBot.
Nechcete dávať texty na trénovanie: zakážte len trénovacie roboty, napríklad GPTBota a ClaudeBota.
Zákaz pre všetkých: kombinácia „User-agent: *“ a „Disallow: /“ býva zvyškom z vývoja webu. Keď ostane po spustení, odstaví web od Googlu aj od AI nástrojov.

Mená robotov jednotlivých firiem sú v hesle crawler.

Príklad z praxe

Po prerábke webu ostal v robots.txt zákaz, ktorý mal počas vývoja držať roboty mimo. Návštevnosť z Googlu začne klesať a majiteľ hľadá chybu v textoch. Stačí otvoriť adresu domena.sk/robots.txt, zákaz zmazať a v Search Console požiadať o nové prehľadanie hlavných stránok.

Časté otázky

Kde nájdem súbor robots.txt?

Otvorte adresu vašej domény s koncovkou /robots.txt. Keď sa ukáže chyba 404, súbor neexistuje a roboty smú prechádzať celý web. Pri redakčných systémoch, ako je Wix, býva namiesto súboru nastavenie v administrácii.

Musí mať každý web robots.txt?

Nie, bez neho roboty prechádzajú celý web. Oplatí sa, keď chcete oddeliť trénovacie roboty od vyhľadávacích alebo nepustiť roboty do košíka a výsledkov interného vyhľadávania.

Skryje robots.txt stránku z Googlu?

Nie. Zablokovaná adresa sa vo výsledkoch môže objaviť, ak na ňu vedú odkazy. Stránku z výsledkov odstráni značka noindex alebo ochrana heslom.

Čo je robots.txt?