Přejít na hlavní obsah
Zpět na slovník
SEO & GEO

robots.txt

robots.txt je textový soubor v kořeni webu, který robotům vyhledávačů a AI říká, kam smějí. Řídí procházení, ne indexaci, a slušní roboti ho dodržují dobrovolně.

Přišli jste z našeho videa o robots.txt? Tady najdete, co se do něj nevešlo: jak soubor funguje, které AI roboty pustit, vzor ke zkopírování a chyby, na které si dát pozor.

robots.txt je obyčejný textový soubor, který leží vždy na stejné adrese: vasweb.cz/robots.txt. Roboti vyhledávačů a AI služeb si ho přečtou dřív, než začnou web procházet, a zjistí z něj, kam smějí a kam ne. Funguje jako cedule na dveřích, ne jako zámek. Slušní roboti ji dodržují, ostatní ji ignorovat mohou.

Pro majitele firmy dnes robots.txt rozhoduje o dvou věcech: jestli vás najde Google a Seznam a jestli z vašeho webu mohou čerpat AI asistenti jako ChatGPT, Claude, Gemini nebo Perplexity. Jeden špatný řádek přitom dokáže z vyhledávání vyřadit celý web.

Jak robots.txt funguje

Soubor se skládá ze skupin pravidel. Každá skupina začíná řádkem User-agent se jménem robota, pro kterého pravidla platí. Pak následují řádky Disallow (sem nechoď) a Allow (sem smíš). Hvězdička * znamená všechny roboty.

  • Umístění. Soubor musí ležet v kořeni domény a jmenovat se robots.txt malými písmeny. Platí jen pro adresu, na které leží: každá subdoména, třeba eshop.vasweb.cz, potřebuje vlastní soubor.
  • Každý robot čte jen svou skupinu. Když najde skupinu se svým jménem, pravidla pro hvězdičku už neřeší. Pokud svou skupinu nemá, řídí se hvězdičkou.
  • Konkrétnější pravidlo vyhrává. Když si Allow a Disallow odporují, Google použije pravidlo s delší cestou. Při shodě zvolí to mírnější.
  • Zástupné znaky. * nahrazuje libovolný text, $ označuje konec adresy. Řádek Disallow: /*.pdf$ tak zakáže všechny soubory končící na .pdf (velikost písmen rozhoduje).
  • Velikost. Google přečte prvních 500 KiB (zhruba půl megabajtu), zbytek ignoruje. Běžnému webu stačí pár desítek řádků.
  • Zpoždění. Google si soubor obvykle pamatuje až 24 hodin, změna se proto neprojeví hned.
  • Mapa webu. Řádek Sitemap robotům řekne, kde najdou seznam všech stránek (sitemap.xml). Píše se celou adresou včetně https://.
  • Zpomalení robotů. Pravidlo Crawl-delay Google nepodporuje. Seznam má pro stejný účel vlastní pravidlo Request-rate.

Co robots.txt neumí

  • Nevyřadí stránku z Googlu. Zakázaná adresa se ve výsledcích může dál objevit, jen bez popisu. Když stránku ve vyhledávání mít nechcete, použijte značku noindex přímo ve stránce. Robota k ní ale pusťte, jinak značku neuvidí.
  • Neochrání citlivá data. Soubor je veřejný a kdokoli si v něm přečte, co skrýváte. Interní sekce patří za heslo.
  • Nic nevynutí. robots.txt je dobrovolná dohoda. Vyhledávače a velké AI firmy ji u svých hlavních robotů dodržují, ale ne vždy a ne u všech nástrojů. Skutečnou blokaci zajistí až server nebo firewall (ochranná vrstva serveru, která filtruje návštěvy).

AI boti: tři druhy, tři různá rozhodnutí

Velké AI firmy dnes posílají na web několik různých robotů s různým účelem. Kdo je smíchá dohromady, může si vypnout viditelnost v AI odpovědích, i když chtěl jen zakázat trénink.

  1. Vyhledávací boti budují rejstřík, ze kterého AI asistent čerpá a na který odkazuje ve svých odpovědích. Když je zablokujete, v odpovědích daného asistenta se přestanete objevovat.
  2. Tréninkoví boti sbírají texty, ze kterých se učí budoucí modely. Blokace znamená, že váš obsah nemá jít do tréninku. OpenAI výslovně uvádí, že na viditelnost ve vyhledávání ChatGPT to vliv nemá.
  3. Uživatelští boti stáhnou stránku ve chvíli, kdy na ni uživatel v chatu odkáže nebo kdy ji AI otevře na jeho pokyn. OpenAI, Google, Meta i Perplexity uvádějí, že tyto návštěvy se robots.txt řídit nemusí, protože je vyvolal člověk.

OpenAI (ChatGPT)

  • OAI-SearchBot: vyhledávání v ChatGPT. Když ho zablokujete, váš web se v odpovědích vyhledávání ChatGPT neukáže.
  • GPTBot: trénink modelů. Blokace vyhledávání v ChatGPT neovlivní.
  • ChatGPT-User: návštěvy na pokyn uživatele. Podle OpenAI se na něj pravidla robots.txt vztahovat nemusí.

Anthropic (Claude)

  • Claude-SearchBot: vyhledávání v Claude. Blokace může snížit vaši viditelnost ve výsledcích.
  • ClaudeBot: trénink. Blokace vyřadí budoucí obsah webu z tréninku.
  • Claude-User: návštěvy na pokyn uživatele. Anthropic blokaci respektuje, Claude pak stránku pro uživatele nestáhne.

Google (vyhledávání, AI Overviews, Gemini)

  • Googlebot: vyhledávání Google včetně AI Overviews (AI souhrny nad výsledky) a AI Mode (konverzační režim vyhledávání Google). Kdo zablokuje Googlebot, zmizí z Googlu celý.
  • Google-Extended: nejde o samostatného robota, ale o značku, kterou rozhodujete o dvou věcech: zda Google smí obsah použít k tréninku modelů Gemini a zda z něj smí aplikace Gemini čerpat, když odpovídá na dotaz. Na vyhledávání Google ani na AI Overviews vliv nemá. Kdo chce omezit, co Google ukazuje v AI Overviews, musí sáhnout po značce nosnippet (zakáže Googlu zobrazovat z textu úryvky) nebo noindex, ne po robots.txt.

Microsoft (Bing a Copilot)

  • Bingbot: vyhledávač Bing, ze kterého čerpá i Microsoft Copilot. Když ho zablokujete, nenajdou vás ani Bing, ani Copilot.

Perplexity

  • PerplexityBot: vyhledávání v Perplexity. Podle firmy se nepoužívá k tréninku modelů. Při blokaci ve výsledcích nebudete.
  • Perplexity-User: návštěvy na pokyn uživatele. Podle Perplexity robots.txt obecně ignoruje.

Apple, Meta a Common Crawl

  • Applebot: vyhledávací funkce Applu. Bez něj se ve výsledcích Applu neobjevíte.
  • Applebot-Extended: web sám neprochází, jen určuje, zda smí Apple data od Applebotu použít k tréninku svých AI modelů. Ve vyhledávání zůstanete.
  • meta-webindexer: vyhledávání v Meta AI. Podle Mety pomáhá, aby vás Meta AI citovala a odkazovala na vás.
  • meta-externalagent: trénink AI modelů Mety a další produkty Mety.
  • CCBot: robot neziskové organizace Common Crawl, která stahuje web do veřejného archivu. Z archivu čerpají výzkumníci i tvůrci AI modelů.

Seznam

  • SeznamBot: vyhledávání Seznam.cz. robots.txt respektuje.
  • Seznam-Extended: když mu nastavíte Disallow: /, Seznam přestane váš web používat jako zdroj pro AI odpovědi. Stejně funguje obecné jméno AI nebo MachineLearning.

Pozor: Sdružení pro internetový rozvoj (SPIR) s vydavatelskými organizacemi v březnu 2026 zavedlo jednotný zápis pro zákaz AI: User-agent: MachineLearning má zakazovat trénink a User-agent: AI trénink i AI odpovědi. Seznam ale podle své nápovědy přestane web používat jako zdroj pro AI odpovědi při kterémkoli z nich, i u MachineLearning. Google ani zahraniční AI firmy tyto názvy nečtou.

Co doporučujeme z pohledu GEO

GEO (optimalizace pro AI vyhledávače) začíná u toho, že AI asistent váš web vůbec smí přečíst. Pro většinu firemních webů doporučujeme:

  • Pusťte vyhledávací roboty. Googlebot, Bingbot, SeznamBot, OAI-SearchBot, Claude-SearchBot, PerplexityBot a Applebot musí mít přístup. Bez nich vás AI asistent nemá odkud citovat.
  • O tréninku rozhodněte vědomě. Když trénink povolíte, vaše značka a texty se mohou dostat do znalostí budoucích modelů. Zákaz chrání autorský obsah, viditelnost v dnešním AI vyhledávání ale nezlepší. Jestli chcete být hlavně známí, trénink spíš povolte. Pokud je váš obsah zboží (placené články, návody, data), spíš ho zakažte.
  • Kontrolujte i firewall. Cloudflare a podobné služby umějí AI roboty blokovat samy, bez zápisu v robots.txt, a taková blokace se v robots.txt vůbec neukáže. Cloudflare od září 2026 u nových webů na stránkách s reklamou ve výchozím stavu blokuje roboty pro trénink a AI agenty. Pozor: když v Cloudflare zakážete trénink, zablokujete tím i Googlebot, protože ten slouží vyhledávání i AI zároveň.
  • Neblokujte CSS a JavaScript. Google pak nevidí stránku tak, jak ji vidí člověk.

Vzor robots.txt pro firemní web

Tento vzor pouští všechny vyhledávače i AI vyhledávání a zavírá administraci a košík. Trénink AI modelů nechává povolený. Pokud ho chcete zakázat, odstraňte znak # na začátku řádků v druhé části. Cesty /admin/ a /kosik/ nahraďte těmi, které používá váš web.

# Pravidla pro všechny roboty
User-agent: *
Disallow: /admin/
Disallow: /kosik/

# Volitelně: zákaz tréninku AI modelů
# User-agent: GPTBot
# User-agent: ClaudeBot
# User-agent: Google-Extended
# User-agent: Applebot-Extended
# User-agent: meta-externalagent
# User-agent: CCBot
# Disallow: /

Sitemap: https://www.vasweb.cz/sitemap.xml

Dvě věci, než druhou část zapnete. Zákaz Google-Extended zároveň zabrání tomu, aby aplikace Gemini z vašeho webu čerpala při odpovědích, takže kdo chce být vidět v Gemini, ať ho nechá povolený. A zákaz meta-externalagent vás odstřihne nejen od tréninku, ale i od dalších produktů Mety. Roboti z druhé skupiny se pak řídí jen jí, pravidla pro hvězdičku pro ně neplatí. Tady to nevadí, protože mají zakázáno všechno.

Nejčastější chyby

  1. Zákaz z testovací verze webu. Při vývoji se web schovává řádkem Disallow: /. Když ho po spuštění nikdo neodstraní, web zmizí z vyhledávání i z AI.
  2. robots.txt vrací chybu serveru. Když soubor hlásí chybu typu 5xx, Google přestane web na 12 hodin procházet a pak až 30 dní používá poslední funkční verzi. Naopak chybějící soubor (chyba 404) znamená, že robot smí všude.
  3. Skupina pro jednoho robota zruší obecná pravidla. Když přidáte skupinu User-agent: OAI-SearchBot jen s řádkem Allow: /, tento robot přestane respektovat zákazy ze skupiny s hvězdičkou a projde i administraci.
  4. Zákaz tréninku zablokuje i vyhledávání. Typicky když doplněk webu nebo firewall nabízí volbu „blokovat všechny AI roboty“, nebo když kvůli Seznamu převezmete zápis User-agent: AI či MachineLearning.
  5. Schovávání stránky přes Disallow místo noindex. Stránka ve výsledcích zůstane, jen bez popisu.
  6. Zablokované CSS a JavaScript. Google stránku vidí rozbitou a hůř jí rozumí.
  7. Relativní adresa mapy webu. Sitemap: /sitemap.xml nestačí, musí tam být celá adresa.

Jak robots.txt zkontrolovat

  1. Otevřete v prohlížeči vasweb.cz/robots.txt a projděte, komu co zakazujete.
  2. V Google Search Console (bezplatný nástroj Googlu pro majitele webů) najdete v nastavení přehled robots.txt. Ukáže, jakou verzi Google naposledy načetl a zda v ní nenašel chyby.
  3. Zjistěte od správce webu, jestli web neběží přes Cloudflare nebo jiný firewall, který AI roboty blokuje sám.
  4. Ověřte výsledek. Zeptejte se ChatGPT nebo Perplexity na svůj obor a sledujte, jestli vás zmíní.

robots.txt, llms.txt a AGENTS.md: v čem se liší

  • robots.txt říká robotům, kam smějí. Je to standard (RFC 9309) a vyhledávací roboti velkých vyhledávačů i AI firem se jím podle své dokumentace řídí.
  • llms.txt je návrh souboru, který jazykovým modelům podává přehled nejdůležitějšího obsahu webu. Zatím nejde o standard. Některé AI firmy llms.txt samy publikují, ale žádná nepotvrdila, že ho její roboti na cizích webech čtou.
  • AGENTS.md vznikl jako návod pro AI agenty, kteří pracují s kódem. Na webech je jeho využití zatím ve fázi pokusů.

Platí jednoduché pořadí: když vás robots.txt nebo firewall zablokuje, ostatní soubory robot vůbec nepřečte. Víc v článku AGENTS.md vs. llms.txt a robots.txt.

Časté otázky

Nemusí. Když soubor chybí, roboti smějí procházet celý web. Vyplatí se ho ale mít, aspoň kvůli odkazu na mapu webu a abyste vědomě rozhodli o AI robotech.

Ne. Zakázaná stránka se ve výsledcích může dál zobrazovat, jen bez popisu. Na vyřazení z vyhledávání slouží značka noindex ve stránce nebo heslo.

Záleží na tom, jestli chcete, aby se z vašich textů učily budoucí modely OpenAI. Na to, zda vás najde vyhledávání v ChatGPT, GPTBot vliv nemá. To řídí OAI-SearchBot a ten doporučujeme nechat povolený.

Ne. AI Overviews i AI Mode se řídí Googlebotem. Google-Extended rozhoduje o tréninku modelů Gemini a o tom, zda z vás smí čerpat aplikace Gemini. Proto ho blokujte, jen pokud vám nevadí zmizet z odpovědí Gemini. Co Google ukáže v AI souhrnu, omezíte značkami nosnippet nebo noindex.

Ne vždy. Vyhledávací a tréninkoví roboti velkých firem se jím podle své dokumentace řídí. Návštěvy na pokyn uživatele (například ChatGPT-User nebo Perplexity-User) se jím řídit nemusí. Kdo potřebuje robota zastavit spolehlivě, musí to udělat na serveru nebo ve firewallu.

Sám o sobě ne, je to technická dohoda. Evropská směrnice o autorském právu (2019/790) ale umožňuje vlastníkům obsahu odmítnout vytěžování textů a dat strojově čitelným způsobem a zákaz v robots.txt se k tomu běžně používá.

U Googlu obvykle do 24 hodin, protože si soubor tak dlouho pamatuje. OpenAI u vyhledávání v ChatGPT a Meta uvádějí také zhruba 24 hodin. U ostatních robotů to může trvat déle.

Chcete vědět, jestli vás AI vidí?

robots.txt je jen první krok. Na auditu zdarma zjistíme, jestli vás ChatGPT, Claude a Perplexity znají a doporučují, a do 48 hodin dostanete doporučení, co udělat jako první.

Související články

Newsletter

Novinky z SEO a AI vyhledávání do e-mailu

Jednou měsíčně vybereme to nejdůležitější a k tomu krátce, co to znamená pro váš web. Kdo chce víc, může dostávat každý týden celé zpravodajství.

Jak často?