robots.txt je vyhazovač u dveří vašeho webu. Řídí přístup – rozhoduje, jestli AI bot nebo crawler smí, nebo nesmí danou část webu procházet. Nedává žádný kontext k obsahu za dveřmi, které povoluje nebo blokuje. Pokud v něm AI bota zablokujete, pro daného agenta prakticky neexistujete.

robots.txt se často plete s AGENTS.md a llms.txt, přestože každý řeší jiný problém: robots.txt kontroluje hranice (smí, nebo nesmí crawlovat), llms.txt dělá inventuru obsahu (seznam odkazů) a AGENTS.md učí agenta, jak se má u vás chovat. Protože robots.txt řeší každý požadavek zvlášť, zatímco AGENTS.md agentovi nastaví dlouhodobou paměť, kterou si nese z jedné návštěvy do druhé, mají přístup a chování vždy jinou váhu – pokud vás robots.txt zablokuje, k AGENTS.md se agent vůbec nedostane.

V roce 2026 je robots.txt stejně základním kamenem webu jako sitemap.xml nebo nově AGENTS.md.