Robots.txt je soubor umístěný v kořenovém adresáři (root) vašeho webu. Slouží k zákazu (disallow) a povolení (allow) procházení stránek nebo částí vašeho webu. Současně zde také můžete umístit link na sitemap.xml, kterou pak robot projde.
Robots.txt může být dobrý sluha, ale zlý pán. Pokud omylem vložíte chybný zákaz, vyhledávače nebudou indexovat web nebo jeho část.
Průvodci / návody
- Introduction to robots.txt, Google
- What Is A Robots.txt File? Best Practices For Robot.txt Syntax, Moz
- Robots.txt for SEO: The Ultimate Guide, ContentKing
- Robots.txt and SEO: Everything You Need to Know, Joshua Hardwick / Ahrefs
- A Beginners Guide to Robots.txt: Everything You Need To Know, Colin Craig / SEMrush