Файл robots.txt

Robots.txt позволяет вебмастерам управлять индексацией сайта в Яндексе и Гугле. Подробнее о robots.txt читайте в статье Файл robots.txt. Как создать запрет на индексацию файлов движка и дублей контента для Joomla и WordPress, какие директивы можно использовать в robots.txt (disallow, user-agent, host), как добавить robots.txt ссылку на карту сайта в формате xml, как создать правильные robots.txt для WordPress и Joomla, которые будут понятны Яндексу и Гуглу.