Wordpress
Sitemap.xml Robots.txt и URL закрытые для роботов
Всегда проверяйте файл Robots.txt, в противном случае вас ждет много приседаний. Один из хостеров любезно добавляет свой robots.txt файл из-за чего возникают проблемы с индексированием сайта. Как этого избежать? Довольно просто - используйте Google Webmaster (далее…)