Sitemap.xml Robots.txt и URL закрытые для роботов

Всегда проверяйте файл Robots.txt, в противном случае вас ждет много приседаний.

Один из хостеров любезно добавляет свой  robots.txt файл из-за чего возникают проблемы с индексированием сайта.

Как этого избежать? Довольно просто — используйте Google Webmaster

После того как вы добавили сайт в Google Webmaster и отправили на проверку ваш sitemap.php, можно увидеть такую картину

 

Проверка файла sitemap.xml  и robots.txt сторонними утилитами показывают что все хорошо, тогда стоит обратиться инструменту от Google Webmaster, идем и проверяем файл robots.txt,  Сканирование — Инструмент проверки файлы robots.txt

Внизу вводим произвольный линк с нашего сайта и смотрим какое правило из файла robots.txt у нас отработало.

Меняем правила на нормальные

И как результат имеем полную доступность нашего сайта