Всегда проверяйте файл Robots.txt, в противном случае вас ждет много приседаний.
Один из хостеров любезно добавляет свой robots.txt файл из-за чего возникают проблемы с индексированием сайта.
Как этого избежать? Довольно просто — используйте Google Webmaster
После того как вы добавили сайт в Google Webmaster и отправили на проверку ваш sitemap.php, можно увидеть такую картину
Проверка файла sitemap.xml и robots.txt сторонними утилитами показывают что все хорошо, тогда стоит обратиться инструменту от Google Webmaster, идем и проверяем файл robots.txt, Сканирование — Инструмент проверки файлы robots.txt
Внизу вводим произвольный линк с нашего сайта и смотрим какое правило из файла robots.txt у нас отработало.
Меняем правила на нормальные
1 2 3 4 5 6 7 |
User-agent: Googlebot Disallow: /wp-admin Sitemap: https://roboteye.biz/sitemap.xml User-agent: * Disallow: /wp-admin Sitemap: https://roboteye.biz/sitemap.xml |
И как результат имеем полную доступность нашего сайта