Sitemap.xml Robots.txt и URL закрытые для роботов

Всегда проверяйте файл Robots.txt, в противном случае вас ждет много приседаний. Один из хостеров любезно добавляет свой  robots.txt файл из-за чего возникают проблемы с индексированием сайта. Как этого избежать? Довольно просто — используйте Google Webmaster