Как проверить, доступен ли сайт для поискового бота

Question

Могу ли я выполнить какие-либо тесты, чтобы проверить, могут ли поисковые роботы получить доступ к моему сайту?

Answer 1

1. спецификация: http://www.robotstxt.org/

2. Проверка синтаксиса: http://www.searchenginepromotionhelp.com/m/robots-text-tester/robots-checker.php

3. проверка доступности: http://phpweby.com/services/robots

_{Все из которых являются друзьями Google, так что казалось,}