Google все равно проиндексировал мой домен?

Question

У меня есть robots.txt, как показано ниже, но Google все еще проиндексировал мой домен.В основном они проиндексировали mydomain.com, но не mydomain.com/any_page

UserAgent: *
Disallow: /

Я имею в виду, как я могу вернуться дальше, чем /, который я считал корнем домена?* Обратите внимание, что этот домен находится в стадии разработки, поэтому я не хочу, чтобы Google или другие поисковые системы видели его в течение минуты.

Answer 1

Если у вас его еще нет, получите Google Webmaster Tools аккаунт. Он включает в себя инструмент для удаления URL, который может работать для вас.

Это не решает проблему поисковых систем, возможно, игнорирующих или неверно истолковывающих ваш файл robots.txt, конечно.

Если вы ДЕЙСТВИТЕЛЬНО хотите, чтобы ваш сайт не транслировался до его запуска, вам лучше всего его отключить. Сделать сайт недоступным кроме как по паролю. Если вы добавите HTTP Basic аутентификацию в ваш корень документа, то ни одна поисковая система не сможет ничего проиндексировать, но вы получите полный доступ с паролем.