Как проверить, будет ли Googlebot индексировать данный URL?

Question

Мы создаем сайт whitelabel, который нельзя индексировать в Google.

Кто-нибудь знает инструмент для проверки, будет ли робот Google индексировать данный URL?

Я поместил <meta name="robots" content="noindex" /> на все страницы, поэтому его не следует индексировать - однако я бы предпочел на 110% быть уверенным при его тестировании.

Я знаю, что могу использовать robots.txt, однако проблема с robots.txt заключается в следующем: Наш основной сайт должен быть проиндексирован, и это то же приложение на IIS (ASP.Net), что и сайт whitelabel - единственное отличие - это URL.

Я не могу изменить robots.txt в зависимости от входящего URL-адреса, но я могу добавить метатег на все страницы из моего кода.

Answer 1

Вы должны добавить Robots.txt на свой сайт.

Однако единственный идеальный способ запретить поисковым системам индексировать сайт - это потребовать аутентификацию.(Некоторые пауки игнорируют Robots.txt)

РЕДАКТИРОВАТЬ : вам нужно добавить обработчик для Robots.txt для обслуживания разных файлов в зависимости от заголовка хоста.
настроить IIS для отправки запроса Robots.txt через ASP.Net;точные инструкции зависят от версии IIS.

Answer 2

Инструменты Google для веб-мастеров ( google.com / webmasters / tools ) будут (помимо разрешения загружать карту сайта) выполнить тестовый обход вашего сайта и сообщат вам, что они сканировали, как он оценивается для определенные запросы, и что они будут сканировать, а что нет.

Тестовый обход автоматически не включается в результаты Google, в любом случае, если вы пытаетесь скрыть конфиденциальные данные от посторонних глаз Google, вы не можете рассчитывать только на это: поставьте некоторую аутентификацию на линию огня, несмотря ни на что.