Как остановить поисковые системы, индексирующие страницу обслуживания

Question

Мне нужно настроить страницу обслуживания для сайта, на котором я работаю, например для отображения, когда я выполняю обслуживание сайта (запланированное время простоя) или если что-то действительно ломается, и мне нужно открыть временную страницу.

Есть ли что-то особенное, что мне нужно сделать, чтобы поисковые роботы не индексировали его и не думали, что это мой сайт. Или я должен сделать 404, добавить временный файл robots.txt или что-то? По сути, я не хочу, чтобы они указывали его как мой сайт, но я также не хочу, чтобы они думали, что мой сайт мертв и не возвращаются.

Редактировать: Вот что я сделал в Apache: ErrorDocument 503 /.server-maintenance.html RewriteEngine On RewriteRule! ^. Server-maintenance.html / server-maintenance Redirect 503 / server-maintenance сильный текст

Answer 1

Вы должны отправить 503 Service Unavailable код состояния HTTP, а не 404. Используйте это вместе с заголовком Retry-After, чтобы сообщить роботам, когда возвращаться.

Answer 2

Вы можете использовать robots.txt

http://www.robotstxt.org/

Кроме того, Google имеет валидатор в своих инструментах для веб-мастеров.

https://www.google.com/webmasters/tools/

Answer 3

Возвращаясь 503 Service Unavailable говорит ботов Google, чтобы вернуться позже. На странице поддержки Google описаны коды ошибок HTTP и их интерпретация.

Вы также можете использовать Заголовок ответа Retry-After , чтобы указать минимальное время, после которого ваш сайт повторно проверяется на доступность.

Answer 4

Другой подход заключается в том, чтобы не связывать страницу обслуживания с какой-либо другой страницей вашего сайта (или любого другого сайта).