noindex, noarchive для мертвых веб-страниц? что вы считаете правильным?

Question

Я заметил, что значительное количество веб-приложений, в частности, не очень хорошо справляются со страницами / учетными записями, которые были удалены.

Прежде всего, я скажу, что я придерживаюсь позиции, что владелец контента всегда владеет контентом и что, если контент удаляется или владелец удаляет учетную запись, провайдер / веб-приложение должны сделать все возможное, чтобы прекратить индексирование указанного содержания.

Для этого я думаю, что разумной стратегией было бы установить для 404 страниц и страниц-заполнителей значения noindex, nofollow и noarchive в их метатегах.

Таким образом, в нескольких примерах Flickr не делает ничего и при удалении учетной записи, вместо этого он возвращает страницу с сообщением об удалении учетной записи.

www.flickr.com / люди / rebelchrome

Friendfeed возвращает 404 без специальных метатегов.

Как вы думаете, что лучше / лучше делать в подобных ситуациях?

Answer 1

Код ответа 410 Gone предназначен для мертвых веб-страниц (веб-страниц, которые больше не существуют и для которых нет очевидной альтернативы). Страница все еще может вернуть тело.

Поисковые системы, получившие ответ о статусе 410 Gone, смогут понять, что эта страница больше не существует и может действовать соответствующим образом - для большинства поисковых систем это будет означать просто удаление ее из индекса.

Люди, сталкивающиеся со страницей, просто увидят тело страницы. Как и в случае с 404, у вас может быть настраиваемая страница 410, и она может быть похожей - содержащая краткое сообщение о том, что страница больше не существует, а также, возможно, мини-карта сайта и окно поиска, позволяющие пользователю найти альтернативный контент на сайт.

Использование инструкций роботов, таких как noindex, на самом деле не нужно, когда страница возвращает ответ 410/404, потому что код ответа говорит само за себя.

На странице flickr, на которую вы ссылались, есть сообщение, карта мини-сайта и поле поиска, но, вероятно, должно возвращаться сообщение об ошибке 410 или 404, а не 200, как это было.