Как сообщить боту Google, что определенные ссылки больше не существуют - PullRequest
2 голосов
/ 31 января 2011

В первые дни существования сайта я допустил ошибку при создании некоторых ссылок;после них выводится ошибка базы данных.

Робот Google попытался перейти по этим ссылкам, и теперь они появляются как ошибки сканирования в инструментах для веб-мастеров.Хотя с тех пор я исправил ошибку, Google все еще пытается сканировать их.

Как сообщить Google, что таких ссылок больше не существует и что они ведут никуда?Я не могу выполнить переадресацию 301, которая бы указывала, что ссылки действительны, и все в порядке, чтобы проиндексировать их.

Ответы [ 2 ]

5 голосов
/ 31 января 2011

Если страница утеряна без логической замены, тогда вы должны обычно возвращать ошибку 404, в этом случае, однако, я бы рассмотрел возврат 410 Gone - что означает, что страница была удалена навсегда, чтобы никогда не возвращаться очищены от индексов Google.

Вероятно, стоит обратить внимание на существующую кодовую базу для рассматриваемых URL, чтобы убедиться, что на них не осталось ссылок.

Что касается 301, 301 не означает, что ссылка действительна, 301 перемещен навсегда. Это говорит Google, что страница, которую он искал здесь, теперь живет в другом месте, и направляет Google на новое место. Не применимо в вашем случае к звукам вещей, но немного отличается от того, как вы это описали.

Для получения дополнительной информации см. http://en.wikipedia.org/wiki/List_of_HTTP_status_codes

1 голос
/ 31 января 2011

Я бы просто отметил их в вашем robots.txt

http://www.robotstxt.org/robotstxt.html

...