Нужно ли отправлять 404?

Question

Мы находимся в процессе написания большого количества кода для перезаписи URL, который в основном использует ourdomain.com/SomeTag, и чего-то динамического, чтобы выяснить, что отображать.

Теперь, если тег не существует в нашей системе, мы покажем некоторую информацию, помогающую им найти то, что они искали.

А теперь возник вопрос, нужно ли отправлять заголовок 404? Должны ли мы? Есть ли причины делать это или нет?

Спасибо

Nathan

Answer 1

От вас это не требуется, но для автоматических проверок может быть полезно обнаружить код ответа, вместо того чтобы анализировать страницу.

Answer 2

Я, конечно, посылаю правильные коды ответов в своих приложениях, особенно когда у меня есть ошибки в базе данных или другие фатальные ошибки. Тогда поисковая система знает, что нужно сдаться и повторить попытку через 5 минут вместо индексации страницы. например код 503 для «Служба недоступна», и я также отправляю сообщение «Retry-After: 600», чтобы повторить попытку ... поисковые системы не воспримут это плохо

404 кода отправляются, когда страница не должна быть проиндексирована или не существует (например, несуществующий тег)

Так что да, отправляю коды состояния.

Answer 3

Вы должны иметь в виду, что возвращаемый код результата не для пользователя; для обычного пользователя коды ошибок не имеют смысла, поэтому не показывайте эту информацию пользователю.

Однако подумайте о том, что может случиться, если сканеры получат доступ к вашим страницам, и сочтите их действительными (с ответом 200); они начнут индексировать контент, и ваша страница будет добавлена ​​в индекс. Если вы скажете поисковой системе индексировать один и тот же контент для всех ваших не найденных страниц, это, безусловно, повлияет на ваш рейтинг, и если одна страница появится в верхних результатах поиска, вы будете выглядеть как дурак.

Answer 4

Я говорю, сделайте это - если пользователь на самом деле является приложением, действующим от имени пользователя (например, cURL, wget, что-то нестандартное и т. Д.), То 404 на самом деле может помочь совсем немного.