Если я отвечу на запросы о файле robots.txt с HTTP-кодом 418 АКА «Я чайник», это заставит меня не любить поисковые системы?

Question

У меня есть очень простое веб-приложение, которое работает в Canvas HTML5 и не имеет общедоступных файлов, которые должны индексироваться поисковыми системами (кроме HTML-файла на первой странице, который включает в себя обращения ко всем необходимым ресурсам).Поэтому мне не нужен robots.txt файл, поскольку они просто увидят общедоступные файлы и все.

Теперь, в шутку, я хотел бы вернуть HTTP-418 AKA.Ответ "Я чайник" каждый раз, когда веб-сканер запрашивает robots.txt.Однако, если это приведет к тому, что мне не удастся указать мое местоположение в результатах поиска, это не шутка, которая будет для меня очень полезной.отвечать на нестандартные (хотя в данном случае это технически стандартные) HTTP-коды?

Кроме того, на более серьезном замечании, есть ли причина иметь файл robots.txt, который говорит, что «все индексируется!"вместо того, чтобы просто не иметь файл?

Answer 1

1. Наличие пустого файла robots.txt также сообщит сканерам, что вы хотите, чтобы весь ваш контент был проиндексирован. Существует директива allow для robots.txt, но она нестандартная и на нее не следует полагаться. Это хорошо, потому что он предотвращает накопление 404 ошибок в журналах доступа, когда поисковая система пытается запросить несуществующий файл robots.txt с вашего сайта.

2. Отправка нестандартных HTTP-кодов не является хорошей идеей, поскольку вы абсолютно не представляете, как поисковые системы будут на нее реагировать. Если они не примут это, они могут использовать 404 заголовок как запасной вариант, и это, очевидно, не то, что вы хотите, чтобы произошло. По сути, это плохое место для шуток.