Когда я "просматриваю источник" (используя cmd-I) из google.com / robots.txt в Safari, Chrome или Firefox на Mac, я вижу:
<code><html>
<head></head>
<body>
<pre style="word-wrap: break-word; white-space: pre-wrap;">…
Откуда приходит HTML?
Файл роботов Google является лишь примером - я получаю одинаковые результаты для всех текстовых файлов во всех браузерах.
Я спрашиваю, потому что пишу программу на Python для генерации файлов robots.txt и sitemap.txt, и я хотел убедиться, что были отправлены правильные заголовки.
Просмотр HTML в исходном коде заставил меня беспокоиться, что мои заголовки были неправильными.
Тот факт, что файл Google robots.txt имеет тот же HTML, заверяет меня, что это нормально, но я хотел бы знать, почему это так.
Я создаю веб-сайты с 1995 года и не помню, чтобы когда-либо замечал такое поведение.