Что касается content-type: text/html
, это в основном говорит клиенту, чего ожидать и, как правило, как обращаться с файлом. В случае с ботами это может быть полезно для целей SEO, так как сообщает боту, какой тип файла он просматривает, и который может изменить его анализ / ранжирование.
В случае content-length
это просто позволяет клиенту узнать, какого размера файл ожидать и, следовательно, где заканчивается ответ.