Я не могу изменить расширение файла, но мне нужно использовать его как HTML-файл. Нет php внутри.
Это будет хорошо работать. Установите Content-Type на text/html.
Content-Type
text/html
Это можно сделать в консоли S3, как описано в Как добавить метаданные в объект S3? или при первоначальной загрузке файла.