Есть ли что-то, что мы можем изменить либо на s3, либо на mp4, чтобы уменьшить количество получения
Не совсем, клиенты делают запросы get, а не сервер, так что есть нет изменений конфигурации на стороне сервера, чтобы перегрузить его.
Вы можете отключить запросы диапазона, но это отрицательно скажется на поиске.