Обновления S3 немедленно отражаются при повторном запросе загрузок.
Проблема в том, что вы не отключили кеш браузера. Таким образом, ваш браузер использует кэшированный html вместо загрузки с S3.
Чтобы отключить кэш при разработке, например, в Chrome, нажмите F12, затем перейдите на вкладку Сеть и установите флажок Отключить кэш.
Не закрывайте окно, пока вы не будете довольны кэшированием. Если вы не хотите держать окно открытым, альтернативой является использование плагинов или изменение реестра, которые на самом деле не предлагаются.
Наконец, если вы планируете использовать Cloudfront в будущем, при каждом обновлении до S3 вы захотите недействительные кэши Cloudfront до их автоматического истечения.