Я не уверен, что Heroku позволяет хранить файлы (имеет временное хранилище файлов).
Подход к хранению ключей (и настроек env) заключается в использовании Config Vars: они определены вами как ключ -value (ie AWS_KEY: 123) и внедряется в среду выполнения вашего приложения, где вы можете получить их как переменные env, в Java, например,
System.getenv("AWS_KEY");