Поскольку это может помочь другим людям, которые ищут решение, я, наконец, заставил его работать, используя функцию сохраненной конфигурации в Beanstalk и вызывая ее через формирование облака template.yml: EBConfigurationTemplate (из автоматически сгенерированного template.yml, созданного codestar)
EBConfigurationTemplate:
[...]
SourceConfiguration:
ApplicationName: !Ref 'EBApplication'
TemplateName: "Saved Configuration Name"
После этого мое приложение django смогло прочитать os.environ ['ENV_VAR_NAME'], а также django.config, который смог подключиться к RDS (не управляется beanstalk)) выполнить миграцию в качестве контейнера_команды