Есть несколько способов снять шкуру с этой кошки. Все они включают создание отдельного определения задачи для каждой среды (все с использованием одного контейнера).
Вы можете передавать различные переменные среды в каждое определение задачи (или монтировать разные тома).
Вы можете упакуйте все файлы конфигурации в ваш контейнер и получите переменную среды, которая указывает на соответствующий файл для каждой среды.
Существуют другие параметры, которые не требуют упаковки всех конфигов в файле docker. Это имеет свои преимущества, поскольку вам не нужно перестраивать контейнер при изменении конфигурации.
Вы можете поместить все конфиги в переменные окружения, использовать диспетчер секретов AWS или смонтировать другой том с помощью config для каждого определения задачи.