Я делал это, например, путем создания второго изображения.Вы можете создать базовый образ.
FROM python
RUN pip install -r req.txt
и собрать его с помощью следующей команды:
docker build -t basic_python .
А пока, если вы хотите создать свой действительно образ, просто сделайте это сдругой файл докера:
FROM basic_python
RUN ....
CMD ....