Вы правы в том, что вам не нужна виртуальная среда внутри контейнера django.
Если вы всегда используете pip и сохраняете требования в файле require.txt, вы можете использовать это для инициализации виртуальной среды.среда для разработки без докера, а также для настройки контейнера докера:
Чтобы уменьшить размер контейнера, удалите кэш pip после установки:
FROM python:3.6.7-alpine3.8
...
RUN pip3.6 install -U pip setuptools \
&& pip3.6 install -r requirements.txt \
&& pip3.6 install gunicorn \. # or uwsgi or whatever
&& rm -rf /root/.cache