Если вы собираетесь просто устанавливать пакеты и не изменять их код, нет проблем с ними, живущими в site-packages
dir Python.
Поскольку вы используете virtualenv, пакеты, установленные во время активности virtualenv, будут храниться в:
/path/to/virtualenvs/myvirtualenv/lib/python2.x/site-packages/
И для них совершенно нормально оставаться там. Как говорит Даниэль Р., важно, чтобы они были вашим ПИФОНПАТОМ, а virtualenv заботится о том, чтобы они были такими.
Пользовательские приложения, которые вы пишете, входят в ваш проект. Установленные приложения, которые вы просто хотите импортировать в свои пользовательские приложения, могут оставаться в папке site-packages.