Это не займет много времени, даже если вы использовали неоптимальную конфигурацию использования встроенного режима и Apache prefork MPM. Хотя вы могли бы ухудшить ситуацию, если бы для MaxRequestsPerChild было установлено значение 1 для процессов Apache.
Предложения, убедитесь, что вы используете режим демона mod_wsgi и работаете с одним многопоточным процессом (настройки по умолчанию для WSGIDaemonProcess). Это обеспечит, по крайней мере, наличие только одного экземпляра Django, а не одного на процесс сервера Apache.
В качестве подтверждения того, что вы делаете, отредактируйте свой вопрос и опубликуйте фрагмент текущей конфигурации Apache, показывающий, как установить биты mod_wsgi. Также укажите, используете ли вы Apache prefork или рабочий MPM, что определяется с помощью команды httpd -V и какую платформу вы используете.
Кстати, вы пробовали простую программу WSGI hello world для проверки вашей установки? См. «http://code.google.com/p/modwsgi/wiki/QuickConfigurationGuide'.». А вы пробовали с пустым сайтом Django, а не с реальным, чтобы увидеть, действительно ли это ваши изменения?