бенчмаркинг приложений Django

Question

Я заинтересован в тестировании производительности моих django-приложений, каков наилучший способ получения построчно данных о производительности?

note : Поиск в Google возвращает множество людей, которые тестируют сам django. Я не ищу тесты django, я пытаюсь проверить производительность приложений django, которые я пишу:)

Спасибо!

edit : Под «построчно» я подразумеваю синхронизацию отдельных функций, вызовов БД и т. Д., Чтобы определить узкие места на очень детальном уровне

Answer 1

Для этого есть два слоя. У нас есть большая часть # 1 для нашего тестирования. Мы собираемся начать на # 2.

1. Джанго в изоляции. Обычные юнит-тесты Django здесь хорошо работают. Создайте несколько тестов, которые будут проходить через несколько (менее 6) «типичных» вариантов использования. Получите это, опубликуйте это и т.д. Соберите данные о времени. Это не реальная производительность в сети, но это простой в работе тестовый сценарий, который можно использовать для настройки.

2. Весь ваш веб-стек. В этом случае вам нужен обычный сервер под управлением Squid, Apache, Django, MySQL, что угодно. Вам нужен второй компьютер (ы), чтобы клиент работал с вашим веб-сайтом через urllib2, выполняя несколько (менее 6) «типичных» вариантов использования. Получите это, опубликуйте это и т.д. Соберите данные о времени. Это по-прежнему не «реальная» производительность в сети, потому что она не через Интернет, но она настолько близка, насколько это возможно без действительно сложной настройки.

Обратите внимание, что # 2 (сквозное) включает в себя большое кэширование для производительности. Если ваши клиентские скрипты выполняют аналогичную работу, кэширование будет действительно полезным. если ваши клиентские скрипты каждый раз делают уникальные вещи, кэширование будет менее полезным.

Самое сложное - определить, какова "типичная" рабочая нагрузка. Это не функциональное тестирование, поэтому рабочая нагрузка не должна включать все. Кроме того, чем больше одновременных сеансов запущено вашим клиентом, тем медленнее он становится. Не пытайтесь оптимизировать ваш сервер, когда тестовый клиент является самой медленной частью обработки.

---

Редактировать

Если «построчно» означает «профилирование», то вам нужно запустить профилировщик Python.

https://docs.python.org/library/profile.html

Обратите внимание, что в слое Django ORM много кеширования. Поэтому запуск функции просмотра полдюжины раз для получения значимого набора измерений не имеет смысла. Вы должны выполнить «типичный» набор операций, а затем найти горячие точки в профиле.

Как правило, ваше приложение легко оптимизировать - вам не нужно много делать. Ваши функции просмотра должны быть короткими и не иметь обработки, чтобы говорить о них. Точно так же функции метода формы и модели должны быть очень короткими.

Answer 2

Один из способов построчно получить данные о производительности (профилировании) вашего приложения Django - использовать компонент промежуточного программного обеспечения WSGI, например repoze.profile .

Предполагая, что вы используете mod_wsgi с Apache, вы можете вставить repoze.profile в свое приложение следующим образом:

...
application = django.core.handlers.wsgi.WSGIHandler()
...
from repoze.profile.profiler import AccumulatingProfileMiddleware
application = AccumulatingProfileMiddleware(
    application,
    log_filename='/path/to/logs/profile.log',
    discard_first_request=True,
    flush_at_shutdown=True,
    path='/_profile'
)

И теперь вы можете указать свой браузер на / _profile для просмотра данных вашего профиля. Конечно, это не будет работать с mod_python или внутренним сервером Django.