Как я могу профилировать многопоточную программу на Python?

Question

Я разрабатываю многопоточный модуль на Python, и я хотел бы узнать, на что он тратит свое время. cProfile, кажется, только для профилирования основной темы. Есть ли способ профилирования всех потоков, участвующих в расчете?

Answer 1

Пожалуйста, смотрите yappi (еще один Python Profiler).

Answer 2

Вместо запуска одного cProfile вы можете запустить отдельный экземпляр cProfile в каждом потоке, а затем объединить статистику. Stats.add() делает это автоматически.

Answer 3

Если вы в порядке с небольшой дополнительной работой, вы можете написать свой собственный класс профилирования, который реализует profile(self, frame, event, arg). Это вызывается всякий раз, когда вызывается функция, и вы можете довольно легко настроить структуру для сбора статистики из этого.

Затем вы можете использовать threading.setprofile, чтобы зарегистрировать эту функцию в каждом потоке. Когда функция вызывается, вы можете использовать threading.currentThread(), чтобы увидеть, на каком она запущена. Более подробная информация (и готовый рецепт) здесь:

http://code.activestate.com/recipes/465831/

http://docs.python.org/library/threading.html#threading.setprofile

Answer 4

Учитывая, что основные функции ваших потоков отличаются, вы можете использовать очень полезный profile_func() декоратор из здесь .

Answer 5

Я не знаю ни одного приложения для профилирования, которое поддерживает такие вещи для python, но вы могли бы написать класс Trace, который записывает лог-файлы, в которые вы вводите информацию о том, когда операция начинается, когда она заканчивается и как много времени это заняло.

Это простое и быстрое решение вашей проблемы.