Строковый профилировщик памяти Python?

Question

Я хочу сгенерировать из большой кодовой базы Python сводную информацию об использовании кучи или распределении памяти за время выполнения функции.

Я знаком с heapy и он мне пригодился для того, чтобы делать «снимки» кучи в определенных точках моего кода, но мне было трудно сгенерировать сводку «со временем по памяти».Я также играл с line_profiler , но это работает со временем выполнения, а не с памятью.

Мой запасной вариант сейчас - Valgrind с массив , но ему не хватает многоконтекстной информации Python, которую предоставляют и Heapy, и line_profiler.Существует ли какая-то комбинация последних двух, которая дает ощущение использования памяти или увеличения кучи за период выполнения программы на Python?

Answer 1

Я бы использовал sys.settrace при запуске программы для регистрации пользовательской функции трассировки.Функция custom_trace_function будет вызываться для каждой строки кода.Затем вы можете использовать эту функцию для хранения информации, собранной heapy или meliae , в файле для последующей обработки.

Вот очень простой пример, который каждую секунду записывает вывод hpy.heap () в простой текстовый файл:

import sys
import time
import atexit
from guppy import hpy

_last_log_time = time.time()
_logfile = open('logfile.txt', 'w')

def heapy_profile(frame, event, arg):
    currtime = time.time()
    if currtime - _last_log_time < 1:
        return
    _last_log_time = currtime
    code = frame.f_code
    filename = code.co_filename
    lineno = code.co_firstlineno
    idset = hpy().heap()
    logfile.write('%s %s:%s\n%s\n\n' % (currtime, filename, lineno, idset))
    logfile.flush()

atexit.register(_logfile.close)
sys.settrace(heapy_profile)

Answer 2

Вас может заинтересовать memory_profiler .