В настоящее время я работаю над проектом ML NLP и хочу измерить время выполнения определенных частей, а также потенциально предсказать, сколько времени займет выполнение. Например, я хочу измерить процесс обучения ОД (включая подпроцессы, такие как часть предварительной обработки данных). Я искал в Интернете, и я столкнулся с различными python модулями, которые могут измерять время выполнения функций (например, время или время). Однако я до сих пор не нашел конкретного решения, чтобы предсказать время, которое потребуется для выполнения функции. Я думал о запуске кода несколько раз, сохранил значения (data_size, time) и затем использовал его для экстраполяции будущих данных. Я также подумал о том, чтобы затем обновить эту оценку временем, которое потребовалось для запуска нескольких частей функции (например, посмотреть, сколько процесса было вычислено, сколько времени потребовалось, а затем использовать его для корректировки оставшегося времени).
Однако я не уверен ни в чем из этого, и я хотел посмотреть, есть ли лучшие варианты, о которых я не знал, поэтому, если у кого-то есть идея получше, я был бы благодарен, если Вы могли бы поделиться этим.