AWS Sagemaker: можно ли изменить существующую демонстрацию train_image?

Question

Я пробую демонстрацию "DeepAR-Electricity.ipynb" на AWS Sagemaker.

Но после запуска estimator.fit для обучения я могу получить журнал avg_epoch_loss только в каждую эпоху, напечатаннуюнекоторые функции, которые я не смог найти.Как я могу построить кривые потерь обучения и проверки?

Можно ли изменить существующую демонстрацию train_image?Если нет, то как построить кривые потерь обучения и проверки?Если да, как получить доступ к функции обучения источника?

Answer 1

Как указал Пранит, изображение контейнера DeepAR не может быть изменено.Если вы хотите построить кривую обучения, можно проанализировать журнал.Я приложил пример, показывающий, как может быть проанализирован журнал, загруженный в 'deepar-log.txt'.

import re
import matplotlib.pyplot as plt

with open('deepar-log.txt', 'r') as f:
    lines = '\n'.join(f.readlines())
    avg_loss_re = re.compile("Epoch\[(\d+)\].*Batch.*\[(\d+)\].*avg_epoch_loss=(-?\d+\.?\d*)")
    avg_losses = [(int(epoch), int(batch), float(loss)) for epoch, batch, loss in avg_loss_re.findall(lines)]
    plt.plot([loss for _, _, loss in avg_losses])
    plt.show()