Есть ли способ создать график, сравнивающий гиперпараметры с точностью модели с помощью пакета Python TRAINS?

Question

Я хотел бы провести несколько экспериментов, а затем сообщить о точности модели за эксперимент.

Я обучаю игрушечный пример MNIST с помощью pytorch (v1.1.0), но цель в том, чтобы сравнить производительностьдля проблемы с игрушкой, чтобы он был интегрирован с реальной базой кода.

Как я понимаю, пакет Python TRAINS, с "двумя строками кода", все мои гиперпараметры уже зарегистрированы (командная строка argparse вмое дело).

Что мне нужно сделать, чтобы сообщить о конечном скаляре, а затем уметь сортировать все различные обучающие эксперименты (с гиперпараметрами), чтобы найти лучший.

То, что я хотел бы получить, это график / с, где на оси X у меня есть значения гиперпараметров, а на оси Y - точность проверки.

Answer 1

Я полагаю, вы имеете в виду: https://pypi.org/project/trains/ (https://github.com/allegroai/trains), который я один из сопровождающих.

Вы можете вручную создать график с осью X одной точки для значения гиперпараметра и осью Y для точности.

number_layers = 10
accuracy = 0.95
Task.current_task().get_logger().report_scatter2d(
    "performance", "accuracy", iteration=0, 
    mode='markers', scatter=[(number_layers, accuracy)])

Предполагая, что вашим гиперпараметром является "число_слой" с текущим значением 10, а точность для обученной модели составляет 0,95.

Тогда, когда вы сравниваете эксперименты, вы получаете что-то вроде этого: