Это в контексте Google Magenta package, в частности, мелодии RNN model.
Я попытался обучить basic_rnn с моим собственным набором данных, и он работал хорошо, создавая полезную контрольную точку.Однако, когда я пытаюсь вместо этого использовать Внимание_Рнн, добавляя «attn_length = 40» в hparams, я получаю ошибку «Потеря NaN во время обучения».Я попытался изменить attn_length на другие значения, такие как 10 или 20, и я все еще получаю эту ошибку.Кроме того, я позаботился о том, чтобы создать набор данных с помощью параметра «Внимание_Рнн», чтобы это не было проблемой.
У кого-нибудь есть подобные проблемы?
Вот команды, которые я использовал:
convert_dir_to_note_sequences
--input_dir=$INPUT_DIRECTORY
--output_file=$SEQUENCES_TFRECORD
--recursive
melody_rnn_create_dataset --config="attention_rnn" --input=".../mono_notesequences.tfrecord" --output_dir="..." --eval_ratio="0.10"
python ${MODEL}/melody_rnn_train.py --config=attention_rnn --run_dir=${OUTPUT} --sequence_example_file=${INPUT}/attention_rnn/training_melodies.tfrecord --hparams="batch_size=128,rnn_layer_sizes=[512,512],attn_length=40" --num_training_steps=20000