На уроках глубокого обучения Andrew Ng Coursera есть задание по обнаружению триггерного слова (например, не мое: jupyter notebook ).
В задании они просто предоставили обученную модельпотому что они утверждают, что обучение с использованием более 4000 примеров обучения с графическими процессорами потребовало нескольких часов.
Вместо того, чтобы просто использовать предоставленную модель, я попытался создать свои собственные примеры обучения с использованием их функций, а затем обучить модель с нуля.,Необработанные аудиофайлы остаются без изменений.Было 2 фоновых файла, поэтому я позаботился о том, чтобы для каждого фона было 2000 обучающих примеров:
n_train_per_bg = 2000
n_train = len(backgrounds)*n_train_per_bg
orig_X_train = np.empty((n_train, Tx, n_freq))
orig_Y_train = np.empty((n_train, Ty , 1))
for bg in range(len(backgrounds)):
for n in range(n_train_per_bg):
print("bg: {}, n: {}".format(bg, n))
x, y = create_training_example(backgrounds[bg], activates, negatives)
orig_X_train[bg*n_train_per_bg + n, :, :] = x.T
orig_Y_train[bg*n_train_per_bg + n, :, :] = y.T
np.save('./XY_train/orig_X_train.npy', orig_X_train)
np.save('./XY_train/orig_Y_train.npy', orig_Y_train)
Однако, после пробежки в течение часа, результаты, которые я получил, были весьма разочаровывающими.Один из более поздних примеров в том же упражнении показывает их правильно функционирующую модель, отображающую всплеск вероятности, когда триггерное слово «активировать» обнаруживается вокруг отметки 400 на оси x:
и вот мой, который не только ничего не обнаруживает, но просто выравнивает!:
единственными изменениями, которые я сделал, было:
- изменение скорости обучения для оптимизатора Адама с 0,0001 до 0,0010
- с установкой
batch_size на 600
IЯ понимаю, что мне, вероятно, все еще нужно включить еще много эпох, но я очень удивлен, что вероятность выхода будет неизменной без изменений.Я делаю что-то ужасно неправильно или мне просто нужно верить, что модель сойдется с чем-то более логичным?