Tensorflow-Deeplearning - корреляция между входом и выходом

Question

Я экспериментирую с тензорным потоком для распознавания речи.

У меня есть входные данные в виде сигналов, а слова в качестве выходных.

Форма волны будет выглядеть следующим образом

[0,0,0,-2,3,-4,-1,7,0,0,0...0,0,0,20,-11,4,0,0,1,...]

Слова будут представлять собой массив чисел, в то время как каждое число представляетслово:

[12,4,2,3]

После обучения я также хочу выяснить корреляцию между входом и выходом для каждой выходной метки.

Например, я хочу знать, какие входные нейроны |выборки отвечают за первую метку (здесь 12).

[0,0.01,0.10,0.99,0.77,0.89,0.99,0.79,0.22,0.11,0...0,0,0,0,0,0,0,0,0,...]

Исходные значения ввода будут заменены на корреляцию, а 0 означает отсутствие корреляции, а 1 означает полную корреляцию.

Цель состоит в том, чтобы получить позицию, когда слово начинается.

Есть ли в тензорном потоке функция для получения этой корреляции?

Answer 1

Вопрос

У меня есть последовательность данных (X), которую я хочу перевести в другую последовательность данных (Y), а также сообщить, какая часть (X) внесла вклад в (Y).

Ответ

Это хорошо известная проблема, и на Tensorflow.org действительно есть фантастический пример нейронный машинный перевод с вниманием

В примере кода показано, как перевестиX (испанский) на Y (английский) и сообщите, какая часть X влияет на решение каждой части Y (внимание)

Точно такой же принцип и код можно использовать для перевода X (волновых данных) вY (слова) и сообщают, какая часть волновых данных вносит вклад в каждое слово с помощью показания внимания.

Уровень внимания в примере называется Внимание_Layer .