Рекуррентные нейронные сети (RNN) с механизмом внимания обычно используются для машинного перевода и обработки естественного языка. В Python реализация RNN с механизмом внимания широко распространена в машинном переводе (например, https://talbaumel.github.io/blog/attention/,, однако я хотел бы использовать RNN с механизмом внимания для файла временных данных (не на основе текста или предложений). данные).
У меня есть файл CSV с размерами 21392 x 1972, который я преобразовал в Dataframe с помощью Pandas. Первый столбец имеет формат даты и времени, а последний столбец состоит из целевых классов, таких как «Class1», «Class2», «Class3» и т. Д., Которые я хотел бы определить. Таким образом, в общей сложности имеется 21392 строки (экземпляры данных за 10 минут) и 1971 объект. Последний (1972-й столбец) - это столбец меток, всего 14 различных классов.
Я изучил доступную документацию по реализации на Keras (https://medium.com/datalogue/attention-in-keras-1892773a4f22), а также на Tensorflow ( Визуализация активации внимания в Tensorflow ), но, похоже, никто из них не делает то, что я хочу Я понимаю, что это необычный подход, но хотел бы попробовать это и использовать механизм внимания, потому что многие из моих функций предположительно избыточны в данных.
import pandas as pd
mydataset = pd.read_csv('final_merged_data.csv')
Из существующей литературы преобладает, что механизм внимания работает довольно хорошо, когда подключен к RNN. Я не могу найти любую такую реализацию RNN с помощью механизма внимания, который также может обеспечить визуализацию. Я также не могу понять, как я могу преобразовать свои данные в последовательность (или список списков), чтобы впоследствии использовать их с One Hot Encoding для использования RNN с вниманием. Я новичок в использовании Python, а также Keras / Tensorflow, и я довольно запутался в процедуре преобразования моих данных / типов их в форму, которая сможет имитировать проблему классификации последовательности. Моя проблема в основном заключается в многоклассовой классификации, как это обычно делается при использовании классификаторов машинного обучения для прогнозирования меток, но при использовании RNN с вниманием. Любая помощь в этом отношении будет принята с благодарностью. Ура!