Я извлек черты лица из нескольких видео в виде единиц действия лица (AU), используя openface. Эти функции охватывают несколько секунд и, следовательно, занимают несколько строк в файле CSV (каждая строка содержит данные AU для каждого кадра видео). Первоначально у меня было несколько CSV-файлов в качестве входных данных для NN, но, как посоветовали другие люди (в других местах), я объединил и сжал данные в один файл. Мои столбцы CSV выглядят следующим образом:
Примечание: строка НЕ находится в моих данных, а просто здесь, чтобы показать, как она отображается в файле CSV
Row | Filename | Label | the other columns contain AU related data/vectors
1 | 0 | Yes | ...
2 | 0 | Yes | ...
.
.
.
197 | 0 | Yes | ...
198 | 0 | Yes | ...
199 | 1 | No | ...
199 | 1 | No | ...
.
.
.
509 | 1 | No | ...
510 | 1 | No | ...
511 | 2 | No | ...
512 | 2 | No | ...
.
.
.
And so on
Имя файла содержитиндивидуальный «идентификатор», который помогает отслеживать один «пример», так как каждый пример состоит из нескольких строк, НО количество строк в каждом примере всегда отличается друг от друга. Столбец метки содержит 2 возможных значения. Либо «да», либо «нет».
Наиболее вероятный сценарий - то, что мне потребуется некоторая форма RNN, но я не смог найти какой-либо код, который может помочь мне в этом сценарии. Может кто-нибудь помочь мне? Понятия не имею, как и куда двигаться дальше.