Я пишу класс, который реализует 'Squential' из Keras, который возвращает пакеты изображений. По сути, сложность заключается в функции getitem (), которая возвращает функцию набора изображений в фиксированной форме, как указано ниже. Хитрость указывает на это:
- Формат выходного тензора должен быть
[batch_size, frames, height, width, channels]
- В настоящее время у меня есть таблица из одного столбца, в которой внизу перечислены пути к разным кадрам разных видео фиксированного размера. Например, я бы взял 5 кадров из каждого видео, при индексе 0 таблица начинается с первого видео, последовательно загружает кадр за кадром все 5 кадров до кадра 4. В кадре с 5 по 9 начинается загрузка второе видео, 10-14 - третье ...
- В настоящее время мы можем читать эту таблицу партиями, где каждый кадр читается scikit.io.imread () и возвращается в виде трехмерного массива.
Проблема заключается в том, как складывать эти отдельные чтения изображений, чтобы гарантировать, что, например, после изменения формы каждая партия будет иметь, например, 5 кадров, и эти 5 кадров будут принадлежать тому же видео, что и изначально, в правильном порядке, то есть в том, в котором они были imread().
Мне трудно решить, как построить этот тензор, так как это 5-й, в котором 5-D, я должен убедиться, что порядок видео остается неизменным после преобразований массива.
Эти тензоры должны быть введены в нейронную сеть, следовательно, неправильный порядок в тензоре - много потраченного времени на обучение неправильной вещи.