Классификация последовательности изображений (фиксированное число)

Question

Я успешно обучил CNN для классификации одного изображения, используя предварительно обученный resnet50 из tenorflow_hub.

Теперь моя цель - предоставить в качестве входных данных для моей сети хронологическую последовательность изображений (не видео), чтобы классифицировать поведение субъекта. Каждая последовательность состоит из 20 изображений, снятых каждые 100 мс.

Какой тип NN является лучшим? Где я могу найти документацию / примеры проблем, похожих на мою?

Answer 1

Каждый раз, когда появляются последовательные данные, какой-то тип рекуррентной нейронной сети является отличным кандидатом (обычно в форме LSTM).

Ваша модель может выглядеть как комбинация CNN-LSTM, потому что ваши снимки иметь какие-то последовательные отношения.

Вот ссылка на некоторые примеры и учебные пособия . Он установит CNN в своем примере, но вы, вероятно, могли бы настроить свою архитектуру, чтобы использовать re sNet, который вы уже сделали. Хотя вы не имеете дело с видео, ваша проблема находится в одном и том же домене.

Здесь - это документ, в котором используется архитектура NN, подобная описанной выше, которую вы могли бы найти полезной.