Я пытаюсь повторно внедрить https://github.com/jeffreyhuang1/two-stream-action-recognition (PyTorch ResNet) в TensorFlow Inception. При создании модели для использования 20-канального стека изображений код был простым!
self.model = resnet101 (предварительно обученный = True, канал = 20) .cuda ()
Хотя в TensorFlow нет возможности изменять количество входных каналов. Обходной путь, о котором я мог бы подумать, - это импортировать начальную модель, предварительно обученную на данных imagenet (RGB, 3 канала), и добавить необходимые переменные в график модели для размещения 20-канального ввода. Я не знаю, можно ли это сделать в TensorFlow.
Аналогичный вопрос: Входные каналы равны 6 по тензорному потоку
и учебник, который был не очень информативным: https://github.com/minhnhat93/tf_object_detection_multi_channels