Tensorflow RGB-D Обучение

Question

У меня есть изображения RGB-D (цвет и глубина) для данной сцены.Я хотел бы использовать тензорный поток для обучения модели классификации, основанной на предварительно обученной сети, такой как начало.Насколько я понял, эти предварительно обученные модели были построены с использованием 3-канальных RGB-изображений.Тем не менее, включение 4-го канала не может быть обработано.

Как напрямую использовать изображения RGB-D?Нужно ли предварительно обрабатывать изображения и разделять RGB и D, если да, то как мне использовать один (1-канальный) D?

Спасибо!

Answer 1

Если вы хотите использовать предварительно обученную модель, вы можете использовать только RGB, поскольку они только обучены понимать RGB.В этом случае, как вы сказали, разделите их и отбросьте глубину.

Для использования 4-канального изображения, подобного этому, вам необходимо переучивать сеть с нуля, а не загружать предварительно обученный набор весов.

Вероятно, вы получите хорошие результаты, используя ту же архитектуру, что и для 3-канальных изображений (за исключением незначительного изменения, необходимого для поддержки 4-канального входа), поэтому переподготовка не должна быть очень сложной.