Вход 3 и 1 канал вход в сеть в pytorch?

Question

Мой набор данных состоит в основном из 3-канальных изображений, но у меня также есть несколько 1-канальных изображений. Можно ли обучить сеть, которая использует как 3 канала, так и 1 канал в качестве входов?

Любые предложениядобро пожаловать, заранее спасибо,

Answer 1

Загрузите ваши изображения и конвертируйте их в RGB:

image = Image.open(path).convert('RGB')

Вы можете добавить эту строку в метод __getitem__ вашего набора данных.он преобразует изображения в градациях серого в RGB и просто сохраняет цветные изображения как RGB.

Answer 2

Вы можете обнаружить изображения в градациях серого, проверив размер и применив некоторые преобразования, чтобы иметь 3 канала.

Кажется, что лучше конвертировать изображения из градаций серого в RGB, чем просто копировать изображение три раза по каналам.

Вы можете сделать это с помощью cv2.cvtColor(gray_img, cv.CV_GRAY2RGB), если у вас установлено opencv-python.

Если вы хотите чистую реализацию, вы можете расширить torchvision.transform с помощью нового Transform, который делает эторабота автоматически.