Как использовать трансферное обучение с CNN, используя изображения с несколькими каналами - вручную

Question

Чтобы объединить медицинский опыт и глубокое обучение, я хотел бы объединить в одном тензоре несколько изображений, которые представляют разные карты одного и того же КТ-изображения.

Итак, начнем со следующего КТ-изображения:

Мы можем вручную изготовить различные сопоставления этого конкретного изображения (например, преобразования), которые будут воплощать соответствующие медицинские диагностические знания.

Итак, мыможет закончиться, скажем, 10 2D-изображениями в градациях серого, начиная с 1, которые мы можем затем упаковать в 3D-тензор.

Можно ли использовать обучающее модели с использованием трансляционного обучения DL CNN в открытом доступе (например, Keras), используя каквводит эти трехмерные изображения с 10 каналами (а не 3 - RGB)?

Если да, то как? Если нет, каковы альтернативы?

Answer 1

Я думаю, что это возможно, но это, вероятно, не даст вам хороших результатов, см. Сценарий поста, почему.

Вы можете сделать это как this , но вы должны добавить слой conv2D, который имеет 3 фильтра. В качестве альтернативы вы можете удалить первые два слоя (входной слой и первый слой conv2D) и заменить его на другой conv2d (поскольку предварительно подготовленный слой Conv2d имеет веса, которые имеют 3 канала в качестве глубины).

PS: Помните, что с предварительно обученным вы должны нормализовать то же самое, но учитывая, что у вас нет 3-канального изображения, вы не можете