Использование предварительно обученного CNN (inceptionv3) для подготовки 3D медицинских изображений - PullRequest
Новая
       70

Использование предварительно обученного CNN (inceptionv3) для подготовки 3D медицинских изображений

1 голос
/ 06 марта 2020

Я пытаюсь перенести обучение, переобучив InceptionV3 медицинским изображениям - 3D-сканирование мозга в оттенках серого.

У меня есть две проблемы: преобразование данных из градаций серого в изображение RGB и форматирование моего 3D входные данные для начальной архитектуры.

Я решил первую проблему, сложив их в 3 канала (подача одного и того же изображения во все 3 канала сети).

Вторая проблема все еще остается проблемой: сеть принимает 2D-изображения. Текущие размеры изображений составляют 79 x 95 x 79 x 3, где сеть с радостью принимает изображения размером 79 x 95 x 3.

Что может быть хорошим способом решения этой проблемы, возможно ли подать 3D-изображения в сети или они должны быть преобразованы в 2D. Как преобразовать изображения в 2D?

В исследовании использовался метод сетки. 8 2D изображения были извлечены из каждого 3D изображения и отображены в виде сетки для классификации. Будет ли это единственный способ go о преобразовании из 3D в 2D, или есть альтернативы?

1 Ответ

1 голос
/ 06 марта 2020

Существует два подхода для решения вашей второй задачи.

Быстрый подход:

Найдите способ уменьшить размерность с 79 до 1.

Для этого есть разные подходы. Как вы указали, один из способов - это создать сетку. Альтернативой является проекция максимальной интенсивности (MIP) для нескольких из этих изображений (пример 3 или 10). Это будет зависеть от разрешения, которое вы имеете в этом измерении. У меня такое ощущение, что изображения, которые вы описываете, представляют собой КТ-сканирование, в этом случае было бы разумно не брать полный стек, а только выделенные изображения, принадлежащие той части, которую вы хотите классифицировать.

Вы могли бы передать часть стека как MIP с теми же дескрипторами глобального класса. Это может сработать для трансферного обучения.

Длинный и более сложный подход:

Найти или перепроектировать с нуля архитектуру, которая принимает трехмерные изображения в качестве входных данных. Я не в курсе текущей литературы по этому топи c, но хорошим начальным примером может быть такой: https://ai.googleblog.com/2020/02/ultra-high-resolution-image-analysis.html?m=1

...