Интеграция числовых / физических данных для классификации изображений CNN

Question

Я пытаюсь использовать CNN для классификации медицинских изображений в python с использованием keras. Эти медицинские изображения также включают текстовую информацию, такую ​​как возраст и пол, которая может повлиять на решение модели. Как я могу обучить CNN, которая может тренироваться, используя как изображения, так и информацию из реального мира, чтобы она могла сделать основу для их классификации.

Answer 1

• 1000 данные изображения. Вот идея, предполагающая, что у вас есть изображения размером 512x512 и 10 классов. Это функциональный API, который позволяет вам иметь несколько входов.

import tensorflow as tf
import numpy as np

num_classes = 10

H,W = 512, 512
# Define inputs with their shapes
imgs = tf.keras.Input((H,W,3), dtype = tf.float32)
genders = tf.keras.Input(1, dtype = tf.float32)
ages = tf.keras.Input(1, dtype = tf.float32)

# Extract image features
features = tf.keras.layers.Conv2D(64, 4, strides = 4, activation = 'relu')(imgs)
features = tf.keras.layers.MaxPooling2D()(features)
features = tf.keras.layers.Conv2D(128,3, strides = 2, activation = 'relu')(features)
features = tf.keras.layers.MaxPooling2D()(features)
features = tf.keras.layers.Conv2D(256, 3, strides = 2, activation = 'relu')(features)
features = tf.keras.layers.Conv2D(512, 3, strides = 2, activation = 'relu')(features)

# #Flatten output
flat_features = tf.keras.layers.Flatten()(features)

#Concatenate gender and age
flat_features = tf.concat([flat_features, genders, ages], -1)

# Downsample
xx = tf.keras.layers.Dense(2048, activation = 'relu')(flat_features)
xx = tf.keras.layers.Dense(1024, activation = 'relu')(xx)
xx = tf.keras.layers.Dense(512, activation = 'relu')(xx)

#Calculate probabilities for each class
logits = tf.keras.layers.Dense(num_classes)(xx)
probs = tf.keras.layers.Softmax()(logits)

model = tf.keras.Model(inputs = [imgs, genders, ages], outputs = probs)

model.summary()

Эта архитектура не особо стандартна, и вы можете сделать декодер глубже и / или уменьшить количество параметров в кодировщике CNN .