классифицировать различные части изображения с тензорным потоком в пределах одного графика

Question

У меня есть изображение шахматной доски, и я хочу обработать его с помощью CNN в тензорном потоке квадратичным способом в пределах одного вычислительного графа.

Каждое изображение выглядит так:

Предполагается, что изображение имеет размер 200 на 200 пикселей, поэтому каждый квадрат имеет размер 25 на 25 пикселей.Я пытаюсь реализовать это следующим образом:

X = tf.placeholder(tf.float32, shape=[None, 200, 200, 3], name='X')
Y = tf.placeholder(tf.float32, shape=[None, 64, 13])

weights = {
   "conv1_w": tf.Variable(tf.truncated_normal([3,3,3,32], stddev=0.1)),
   "conv2_w": tf.Variable(tf.truncated_normal([3,3,32,32], stddev=0.1)),
   ...
}

with tf.Session() as sess:

    squares = split_into_squares(X)

    # i want to run some kind of loop here 
    # in order to process each square on the board
    # how can I do it ?
    for square in range(64):
        pred = cnn(square, weights)

    cost = tf.losses.mean_squared_error(Y, pred)
    adam = tf.train.AdamOptimizer(learning_rate=0.001).minimize(cost)

    sess.run(tf.global_variables_initializer())

    for batch in range(1000)
       x, y = get_batch()
       _, loss = sess.run(adam, cost, {X:x, Y:y})

Всего на шахматной доске 64 квадрата, и каждый квадрат может быть занят 6 белыми фигурами, 6 черными фигурами или быть вакантным, поэтому выводкаждого sess.run() - тензор формы (batch_size, 64, 13).

split_into_squares() берет серию изображений шахматной доски и преобразует ее в тензор с размерами (batch_size, 64, 25, 25, 3), 64- это число квадрата на шахматной доске, 25 - ширина и высота каждого квадрата, 3 - число канала.

Точная реализация функции cnn() не имеет значения, важная частьчто он принимает веса нейронной сети, обрабатывает один квадрат и возвращает тензор предсказания формы (batch_size, 13).

Учитывая эту настройку, как я могу запустить cnn() для каждого квадрата в одном графе вычислений?

Answer 1

import tensorflow as tf
from skimage.util.shape import view_as_blocks
import numpy as np
import cv2

# Images size 400 x 400
IMG_SIZE = 400
# No:of Chess Board Images
N_IMAGES = 3 

# Generator that generates one batch of images with the 
# corresponding labels
def generate(batch_size=32):
    # Using same image again and again 
    image_paths = ["4sEvs.jpg"]*N_IMAGES
    k = IMG_SIZE//8
    images = np.zeros((len(image_paths)*64, k, k, 3))
    for i, p in enumerate(image_paths):
        # Read image
        img = cv2.imread("4sEvs.jpg") 
        # slice the image into 64 slices and store it in numpy array
        images[i*64:i*64+64] = view_as_blocks(img, block_shape=(k, k, 3)).reshape(64,k,k,3)

    # dummpy labels
    y = tf.keras.utils.to_categorical(np.random.randint(13, size=(len(images),1)))

    while True:
        for i in range(0, len(images), batch_size):
            # Generate a batch of train (data, labels)
            yield (images[i:i+batch_size], y[i:i+batch_size])

k = IMG_SIZE // 8

# Sample Model architecture 
model = tf.keras.Sequential()
model.add(tf.keras.layers.Conv2D(filters=8, kernel_size=3, activation='relu', 
    input_shape=(k,k,3)))
model.add(tf.keras.layers.Conv2D(filters=4, kernel_size=3, activation='relu'))
model.add(tf.keras.layers.Flatten())
model.add(tf.keras.layers.Dense(13, activation='softmax'))
model.compile(loss='categorical_crossentropy',
             optimizer='adam',
             metrics=['accuracy'])

batch_size = 32
# Train for 10 epochs
model.fit_generator(generate(batch_size), epochs=10, 
    steps_per_epoch=np.ceil(N_IMAGES*64/batch_size))

Код поясняется в комментариях.