Как проанализировать вывод тепловой карты для модели оценки позы tflite?

Question

Я начинаю с модели оценки позы tflite для получения ключевых точек на людях.

https://www.tensorflow.org/lite/models/pose_estimation/overview

Я начал с подгонки отдельного изображения или человека и вызова модели:

img = cv.imread('photos\standing\\3.jpg')
img = tf.reshape(tf.image.resize(img, [257,257]), [1,257,257,3])
model = tf.lite.Interpreter('models\posenet_mobilenet_v1_100_257x257_multi_kpt_stripped.tflite')
model.allocate_tensors()
input_details = model.get_input_details()
output_details = model.get_output_details()
floating_model = input_details[0]['dtype'] == np.float32
if floating_model:
    img = (np.float32(img) - 127.5) / 127.5
model.set_tensor(input_details[0]['index'], img)
model.invoke()
output_data =  model.get_tensor(output_details[0]['index'])# o()
offset_data = model.get_tensor(output_details[1]['index'])
results = np.squeeze(output_data)
offsets_results = np.squeeze(offset_data)
print("output shape: {}".format(output_data.shape))
np.savez('sample3.npz', results, offsets_results)

, но я изо всех сил с синтаксическим анализом выходных данных, чтобы получить координаты / доверительные отношения каждой части тела. У кого-нибудь есть python пример для интерпретации результатов этой модели? (например: их использование для сопоставления ключевых точек с исходным изображением)

Мой код (фрагмент из класса, который по существу берет массив np непосредственно из вывода модели):

def get_keypoints(self, data):
        height, width, num_keypoints = data.shape
        keypoints = []
        for keypoint in range(0, num_keypoints):
            maxval = data[0][0][keypoint]
            maxrow = 0
            maxcol = 0
            for row in range(0, width):
                for col in range(0,height):
                    if data[row][col][keypoint] > maxval:
                        maxrow = row
                        maxcol = col
                        maxval = data[row][col][keypoint]
            keypoints.append(KeyPoint(keypoint, maxrow, maxcol, maxval))
            # keypoints = [Keypoint(x,y,z) for x,y,z in ]
        return keypoints
def get_image_coordinates_from_keypoints(self, offsets):
        height, width, depth = (257,257,3)
        # [(x,y,confidence)]
        coords = [{ 'point': k.body_part,
                    'location': (k.x / (width - 1)*width + offsets[k.y][k.x][k.index],
                   k.y / (height - 1)*height + offsets[k.y][k.x][k.index]),
                    'confidence': k.confidence}
                 for k in self.keypoints]
        return coords

после сопоставления индексов с деталями мой вывод:

Некоторые из координат здесь отрицательные, что не может быть правильным. Где моя ошибка?

Answer 1

import numpy as np

Для модели оценки позы, которая выводит тепловую карту и смещения. Желаемые точки можно получить:

1. Выполнение сигмовидной операции на тепловой карте:

   scores = sigmoid(heatmaps)

2. Каждый ключевая точка этой позы обычно представлена ​​двумерной матрицей, максимальное значение в этой матрице связано с тем, где модель считает, что точка находится на входном изображении. Используйте argmax2D для получения индекса x и y этого значения в каждой матрице, само значение представляет собой доверительное значение:

   x,y = np.unravel_index(np.argmax(scores[:,:,keypointindex]), scores[:,:,keypointindex].shape) confidences = scores[x,y,keypointindex]

3. Это x , y используется для поиска соответствующего вектора смещения для расчета конечного местоположения ключевой точки:

   offset_vector = (offsets[y,x,keypointindex], offsets[y,x,num_keypoints+keypointindex])

4. После того, как вы получили координаты и смещения ключевой точки, вы можно рассчитать конечную позицию ключевой точки с помощью ():

   image_positions = np.add(np.array(heatmap_positions) * output_stride, offset_vectors)

См. this для определения того, как получить выходной шаг , если у вас его еще нет Оценка позы tflite имеет выходной шаг 32.

Функция, которая берет выходные данные из этой модели оценки позы и выводит ключевые точки. Не включая KeyPoint класс

def get_keypoints(self, heatmaps, offsets, output_stride=32):
        scores = sigmoid(heatmaps)
        num_keypoints = scores.shape[2]
        heatmap_positions = []
        offset_vectors = []
        confidences = []
        for ki in range(0, num_keypoints ):
            x,y = np.unravel_index(np.argmax(scores[:,:,ki]), scores[:,:,ki].shape)
            confidences.append(scores[x,y,ki])
            offset_vector = (offsets[y,x,ki], offsets[y,x,num_keypoints+ki])
            heatmap_positions.append((x,y))
            offset_vectors.append(offset_vector)
        image_positions = np.add(np.array(heatmap_positions) * output_stride, offset_vectors)
        keypoints = [KeyPoint(i, pos, confidences[i]) for i, pos in enumerate(image_positions)]
        return keypoints

Класс ключа:

PARTS = {
    0: 'NOSE',
    1: 'LEFT_EYE',
    2: 'RIGHT_EYE',
    3: 'LEFT_EAR',
    4: 'RIGHT_EAR',
    5: 'LEFT_SHOULDER',
    6: 'RIGHT_SHOULDER',
    7: 'LEFT_ELBOW',
    8: 'RIGHT_ELBOW',
    9: 'LEFT_WRIST',
    10: 'RIGHT_WRIST',
    11: 'LEFT_HIP',
    12: 'RIGHT_HIP',
    13: 'LEFT_KNEE',
    14: 'RIGHT_KNEE',
    15: 'LEFT_ANKLE',
    16: 'RIGHT_ANKLE'
}

class KeyPoint():
    def __init__(self, index, pos, v):
        x, y = pos
        self.x = x
        self.y = y
        self.index = index
        self.body_part = PARTS.get(index)
        self.confidence = v

    def point(self):
        return int(self.y), int(self.x)

    def to_string(self):
        return 'part: {} location: {} confidence: {}'.format(
            self.body_part, (self.x, self.y), self.confidence)