Как декодировать raw_outputs / box_encodings из Tensorflow Обнаружение объектов ssd-mobilenet без nms - PullRequest
Новая
       11

Как декодировать raw_outputs / box_encodings из Tensorflow Обнаружение объектов ssd-mobilenet без nms

0 голосов
/ 30 января 2019

Чтобы развернуть свою собственную модель ssd-mobile на Android и использовать ускорение NNAPI, я переобучил модель без постобработки NMS в соответствии с tensorflow objection detection API.без NMS на выходе raw_outputs/box_encodings располагаются закодированные поля местоположения, я декодирую его следующим образом, но он не работает: 

for(int j =0; j < 5; j++)
               {
                   float sk = (float)(0.2 + (0.949 - 0.200) *j * 1.0 / 5*1.0);
                   float width_a = (float)(sk * Math.sqrt(aspectra[j]));
                   float height_a = (float)(sk * 1.0 / Math.sqrt(aspectra[j]));
                   for(int k = 0; k < featuresize[j] ; k++)
                   {
                       float center_x_a = (float)((k + 0.5) * 1.0/ featuresize[j]);
                       float center_y_a = (float)((k + 0.5) * 1.0/ featuresize[j]);

                       float ty = (float)(outputBox[0][i][0] / 10.);
                       float tx = (float)(outputBox[0][i][1] /  10.);
                       float th = (float)(outputBox[0][i][2] / 5.);
                       float tw = (float)(outputBox[0][i][3] / 5.);

                       float w =(float)(Math.exp(tw) * width_a);
                       float h = (float)(Math.exp(th) * height_a);
                       float y_center = ty * height_a + center_y_a;
                       float x_ceneter = tx * width_a + center_x_a;


                       float ymin = (float)((y_center - h ) / 2.);
                       float xmin = (float)((x_ceneter - w ) / 2.);
                       float ymax = (float)((y_center + h ) / 2.);
                       float xmax = (float)((x_ceneter + w ) / 2.);

1 Ответ

0 голосов
/ 18 марта 2019

Для декодирования raw_outputs/box_encodings вам также необходимо anchors, поскольку box_encodings кодируются относительно якорей.

Ниже приведена моя реализация декодирования raw_outputs/box_encodings: 

private float[][][] decodeBoxEncodings(final float[][][] boxEncoding, final float[][] anchor, final int numBoxes) {
    final float[][][] decodedBoxes = new float[1][numBoxes][4];
    for (int i = 0; i < numBoxes; ++i) {

        final double ycenter = boxEncoding[0][i][0] / y_scale * anchor[i][2] + anchor[i][0];
        final double xcenter = boxEncoding[0][i][1] / x_scale * anchor[i][3] + anchor[i][1];
        final double half_h = 0.5 * Math.exp((boxEncoding[0][i][2] / h_scale)) * anchor[i][2];
        final double half_w = 0.5 * Math.exp((boxEncoding[0][i][3] / w_scale)) * anchor[i][3];

        decodedBoxes[0][i][0] = (float)(ycenter - half_h);   //ymin
        decodedBoxes[0][i][1] = (float)(xcenter - half_w);   //xmin
        decodedBoxes[0][i][2] = (float)(ycenter + half_h);   //ymax
        decodedBoxes[0][i][3] = (float)(xcenter + half_w);   //xmax
    }
    return decodedBoxes;
}

Этот метод декодирования взят из TFLite обнаружение_процесса * операция 1010 *.

Редактирование: значения шкалы: 

float y_scale = 10.0f;
float x_scale = 10.0f;
float h_scale = 5.0f;
float w_scale = 5.0f;
...