TFlite GPUDelegateV2 страдает от долгого начального времени - PullRequest
Новая
       4

TFlite GPUDelegateV2 страдает от долгого начального времени

1 голос
/ 23 марта 2020

Я определяю модель, использующую tflite с GPUDelegateV2 из tf2.X, но начальное время кажется таким длинным, проверьте таблицу, как показано ниже:

Используемая модель взята из здесь , и я проверяю эти данные, используя benchmark_model, следуя здесь

Версия TF: 2.0.0 параметры benchark_model:

  • use_gpu = true
  • num_threads = 1
  • allow_fp16 = true
  • другие по умолчанию 
|----------------------|------------------|------------------|
|v3-small_224_1.0_float|inference time(ms)| initial time(ms) |
|----------------------|------------------|------------------|
|       on CPU         |      46.245      |       2.988      |
|   on GPUDelegateV2   |      13.015      |      4480.14     |

|----------------------|------------------|------------------|
| mobilenet_v2_0.75_224|inference time(ms)| initial time(ms) |
|----------------------|------------------|------------------|
|       on CPU         |      123.116     |       2.849      |
|   on GPUDelegateV2   |      27.084      |      6358.39     |

Я пробовал с разными моделями / устройствами, но получил результаты одинаковы (быстрее начального на более новых ядрах, но все же намного дольше, чем то, как они работают на процессоре).

У кого-нибудь есть идеи по этому поводу?

...