Как запустить модель Neural Network на Android с использованием графического процессора? - PullRequest
3 голосов
/ 24 апреля 2020

Кто-нибудь пытался запустить обнаружение объектов или модель crnn на Android? Я пытался запустить модель crnn (сериализованный pytorch), но это занимает 1 с на Huawei P30 lite и 5 с на Samsung J4 Core.

Huawei P30 lite
    CPU : octa core processor
    GPU : Mali-G51 MP4

Samsung J4
  CPU : quad core
  GPU : Adreno 308

GPU в устройстве android отличаются от выделенного GPU в том смысле, что у них нет VRAM и управления питанием. И CPU, и GPU используют одну и ту же оперативную память. Перед запуском модели на P C с графическим процессором мы указываем разместить мои вычисления на графическом процессоре наподобие

model = MyModel()
model.cuda()

Но когда я пытаюсь запустить модель на Android, использует ли она преимущества этого встроенного графического процессора? или вычисления в моем Huawei выполняются быстрее из-за этого восьмиъядерного процессора, но у Huawei, очевидно, лучший графический процессор, чем у моего устройства Samsung.

1 Ответ

1 голос
/ 24 апреля 2020

В настоящий момент невозможно запустить pytorch на ARM-GPU:

Github Issue

PyTorch Forum

Я думаю, что различия в скорости связаны с разными процессорами!

...