GPGPU имеет смысл только при работе с огромным количеством вычислений, потому что время инициализации передачи данных / HW портит удовольствие в дополнение к ужасным API, таким как OpenCL.
NEON, с другой стороны, тесноИнтегрирован в основной конвейер и, таким образом, намного быстрее реагирует, упаковывая больше, чем адекватный удар.
AI и крипто-майнинг были в значительной степени единственными областями, которые я видел до сих пор, где GPGPU имеет смысл.Для всего более легкого SIMD - это путь.
А поскольку крипто-майнинг монет практически мертв, а IP-адреса, предназначенные для вычислений, связанных с ИИ, не за горами, я бы сказал, что GPGPU почти бессмыслен.