До Spark 2.3 я создал программу для запуска массивного UDF (прежде всего операций с плавающей запятой с вложенным циклом) на Spark RDD размером 130M строк. Из-за проблем с сериализацией Python-Scala раньше я закончил преобразование модуля в Scala UDF для повышения производительности. Несмотря на огромные успехи, я все еще хочу большего и сейчас думаю о том, чтобы запустить этот UDF в графическом процессоре. Преобразование UDF в Python также является большой работой, которую я не могу предпринять.
Я видел, как Python UDF хорошо интегрируется с Spark на графическом процессоре (например, PyGDF), но мне еще предстоит найти собственный / более простой способ запуска моего пользовательского UDF на основе Scala в графическом процессоре в среде Spark. Было бы полезно получить несколько советов о том, как решить эту проблему?