Режим непрерывной обработки и Python UDF - PullRequest
0 голосов
/ 09 марта 2019

Spark 2.4.0 поддерживает Python UDF с режимом непрерывной обработки?

В моем простом коде я использую тему kafka, выполняю некоторую тривиальную обработку для каждой строки (в основном добавляем фиктивное поле к сообщениям json) и записываю в другую тему.

Однако я не вижу никаких сообщений в теме вывода, когда я запускаю в непрерывном режиме.Если я не использую Python UDF, то он работает нормально.

РЕДАКТИРОВАТЬ: сообщение об ошибке (не связано с этим постом) сообщили об отсутствии поддержки.

1 Ответ

0 голосов
/ 16 апреля 2019

Хотя я не пробовал себя, я не верю. В документации перечислены поддерживаемые операции; udfs нет в списке.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...