Apache луч StateSpec в искре

Question

Я использую StateSpec в луче и запускаю его с помощью Spark Runner

Я получаю следующую ошибку

Исключение в потоке "main" java.lang.UnsupportedOperationException: найдено аннотации StateIdна com.walmart.rum.StreamingApp $ 3, но DoFn пока нельзя использовать с состоянием в SparkRunner.в org.apache.beam.runners.spark.translation.TranslationUtils.rejectStateAndTimers (TranslationUtils.java:269)

Значит ли это, что StateSpec не полностью поддерживается или какая-то версия поддерживается?

Answer 1

Состояния и таймеры поддерживаются только в пакетном режиме и не поддерживаются в потоковом режиме для Spark Runner.Кажется, у вас есть потоковое приложение, и поэтому оно не работает.