Я пытаюсь запустить базовый c wordcount балочный конвейер из python SDK с сеансом flink yarn на AWS EMR. Я использовал как flink runner, так и Portable Runner, и получил две разные ошибки, перечисленные ниже. Задания от обоих типов бегунов отображаются в пользовательском интерфейсе flink и успешно выполняются с локальным сеансом flink на моем ноутбуке.
С FlinkRunner задание выполняется как BeamApp-has oop -0617202523-14894e58 и выдает ошибку :
ERROR:root:java.lang.NoClassDefFoundError: Could not initialize class org.apache.beam.runners.core.construction.SerializablePipelineOptions
С PortableRunner задание выполняется как BeamApp- root -0617202248-36b0d306 (я считаю, что это означает, что задание успешно отправлено с изображения портативного бегуна луча docker) и выдает ошибку :
ERROR:root:java.util.ServiceConfigurationError: com.fasterxml.jackson.databind.Module: Provider com.fasterxml.jackson.module.jaxb.JaxbAnnotationModule not a subtype
Я предположил, что это ошибки зависимостей, и попытался получить упомянутые банки в каталоге / usr / lib / flink / lib. В журналах контейнера пряжи перечислены правильные jar-файлы при регистрации пути к классам при запуске приложения, но ошибки сохраняются.
Apache Beam версии 2.22.0, flink версии 1.10.0, emr версии 5.30.0.