Задание потока данных Google с Apache Beam 2.9.0 Java SDK зависло

Question

Я использую Beam Java SDK 2.9.0, Моя работа читает с Kafka на шаге.Моя работа отлично работает на Direct Runner.Когда я внедряю его в Dataflow, работа застревает, и я не вижу никакого прогресса.Интерфейс мониторинга потока данных показывает

Output collections
EventKafkaReadTransform/Values/Values/Map.out0
Elements added  
–
Estimated size  
–

Журналы стекового драйвера, кажется, работают в цикле с приведенными ниже сообщениями

Модуль синхронизации ошибок 75bf4f18ce7d4d30a2b7de627656b517 ("dataflow-eventingestjob-xxx-0"-02062225-wxsc-harness-r3kq_default (75bf4f18ce7d4d30a2b7de627656b517) "), пропуск: не удалось" StartContainer "для" потоковой передачи по java "с CrashLoopBackOff:" отказался от перезапуска потока данных 5m0s - контейнер повторного запуска - сбой при перезапуске 5m0s, перезапуск потока - xxx pjod, java = ошибка - контейнер повторного запуска - java = ошибка при перезапуске - сбой при отправке данных 5m0s;0-02062225-wxsc-harness-r3kq_default (75bf4f18ce7d4d30a2b7de627656b517)

Я не могу понять, что еще искать.

Любая помощь приветствуется

Answer 1

У нас было нечто похожее, и мы обнаружили, что это была неспособность запустить рабочих (для нас из-за проблемы с slf4j, но это может быть что угодно).

Если вы посмотрите на журналы Stackdriver (посмотрите журналыв пользовательском интерфейсе и щелкните ссылку, чтобы перейти к Stackdriver), вы сможете просматривать журналы worker_startup.