Питон + Луч + Флинк - PullRequest
Новая
       76

Питон + Луч + Флинк

0 голосов
/ 05 декабря 2018

Я пытался заставить Apache Beam Portability Framework работать с Python и Apache Flink, и я не могу найти полный набор инструкций для обеспечения работы среды.Есть ли ссылки с полным списком предварительных условий и шагов, чтобы заставить работать простой конвейер python?

1 Ответ

0 голосов
/ 05 декабря 2018

В целом, для локального переносного бегуна (ULR) см. Вики , цитата оттуда:

Запуск конвейера Python-SDK:

  1. Компиляцияконтейнер как локальная сборка: ./gradlew :beam-sdks-python-container:docker
  2. Запустить сервер заданий ULR, например: ./gradlew :beam-runners-reference-job-server:run -PlogLevel=debug -PvendorLogLevel=warning.Для получения дополнительной информации см. Раздел Java в приведенной выше ссылке.3 Настройте среду Python правильно.Подробнее можно найти здесь .
  3. Запустить конвейер, используя следующие (в папке sdk / python),

пример: 

python -m apache_beam.examples.wordcount\
  --input=gs://dataflow-samples/shakespeare/kinglear.txt \
  --output=/tmp/output \
  --runner=PortableRunner \
  --job_endpoint=localhost:8099 \
  --experiments beam_fn_api

Для Flink вам нужно использовать другой сервер заданий:./gradlew beam-runners-flink_2.11-job-server:runShadow.Хост: порт: localhost:8099,

Соответствующие обсуждения по электронной почте: one , two .

Возможно, стоит посмотреть какой-нибудь код: один , два .

...