Преобразование тензорного потока на балках с поворотным бегунком - PullRequest
Новая
       86

Преобразование тензорного потока на балках с поворотным бегунком

0 голосов
/ 19 декабря 2018

Может показаться глупым, но это мой самый первый пост здесь.Извините, что сделал что-то не так.

В настоящее время я строю простой ML-конвейер с TFX 0.11 (т.е. tfdv-tft-tfserving) и тензор потока 1.11, используя python2.7.В настоящее время у меня есть кластер Apache-Flink, и я хочу использовать его для TFX.Я знаю, что в основе TFX лежит apache-beams 2.8, и он (apache-beams) поддерживает flink с python SDK в настоящее время через уровень переносимого бегуна.

Но проблема в том, как я могу кодировать в TFX (tfdv-tft) использование Apache-лучей с Flink Runner с помощью этой концепции переносного бегуна, поскольку TFX в настоящее время, кажется, поддерживает только DirectRunner и DataFlowRunner (Google Cloud).

Я какое-то время искал в Интернете и вижу последнюю строчку на веб-сайте TFX,

"Пожалуйста, направляйте любые вопросы по работе с tf. Перейдите в Stack Overflow с помощью tenorflow-преобразовать тег. "

И вот почему я здесь.Любая идея или обходной путь действительно ценятся.Спасибо!

1 Ответ

0 голосов
/ 21 декабря 2018

Спасибо за вопрос.

Отказ от ответственности: Portable Flink Runner все еще находится в экспериментальной фазе, будет работать только с тривиальным количеством входных данных.

Вот как вы можете запустить TFX на Flink черезBeam.

Необходимое условие

  • Linux
  • Docker
  • Репозиторий Beam: https://github.com/apache/beam
  • Распределенная файловая система для ввода ивыход.

Инструкции по запуску конвейера Python: https://beam.apache.org/roadmap/portability/#python-on-flink
Примечание. В настоящее время поддерживаются только инструкции Flink 1.5.5

1) Сборка рабочих контейнеров:

  • Перейти к каталогу проверки Beam
  • Запустить команду gradle: ./gradlew: beam-sdks-python-container: docker

2) ВыполнитьBeam JobServer для Flink:

  • Перейти к проверке Beam dir
  • Запустить команду gradle: ./gradlew beam-runners-flink_2.11-job-server: runShadow Примечание: эта команда будетне завершается, поскольку он запускает сервер заданий и продолжает его работу.

3) Отправка конвейера

--experiments=beam_fn_api --runner PortableRunner --job_endpoint=localhost:8099 --experiments=worker_threads=100 --execution_mode_for_batch=BATCH_FORCED

...