Оптимизация запуска Apache Beam / облачного потока данных - PullRequest
0 голосов
/ 23 января 2019

Я провел несколько тестов с использованием Apache-Beam, используя как автоматических работников, так и одного работника, и каждый раз я вижу время запуска около 2 минут. Можно ли сократить это время, и если да, каковы рекомендуемые рекомендации по сокращению времени запуска?

1 Ответ

0 голосов
/ 23 января 2019

ИМХО: две минуты очень быстро для такого продукта, как Cloud Dataflow.Помните, Google запускает мощный сервис Big Data для вас, который автоматически масштабируется.

Сравните это время с другими поставщиками облачных услуг.Я видел, как некоторые кластеры (Hadoop) живут 15 минут.В любом случае вы не контролируете процесс инициализации потока данных, поэтому вам нечего улучшать.

...