Разверните работу DataFlow с помощью Scio

Question

Я начал разрабатывать свою первую работу с DataFlow с помощью Scio, Scala SDK. Задание потока данных будет выполняться в потоковом режиме.

Кто-нибудь может посоветовать лучший способ развертывания этого? Я прочитал в документах Scio, что они используют sbt-pack, а затем развернул это в контейнере Docker. Я также читал об использовании шаблонов DataFlow (но не очень подробно).

Что лучше?

Answer 1

Как и для версий Java и Python, вы можете напрямую запускать свой код в потоке данных, используя средство запуска потока данных и запуская его с вашего компьютера (или виртуальной машины / функции).

Если вы хотите упаковать егодля повторного использования вы можете создать шаблон.

Нельзя запускать пользовательский контейнер в потоке данных .