GCP datafusion слишком медленно выполняет конвейеры

Question

Я понимаю, что datafusion является управляемой службой на CDAP, но текущая версия 6.1.1 для предприятий слишком медленная по сравнению с CDAP OSS (которая находится в Google Marketplace). На подготовку узлов datapro c (независимо от профиля вычислений) уходит примерно ~ 3 минуты, примерно на 1,5 минуты для запуска и запуска, а затем данные начнут проходить через узлы. Есть ли способы оптимизировать это и повысить скорость?

Answer 1

CDAP OSS, который находится в Google Market Place, работает в памяти и предлагается только для разработки, поскольку механизм выполнения не может масштабироваться.

Если вы хотите оптимизировать подготовку кластера Datapro c, вы можете предварительно подготовить кластер Datapro c самостоятельно и использовать вместо этого профиль вычисления Remote Had oop Provisioner, чтобы отправить задание.