Добавить больше рабочих в задание потока данных на GCP - PullRequest
0 голосов
/ 04 сентября 2018

Я создаю поток данных, который импортирует CSV в BQ. Это прекрасно работает, но это занимает слишком много времени. Даже для очень маленьких файлов. Есть ли способ добавить больше работников на работу? maxNumWorkers всегда равно 1 по умолчанию.

Br Cris

1 Ответ

0 голосов
/ 05 сентября 2018

В первый раз, когда задание Dataflow было выполнено Dataprep, настройки будут настройками по умолчанию. Однако вы можете повторно запустить эти задания с другими параметрами напрямую из Dataflow, используя templates . Например, вы можете использовать REST API и использовать поле numWorkers, чтобы указать работников для выполнения задания, так как оно не определено, служба попытается выбрать разумное значение по умолчанию. Для получения дополнительной информации о REST API вы можете просмотреть этот документ .

Имейте в виду, что он имеет ограничений

...