Как установить квоту CPUS для Google Cloud Dataproc через Cloud Composer? - PullRequest
Новая
       17

Как установить квоту CPUS для Google Cloud Dataproc через Cloud Composer?

3 голосов
/ 25 мая 2019

Испытание Google Cloud Composer Quickstart в бесплатной пробной учетной записи, первая задача примера DAG рабочего процесса запускает этот оператор: 

create_dataproc_cluster = dataproc_operator.DataprocClusterCreateOperator(
        task_id='create_dataproc_cluster',
        cluster_name='quickstart-cluster-{{ ds_nodash }}',
        num_workers=2,
        zone=models.Variable.get('gce_zone'),
        master_machine_type='n1-standard-1',
        worker_machine_type='n1-standard-1')

, который завершается с этим сообщением об ошибке: 

 - Insufficient 'CPUS' quota. Requested 6.0, available 2.0
 - This request exceeds CPU quota. Some things to try: request fewer workers (a minimum of 2 is required), use smaller master and/or worker machine types (such as n1-standard-2).

2 - это уже минимальное количество рабочих узлов, а n1-standard-1 - это уже самый маленький тип компьютера.

Q. Есть ли способ получить DataprocClusterCreateOperator() для выделения более высокой квоты CPUS?
Веб-сайт Airflow и Cloud Dataproc Квоты doc не поступают.

Q. Это жесткий лимит для бесплатного пробного аккаунта?
Страница консоли IAM Quotas показывает Текущее использование как 6, 75%, на 3 из 4 тактов, что означает, что квота равна 8.

1 Ответ

3 голосов
/ 26 мая 2019

Рабочие машины Dataproc фактически являются виртуальными машинами Compute Engine, поэтому квоты ЦП применяются к API вычислительного движка.

Квоты ЦП не связаны с Airflow / Google Cloud Composer и не могут быть настроены оттуда.DataprocClusterCreateOperator просто вызывает API-интерфейсы Dataproc, которые, в свою очередь, запускают виртуальные машины на Compute Engine.

Для бесплатных пробных учетных записей квота ЦП, по вашему опыту, составляет 8.Из сведений, предоставленных вами в разделе комментариев, ваша среда Composer использует 6 из этих 8 процессоров (3 * n1-standard-2).Обратите внимание, что вы можете использовать меньшие машины для Composer (1 процессор), но вам всегда понадобится как минимум 3 узла.Таким образом, минимальная среда Composer будет использовать 1 * 3 = 3 процессоров.Здесь вы можете сохранить 3 процессора, если хотите, но это может повлиять на стабильность воздушного потока.

Вы также можете запросить меньшие виртуальные машины (с меньшим количеством процессоров) для ваших работников Dataproc (или меньше работников Dataproc).Опять же, я не рекомендую это делать, потому что n1-standard-1 (или меньше) для работников Dataproc слишком мало.

Обратите также внимание, что с несвободными пробными учетными записями вы можете запрашивать более высокие квоты .Однако в бесплатных пробных аккаунтах я думаю, что это невозможно.

...