Подписаться Google Pub / подтему на облачное хранилище Avro файл выдает ошибку «Превышена квота» - в учебнике для начинающих? - PullRequest
0 голосов
/ 23 мая 2019

Я просматриваю учебное пособие Google Firestore to BigQuery и перешел к шагу 10, где мне нужно настроить экспорт из моей темы в файл avro, сохраненный в облачном хранилище.

Однако, когда я пытаюсь запустить задание, после выполнения именно того, что упомянуто в руководстве, я получаю сообщение об ошибке, сообщающее, что в моем проекте недостаточно квот для выполнения рабочего процесса.В сводке по квоте в сообщении замечено, что в нем написано 1230/818 disk GB.Значит ли это, что для работы требуется 1230 ГБ дискового пространства?В настоящее время в Firestore есть только 100 документов ?.Мне это кажется неправильным?

Error message about quota Все мои хранилища облачных хранилищ пусты: My cloud storage buckets (all empty)

Но когда я смотрю наресурсы, использованные в первом задании на экспорт, которое я настроил (Pubsub Topic to BigQuery) на стр. 9 , я еще более запутался.

Похоже, что он использует CRAZY количество ресурсов

Current vCPUs   
4
Total vCPU time     
2.511 vCPU hr
Current memory  
15 GB
Total memory time   
9.417 GB hr
Current PD  
1.2 TB
Total PD time   
772.181 GB hr
Current SSD PD  
0 B
Total SSD PD time   
0 GB hr

Может ли это быть реальным, или я сделал что-то совершенно не так, так как все эти ресурсы используются?Я имею в виду, что нет никакой активности, это просто подписка, верно?

1 Ответ

1 голос
/ 23 мая 2019

В рамках этого шага вызывается шаблон Cloud Dataflow (точнее, , этот ) для чтения из Pub / Sub и записи в GCS. В свою очередь, Cloud Dataflow использует экземпляры GCE (VM) для своего рабочего пула. Облачный поток данных запрашивает слишком много ресурсов (экземпляры GCE, для которых требуется диск, оперативная память, виртуальные ЦП и т. Д.) И достигает предела / квоты вашего проекта.

Вы можете переопределить количество рабочих по умолчанию (попробуйте начать с 1), а также установить наименьший тип виртуальной машины (n1-standard-1) при настройке задания в optional parameters. Это также должно сэкономить вам немного денег. Бонус!

enter image description here

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...