поток данных выделил слишком много дискового пространства - PullRequest
Новая
       5

поток данных выделил слишком много дискового пространства

0 голосов
/ 25 июня 2018

Я выполняю задание потока данных, масштабирующееся от 40 до более, задание занимает постоянное дисковое хранилище объемом 9,77 ТБ и обнаруживает следующую ошибку. 

Autoscaling: Unable to reach resize target in zone us-central1-c. QUOTA_EXCEEDED: 
Quota 'DISKS_TOTAL_GB' exceeded. Limit: 10240.0 in region us-central1.

Задание не должно выдавать столько данных, сколько результат. Поэтому мне интересно, какова роль ПД в этом случае. И как это оценивается для каждого работника?

Вот ссылка на задание потока данных: https://console.cloud.google.com/dataflow/jobsDetail/locations/us-central1/jobs/2018-06-24_11_41_19-5444495474275650044?project=wikidetox&angularJsUrl=%2Fdataflow%2FjobsDetail%2Flocations%2Fus-central1%2Fjobs%2F2018-06-24_11_41_19-5444495474275650044%3Fproject%3Dwikidetox&authuser=1

Спасибо, Yiqing

1 Ответ

0 голосов
/ 25 июня 2018

Квота DISKS_TOTAL_GB предназначена для жестких дисков, выделенных для вашей работы, а не для данных, отправляемых ею.

Это потоковая работа? Я считаю, что потоковые задания используют довольно большие жесткие диски для сохранения данных о выполнении задания. Вы можете увеличить квоту DISK_TOTAL_GB для этого проекта / зоны, и все будет в порядке.

...