У меня есть задания потока данных, которые выполняются на экземплярах gcp. Есть 2 экземпляра: один мастер, а другой - рабочий.
Тип машины рабочего n1-стандарт-8.
В обычное время работа выполняется успешно, но иногда объем данных огромен, когда наши задания терпят неудачу с проблемой ниже:
The job failed because a work item has failed 4 times. Look in previous log entries for the cause of each one of the 4 failures. For more information, see https://cloud.google.com/dataflow/docs/guides/common-errors. The work item was attempted on these workers:
job-20190-04240315-izqn-harness-cfj8,
job-20190-04240315-izqn-harness-cfj8,
job-20190-04240315-izqn-harness-cfj8,
job-20190-04240315-izqn-harness-cfj8
Согласно пониманию, это проблема кучи, поэтому увеличил тип машины до n1-standard-16. Задание выполнено успешно.
Нужно понимать, что как автоматическое масштабирование не работало в этом случае, так и увеличение типа машины работало.
Как Auoscaling и увеличения типа машины связаны или работали.