Автоматическое масштабирование экземпляра в облаке Google

Question

У меня есть набор данных, который будет периодически увеличиваться.

Я собираюсь сохранить данные в Google Bigquery, а затем я хочу использовать Python и pandas для некоторого анализа и преобразования данных. и снова поместил его в Google Bigquery.

Я думал об использовании экземпляра механизма облачных вычислений для получения данных из Google Bigquery. Я бы начал с небольшого экземпляра и по мере роста данных использовал некоторую облачную функцию для вычисления размера данных, которые, например, pandas должны были бы обработать эти данные и проверить, нужно ли мне увеличивать мощность экземпляра, но Я не знаю, есть ли лучший способ решить эту проблему.

Я хочу знать, есть ли сервис в облаке Google, способный автоматически увеличивать мощность экземпляра, потому что экземпляру потребуется больше мощность по мере роста данных.

Движок приложения это делает? или механизм приложений только масштабируется, добавляя больше виртуальных машин?

Работа в облаке, это сервис, который я могу использовать для запуска docker, и он будет автоматически создавать экземпляр и масштабировать его, способный обрабатывать данные? это то, что я могу использовать?

Answer 1

В настоящее время доступно только вертикальное автоматическое масштабирование (увеличение размера виртуальной машины) с модулями в Google Kubernetes Engine . В противном случае и механизм приложений, и механизм вычислений поддерживают только горизонтальное автоматическое масштабирование (добавление дополнительных виртуальных машин), пока виртуальная машина все еще активна. Хотя, если ваш вариант использования позволяет отключить виртуальную машину, чтобы увеличить размер машины при необходимости, это вполне возможно. Я бы предложил выбрать достаточно большой тип машины для размещения ваших данных или использовать группу экземпляров для распределения веса вашей рабочей нагрузки, если это в вашем случае использования.