Я читал документацию GCP, пытаясь найти способ пассивного приема данных из базы данных Microsoft SQL Server (например, с помощью Cloud SQL). Проблема в том, что Cloud SQL большую часть времени простаивает (данные обновляются раз в неделю), и я не мог понять, как запустить / остановить экземпляр с помощью Cloud Functions или Scheduler. В дополнение к этому мне также нужно автоматизировать конвейер данных, отправляющий данные в Dataprep, что невозможно при использовании Cloud SQL (sql экземпляр сервера).
Подводя итог, мне нужно принять данные -> очистить / обогатить их -> сделать доступными для анализа
* Я бы хотел избежать использования внешних платных API
Вот источники, которые я читал:
Cloud Scheduler - как запланировать запуск / остановку
Cloud SQL Admin API Stack Overflow - schedule-start-stop-on-gcp- sql -instance
Issue tracker gcp - запуск / остановка облака sql
Облачное хранилище - загружать документы API объектов
Это краткое изображение облачной архитектуры: