Загрузка данных из РСУБД в Bigquery

Question

У меня запланировано App Engine запланированное задание, которое выполняется ежедневно и ищет строки в таблице PostgreSQL (размещенной в gcp, а не в облаке sql), которая соответствует критериям для архивирования. Если критерий удовлетворен, он подключается к BigQuery и передает данные в большой запрос. Каждый день есть несколько записей, подходящих для архивирования, и мы пишем BigQuery. Это экономически эффективный способ, или мы можем попробовать загрузить данные, используя Cloud Functions? https://cloud.google.com/solutions/performing-etl-from-relational-database-into-bigquery

Answer 1

App Engine и Cloud Functions имеют разные цели. Вам следует использовать App Engine, если вы хотите развернуть полное приложение в безсерверной среде. Если вам нужно интегрировать сервисы в облаке, используйте функцию Cloud. В вашем случае кажется, что Cloud Functions подходит лучше.

Важно помнить, что облачная функция имеет ограничение по времени: максимальное время выполнения вашего кода составляет 9 минут. Вы можете найти это и другие ограничения здесь

Кроме того, вы можете найти здесь калькулятор цен для GCP продуктов.

Если у вас есть дополнительные вопросы, пожалуйста, дайте мне знать.