Наш клиент не хочет позволять нам делать какие-либо вызовы в их базе данных SQL (даже создавать реплики и т. Д. c). Лучшее решение, о котором мы думали до сих пор, - это создание сервера Google Cloud SQL, поэтому мы можем попросить клиента отправлять его данные sh один раз в день / неделю (используя общедоступный c IP-адрес сервера), а затем мы потреблять данные толкая в Google Big Query.
Я читал много тем в Интернете, и мое возможное решение - попросить пользователя делать еженедельные ETL -> Cloud SQL -> BigQuery. Это хороший подход?
Подводя итог, я ищу рекомендации о лучших / дешевых практиках и возможных способах позволить пользователю вставлять данные в GCP без раскрытия его данных или моей инфраструктуры. , Мой облачный провайдер - Google Cloud, а мой клиент использует SQL Server. Мы открыты для новых или аналогичных опций (даже других провайдеров, таких как Amazon и Azure)
Ограничения:
Клиент будет отправлять данные периодически (один раз в день / неделю). отправлять и хранить в BigQuery. Стоимость облачного хранилища SQL в Google высока, в то время как нам не нужны выделенные ЦП / память и общедоступный c IP, доступный 24/7 (только несколько раз в месяц, например: 4 раза в месяц)