Как получить доступ к данным в Azure -данных из GCP

Question

Я получаю ежедневные данные в пуле данных, и доступ к ним ограничен SFTP, SCP. Я хочу обработать данные из GCP. Я пытался настроить Compute Engine, чтобы получить доступ к данным, но это не работает! Обычно я получаю к ним доступ через WinSCP и использую PuTTY для настройки Jupyter Notebook и обработки этих данных.
Но как это сделать и в GCP? Я хочу написать скрипт для обработки ежедневных данных.

Спасибо,

Answer 1

Вы можете получить доступ к данным из Azure пула данных из GCP BigQuery, выполнив следующие действия:

1. создать Linux экземпляр виртуальной машины (вы можете попробовать сделать это с бесплатная шина VM)
2. create корзина Google Storage
3. mount ваше ведро к экземпляру VM с Cloud Storage FUSE
4. копирование данных из Azure пула данных в подключенное хранилище на экземпляре виртуальной машины GCP с помощью scp
5. запрос данных из хранилища Google Storage

Для выполнения по расписанию вы можете создать простой bash скрипт, который просто запускает команду scp и использует Cron для его запуска.