SQL Сервер:
Существует множество сторонних расширений / инструментов, предоставляющих эту услугу. Одним из них является источник и назначение потока данных служб SSIS для Google BigQuery, который представляет собой расширение Visual Studio, которое соединяет SQL сервер с данными Google BigQuery через рабочие процессы SSIS .:
В отношении использования SQL служб интеграции серверов для загрузки данных с локального SQL сервера в BigQuery, вы можете посмотреть этот сайт . Вы также можете выполнить ETL из реляционной базы данных в BigQuery, используя Cloud Dataflow, в официальной документации подробно описано, как это можно сделать, вам может понадобиться использовать Cloud Storage в качестве промежуточного приемника данных.
Облако SQL:
BigQuery позволяет запрашивать данные из Облака SQL с помощью федеративного запроса . Соединение должно быть создано в том же проекте, где расположен ваш экземпляр Cloud SQL. Если вы хотите запросить данные, хранящиеся в вашем экземпляре Cloud SQL, из BigQuery, расположенного в другом проекте, выполните следующие действия:
Включите API BigQuery и API соединения BigQuery в вашем проекте.
Создайте соединение с вашим экземпляром Cloud SQL в рамках проекта, следуя этой документации .
После того, как вы создали соединение, найдите и выберите его в BigQuery .
Нажмите кнопку SHARE CONNECTION и предоставьте разрешения пользователям, которые будут использовать это соединение. Обратите внимание, что роль BigQuery Connection User является единственной необходимой для использования общего подключения.
Кроме того, обратите внимание, что функция «Облачные SQL федеративные запросы» находится в стадии бета-тестирования. и может измениться или иметь ограниченную поддержку (недоступно для определенных регионов; в этом случае требуется использовать один из поддерживаемых вариантов, упомянутых здесь ). Пожалуйста, помните, что для использования Cloud SQL Federated запросов в BigQuery, экземпляры должны иметь общедоступный c IP.
Если вы ограничены, например, по региону, одним хорошим вариантом может быть экспорт данных из Cloud SQL в хранилище в виде CSV , а затем загрузка его в BigQuery. Если вам нужно, можно автоматизировать этот процесс с помощью Cloud Composer, см. эту статью .
Другой подход заключается в извлечении информации из облака SQL (с экспортом) и ее импорте в BigQuery с помощью заданий загрузки или потоковых вставок.
Надеюсь, вы найдете приведенную выше информацию полезной.