Извлечение и преобразование данных из локального MySQL в Azure хранилища данных Synapse - PullRequest
0 голосов
/ 13 апреля 2020

Я пытаюсь настроить демонстрационное хранилище данных в Azure Synapse. Я хотел бы извлечь данные из локальной MySQL базы данных, преобразовать и объединить некоторые данные и сохранить их в таблицах фактов / измерений в Azure Synapse Analytics.

В настоящее время у меня есть экземпляр Azure SQL Хранилище данных и фабрика данных. Я создал соединение с базой данных MySQL в фабрике данных, и я подумал, что я могу использовать этот соединитель в качестве входных данных для нового потока данных, который преобразует набор данных и сохраняет его в моем наборе данных назначения, который связан с моим Azure Хранилище данных Synapse.

Проблема в том, что фабрика данных просто поддерживает некоторые Azure службы, такие как Azure Озеро данных или Azure SQL База данных в качестве источника для нового потока данных.

Какова была бы лучшая практика для решения этой проблемы? Создать экземпляр базы данных Azure SQL, скопировать данные из локальной базы данных MySQL в базу данных Azure SQL и затем использовать ее в качестве источника для нового потока данных?

1 Ответ

0 голосов
/ 13 апреля 2020

Рекомендуется использовать операцию копирования в конвейере ADF для передачи данных из MySQL в Parquet in Blob или ADLS G2, а затем преобразовать данные с использованием потоков данных.

...