Я создаю конвейер фабрики данных для загрузки начального и добавочного в озеро данных из базы данных Az MySql в базу данных сервера Az SQL.
Исходный конвейер для загрузки данных из MySql в озеро данных - все хорошо. Сохраняется в виде .parquet файлов.
Теперь мне нужно загрузить их в таблицу SQL Server с некоторыми преобразованиями базовых c типов. Какой самый лучший способ?
Databricks => смонтировать эти файлы. parquet, стандартизировать и загрузить в SQL серверные таблицы?
Или я могу создать внешний источник для этих файлов в SQL Server на Azure и сделай стандартизацию. Мы еще не на Synapse (dwh).
Или есть лучший способ?