Чтение данных с озера

Question

Мне нужно прочитать данные из данных Azure из Azure Data Lake и применить некоторые объединения в SQL и показать в веб-интерфейсе. Объем данных составляет около 300 ГБ, а миграция данных из фабрики данных Azure в базу данных SQL Azure происходит со скоростью 4 Мбит / с. Я также пытался использовать SQL Server 2019, который имеет поддержку PolyBase, но это также занимает 12-13 часов для копирования данных. Также пробовал cosmos db для хранения данных из озера, но, похоже, это занимает много времени.

Любой другой способ, которым мы можем прочитать данные из озера. Одним из способов может быть хранилище данных Azure, но это слишком дорого и поддерживает только 128 одновременных транзакций. Можно использовать блоки данных, но это вычислительный механизм, и нам нужно, чтобы он был доступен 24 * 7 для запросов пользовательского интерфейса

Answer 1

Я все еще предлагаю вам использовать Azure Data Factory. Как вы сказали, ваши данные составляют около 300 ГБ.

Вот производительность и масштабируемость копирования, достижимые с помощью ADF :

Я согласен с Дэвидом Макогоном. Производительность вашей фабрики данных очень низкая (4 Мбит / с). Пожалуйста, обратитесь к этому документу Руководство по производительности и масштабируемости операций копирования .

Это поможет вам улучшить производительность копирования данных фабрики данных, даст больше советов о настройках фабрики данных или настройках базы данных.

Надеюсь, это поможет.