пакетная обработка на лазурном

Question

Мы планируем выполнять пакетную обработку ежедневно. Мы генерируем 1 ГБ файлов CSV каждый день и вручную помещаем их в хранилище озера данных Azure. Я прочитал документы Microsoft Azure, касающиеся пакетной обработки, и я решил использовать Spark для пакетной обработки. Мой вопрос заключается в том, что после того, как мы передадим данные с использованием RDD / DF, что будет следующим шагом? как мы можем визуализировать данные? поскольку этот процесс должен запускаться каждый день, после того как преобразование данных выполнено с использованием Spark, нужно ли передавать данные в любое хранилище данных, например hive hdfs или cosmos, прежде чем мы сможем его визуализировать?

Answer 1

Есть несколько вариантов сделать это в Azure. Это действительно зависит от ваших требований (например, количество пользователей, необходимые визуализации и т. Д.). Примеры для этого:

• Запустив Spark для блоков данных Azure, вы можете использовать возможности ноутбука для визуализации ваших данных
• Использование HDInsight с ноутбуками Jupyter или Zeppelin
• Определение таблиц Spark для блоков данных Azure и их визуализация с помощью Power BI
• Загрузите данные с помощью фабрики данных Azure V2 в базу данных Azure SQL или хранилище данных SQL Azure и визуализируйте их с помощью Power BI.
• Для данных временных рядов вы можете отправить данные через Spark в Azure EventHubs (см. Пример записной книжки с Eventhubs Sink в следующей документации ) и использовать их через Azure Time Series Insights. Если у вас есть EventData-Stream, это также может заменить вашу пакетно-ориентированную архитектуру в будущем. Файлы паркета будут использоваться Azure Time Series Insights в качестве долговременного хранилища (см. Следующую ссылку ). Для Spark также обратите внимание на пакет временных рядов , который добавляет некоторые возможности временных рядов для зажигания.