Потоковая передача Spark в Power BI

Question

Как следует из названия, я хочу видеть данные в реальном времени в Power BI.Я построил конвейер до искровой потоковой передачи, где я обрабатываю данные, и теперь я хочу перейти на Power BI.И желательно с использованием Python.

Теперь, насколько я понимаю, могут быть разные способы, как упомянуто ниже.

1. Сохранение потоковых данных в BLOB-объекте Azure и подключение к сети в режиме реального времени.BI.Я знаю, на бумаге это звучит идеально, но возможно ли это сделать так?
2. 2-ым способом может быть создание набора данных Push в Power BI, получение URL-адреса REST API и отправка запроса от Spark на него.Итак, вот мой вопрос: можно ли отправить POST-запрос из потоковой передачи в Power BI?Google только говорит мне, чтобы отправить запрос в Spark.Ничего в отношении потоковой передачи Spark.
3. Использование PubNub SDK.Является ли это возможным?В основном, как отправить данные из потоковой передачи искру подписчику PubNub?
4. Загрузка потока Spark в HBASE, а затем установление с ним действующего соединения в PowerBI.это возможно?

Моя цель - иметь минимальную задержку.

Любая помощь будет высоко ценится.

Answer 1

Возможно, это не лучший способ сделать это.Я думаю, что лучшим способом было бы написать собственную структурированную потоковую интеграцию .Тем не менее, вы можете использовать PubNub.Вот некоторый код Python для публикации данных панели мониторинга на канале PubNub.

import requests

def publishRecord(record):
        requests.get('http://pubsub.pubnub.com/publish/publish_key_here/subscribe_key_here/0/pubnub_channel_name/0/' + str(record))   

rdd.foreach(publishRecord)

Вы можете использовать TypeScript , чтобы подписаться на этот же канал в панели мониторинга.