Azure Databricks to Event Hub

Question

Я очень новичок в Databricks.Итак, простите меня, пожалуйста.Вот мое требование

1. У меня есть данные, хранящиеся в Azure DataLake
2. В соответствии с требованием, мы можем получить доступ к данным только через блокнот Azure Databricks
3. Нам нужно вытащитьданные из определенных таблиц, объединение с другими таблицами, агрегирование
4. Отправка данных в концентратор событий

Как я могу выполнить это действие.Я предполагаю, что нет ни одного процесса выстрела.Я планировал создать блокнот и запустить его через фабрику данных Azure.Поместите данные в Blob и затем с помощью .Net отправьте их в Event Hub.Но из фабрики данных Azure мы можем запустить только записную книжку Azure Databricks, которая не хранится где-либо

Answer 1

Блоки данных Azure поддерживают концентраторы событий Azure в качестве источника и приемника. Понимание Структурированная потоковая передача - это механизм обработки потоков в Apache Spark (также доступен в Azure Databricks)

Создайте блокнот для всех ваших преобразований (объединение, агрегация ...) - при условии, что вы выполняете пакетную запись в концентратор событий Azure.

Код PySpark:

val connectionString = "Valid EventHubs connection string."
val ehWriteConf = EventHubsConf(connectionString)
df.select("body")
.write
.format("eventhubs")
.options(ehWriteConf.toMap)    
.save()

Замените .write на .writeStream, если ваши запросы потоковые.

При работе с концентраторами событий Azure следует учитывать и другие аспекты, касающиеся разделов - это необязательно, вы можете просто отправить тело в одиночку (что сделает модель с циклическим изменением)

Подробнее здесь