У меня есть две работы Spark, которые в основном подписываются на один и тот же EventHub с группой потребителей $ default. Будет ли это работать?
Предположим, что несколько устройств, которые встраивают данные в один и тот же концентратор событий, и, скажем, событие, включающее xyz в концентратор событий, получат ли эти xyz оба задания искры? Во-вторых, есть ли вероятность возникновения конфликта, скажем, первое задание Spark читает x раздел, а второе задание Spark также пытается прочитать раздел x.
Endpoint=sb://abc.servicebus.windows.net/;SharedAccessKeyName=allow;SharedAccessKey=abcd=;EntityPath=abc
val customEventhubParameters = EventHubsConf(connStr).setMaxEventsPerTrigger(maxEventTrigger)
val incomingStream = spark.readStream.format("eventhubs").options(customEventhubParameters.toMap).load();
logger.info("Data has been fetched from event hub successfully");
val messages = incomingStream.withColumn("Offset", $"offset".cast(LongType)).withColumn("Time (readable)", $"enqueuedTime".cast(TimestampType)).withColumn("Timestamp", $"enqueuedTime".cast(LongType)).withColumn("Body", $"body".cast(StringType)).select("Offset", "Time (readable)", "Timestamp", "Body")
implicit val formats = DefaultFormats;
val ob = new EventhubMaster();