У меня ниже полезной нагрузки в концентраторе событий, возможность рутировать то же самое, чтобы зажечь, используя структурированную потоковую передачу.Теперь я должен написать пользовательские задания для каждого типа датчика.Как я мог проверить значение столбца потокового DF и рутировать его к другой функции?На самом деле каждый тип имеет различный набор параметров, и мне нужно получить пользовательскую схему из базы данных SQL, я застрял здесь.
{
"Sensor_Id": 1,
"Sensor_Type":"Type1",
"Parameter":
{
"Parameter1":12
"Parameter1":34
"Parameter1":56
}
}
Ниже фрагмента кода для извлечения полезной нагрузки.Я могу читать содержимое отдельно от параметра, я думаю, чтобы извлечь схему из базы данных SQL, запросив с помощью Sensor_Type и прочитать часть параметра с помощью from_json.А потом напишу заказные работы.Есть ли способ добиться этого в Spark 2.4?
val eventhubs = spark.readStream
.format("eventhubs")
.options(eventHubsConf.toMap)
.load()
val jsonSchema = new StructType().add("Sensor_Id", StringType)
.add("Sensor_Type", StringType)
.add("Parameter", StringType)
val events = eventhubs.select(from_json($"body".cast("String"),jsonSchema).alias("sensorReading"))