Мне нужно прочитать все строки в данных потока кинезиса (несколько таблиц) и разделить эти строки в другую схему перед записью их в файл parque.
Пример кода:
# To load stream data (Working fine)
val kinesisDF = spark.readStream.format("kinesis").option("streamName",evices").option("initialPosition","earliest").load()
Мне нужна помощь для чтения кода kinesisDF ['data'] из приведенного выше кода и чтения метаданных каждой строки, кластеризации строк в соответствии с другой схемой таблицы.