Как записать данные с потоковой структурой в REST API?

Question

Я хотел бы отправить свои искровые структурированные потоковые данные в REST API. может кто-нибудь поделиться примерами того же. Я нашел немного, но все они связаны с потоковой передачей искры, а не с структурированной потоковой передачей.

Answer 1

Я не слышал о приемнике REST API для Spark Structured Streaming, но вы можете написать его самостоятельно. Начните с org.apache.spark.sql.execution.streaming.Source .

Однако проще всего было бы использовать DataStreamWriter.foreach или foreachBatch (начиная с версии 2.4).