Как преобразовать InputStream в RDD с помощью Java или Kotlin, не записывая поток на диск или считывая все это в локальную память?

Question

У меня есть ZipInputStream, содержимое которого находится в формате ".csv".Мне нужно создать RDD.Мои ограничения: - Я не могу записать содержимое потока на диск.- Я не могу прочитать все содержимое потока в локальной памяти.- Это должно быть сделано на Kotlin или Java.(Не Скала.)

Можно ли это сделать?Как?

Answer 1

Используйте Spark Streaming для чтения входного потока.Вот пользовательский приемник для входного потока

https://community.hortonworks.com/questions/9624/reading-input-stream-using-spark-custom-receiver.html