SparkStreaming: получить сообщение от Кафки и записать в HDFS как двоичный файл - PullRequest
Новая
       27

SparkStreaming: получить сообщение от Кафки и записать в HDFS как двоичный файл

0 голосов
/ 17 июня 2019

Я получаю не сериализуемое исключение при попытке получить и записать значение в HDFS, используя RDD.saveAsObjectFile(targetHDFSDir). Я хотел иметь возможность читать двоичные файлы (bytearray) и писать как двоичные файлы (bytearray). 

Key and Value deserializer: org.apache.kafka.common.serialization.ByteArrayDeserializer

> 

  val kafkaParams = Map[String, String](
    org.apache.kafka.clients.consumer.ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG -> bootStrapServer,
    org.apache.kafka.clients.consumer.ConsumerConfig.GROUP_ID_CONFIG -> "Spark1",
    org.apache.kafka.clients.consumer.ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG -> "org.apache.kafka.common.serialization.ByteArrayDeserializer",
    org.apache.kafka.clients.consumer.ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG -> "org.apache.kafka.common.serialization.ByteArrayDeserializer",
    org.apache.kafka.clients.consumer.ConsumerConfig.AUTO_OFFSET_RESET_CONFIG -> "earliest",
    org.apache.kafka.clients.consumer.ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG -> "false",
    org.apache.kafka.clients.CommonClientConfigs.SECURITY_PROTOCOL_CONFIG -> "PLAINTEXT"
    )
...