У меня есть набор данных AVRO с этой схемой для HDFS, root |-- id: string (nullable = true) |--...

Я знаю, что эта проблема чтения большого количества маленьких файлов в HDFS всегда была проблемой и...

Я использую spark и scala и пытаюсь читать папки avro с помощью com.databricks - spark-avro_2.11

Я пытаюсь прочитать файл avro в блокноте Jupyter с помощью pyspark.Когда я читаю файл, я получаю...

У меня есть вопросы, связанные с дизайном 1) Ниже мой конвейер: Source-webservices ---> Kafka...

Возможно ли иметь недопустимую запись Avro даже с допустимой схемой Avro?

У меня есть таблица Hive, в которой есть базовые файлы в формате Avro со схемой (xyz.avsc),...

Я пытаюсь использовать пакет spark-avro, как описано в Руководство по источникам данных Apache Avro...

Я установил kafka локально (на данный момент нет реестра кластера / схемы) и пытаюсь создать тему...

Мне нужно записать метку времени в раздел Kafka, а затем прочитать ее с нее. Для этого я определил...

Я записал один из столбцов данных Spark в Kafka в формате Avro. Затем я пытаюсь прочитать данные из...

Я пытаюсь переименовать схему Avro, используя псевдонимы, как показано ниже: - старая схема похожа...

Я хочу сериализовать данные Avro в Kafka, используя Schema Registry, Spark SQL, Kafka и Avro. Я...

Я пытаюсь запустить искровой поток из очереди kafka, содержащей сообщения Avro. Согласно...

Мы читаем информацию о метках времени из файлов avro в нашем приложении.Я нахожусь в процессе...

У меня есть искровое задание, которое я обычно отправляю в кластер hadoop с локальной машины.Когда...

Я использую com.databricks.spark.avro.Когда я запускаю его из spark-shell следующим образом:...

Я тестирую Spark 2.4.0 новые функции from_avro и to_avro. Я создаю фрейм данных только с одним...

Я использую блоки данных spark-avro для преобразования схемы данных в схему avro. Возвращенная...

Я пытаюсь прочитать некоторые файлы avro в DataFrame из нескольких путей.Допустим, мой путь -...

Я пытаюсь запросить hdfs, в которых много файлов деталей (avro).Недавно мы внесли изменения, чтобы...

У меня есть файл Avro, содержащий десятичный логический тип, как показано ниже:...

Я использую Confluent KafkaAvroDerserializer для десериализации объектов Avro, отправленных через...

Я использовал этот урок , чтобы получить данные из Bigquery в pyspark: table_data = sc

Моя идея состоит в том, чтобы использовать Spark Streaming + Kafka для получения событий от шины...