Pyspark 2.4.0, чтение авро с кафки с потоком чтения - Python - PullRequest
Новая
       33

Pyspark 2.4.0, чтение авро с кафки с потоком чтения - Python

0 голосов
/ 14 февраля 2019

Я пытаюсь читать авро-сообщения от Кафки, используя PySpark 2.4.0.

Внешний модуль spark-avro может обеспечить это решение для чтения авро-файлов: 

df = spark.read.format("avro").load("examples/src/main/resources/users.avro") 
df.select("name", "favorite_color").write.format("avro").save("namesAndFavColors.avro")

ОднакоМне нужно читать потоковые сообщения Avro.В документации библиотеки предлагается использовать функцию from_avro () , которая доступна только для Scala и Java.

Существуют ли какие-либо другие модули, поддерживающие чтение авро-сообщений, передаваемых с Kafka?

1 Ответ

0 голосов
/ 14 февраля 2019

Вы можете включить пакет spark-avro, например, используя --packages (отрегулируйте версии в соответствии с установкой свечи): 

bin/pyspark --packages org.apache.spark:spark-avro_2.11:2.4.0

и предоставьте свои собственные упаковщики: 

from pyspark.sql.column import Column, _to_java_column 

def from_avro(col, jsonFormatSchema): 
    sc = SparkContext._active_spark_context 
    avro = sc._jvm.org.apache.spark.sql.avro
    f = getattr(getattr(avro, "package$"), "MODULE$").from_avro
    return Column(f(_to_java_column(col), jsonFormatSchema)) 


def to_avro(col): 
    sc = SparkContext._active_spark_context 
    avro = sc._jvm.org.apache.spark.sql.avro
    f = getattr(getattr(avro, "package$"), "MODULE$").to_avro
    return Column(f(_to_java_column(col)))

Пример использования (взято из официального набора тестов ): 

from pyspark.sql.functions import col, struct


avro_type_struct = """
{
  "type": "record",
  "name": "struct",
  "fields": [
    {"name": "col1", "type": "long"},
    {"name": "col2", "type": "string"}
  ]
}"""


df = spark.range(10).select(struct(
    col("id"),
    col("id").cast("string").alias("id2")
).alias("struct"))
avro_struct_df = df.select(to_avro(col("struct")).alias("avro"))
avro_struct_df.show(3)

+----------+
|      avro|
+----------+
|[00 02 30]|
|[02 02 31]|
|[04 02 32]|
+----------+
only showing top 3 rows

avro_struct_df.select(from_avro("avro", avro_type_struct)).show(3)

+------------------------------------------------+
|from_avro(avro, struct<col1:bigint,col2:string>)|
+------------------------------------------------+
|                                          [0, 0]|
|                                          [1, 1]|
|                                          [2, 2]|
+------------------------------------------------+
only showing top 3 rows
...