Я ищу соответствующую библиотеку для PySpark, чтобы получить реестр схемы от Kafka и декодировать данные. Кто-нибудь знает, какой код / библиотека конвертируется из scala в pyspark в scala -код ?
Pyspark может импортировать и использовать любой класс JVM Spark. Любые Scala другие Java примеры, которые вы найдете, поэтому должны просто работать
Запуск пользовательского Java класса в PySpark
Вы можете использовать пакет requests для отправки запросов на schema-registry restAPI и получения схемы вашего topi c, а также, если вы слушаете некоторые конкретные c темы, вы можете кэшировать их схему на платформе spark и использовать их
requests
schema-registry