Не удается установить смещение KafkaUtills.createdirectstream в Python версии 3.7.

Question

Я сделал прямой поток с pyspark kafka.Но я не мог установить значение fromOffset в нем.Это дает мне исключение ClassCastException Long нельзя назначить для int Но проблема в том, что у нас нет длинного типа данных в Python версии 3. Так как решить эту проблему?Как я могу установить значение fromOffset, не приводя его к long в python 3?Я делаю это, чтобы использовать те сообщения, которые оставались непрочитанными, когда потребитель был мертв ... Я использовал подход, упомянутый в этой ссылке * Обновление PySpark Kafka Direct Streaming Zookeeper / Kafka Offset

Спасибо

Answer 1

Пожалуйста, проверьте ваш код подтверждения отправки в случае, если вы используете файл jar потоковой передачи версии 0_10. Вы получите ошибку выше.Версия 0_10 не будет поддерживать Python.Вместо 0_10 вы можете использовать версию 0_8 Кафки.

Версия Кафки 0_8 примет целочисленное значение смещения.

Не могли бы вы обратиться к документу ниже.

https://spark.apache.org/docs/2.2.0/streaming-kafka-integration.html