Отправляйте данные в потоковом режиме из Twitter напрямую в Spark без сокета: Pyspark

Question

Я пытаюсь отправить данные из твиттера (в формате json) напрямую в структурированную потоковую передачу.Я не нашел никакого связанного решения.я попробовал приведенный ниже код, но получил ошибку с данными.

class TweetsListener( StreamListener):

    def on_data(self, data):
        try:
            sss = Streaming(data)
            sss.main()

            return True
        except BaseException as e:
            print("Error on_data: %s" % str(e))
        return True

    def on_error(self, status):
        print(status)
        return True

Выше код предназначен для получения данных из твиттера с использованием структурированного потокового кода Spark, приведенного ниже.

class Streaming():

    def __init__(self,data):
        self.data = data


    def main(self):

        lines = spark.readStream.format("json").load(self.data)