Как JSON данные вместо JSON пути в потоковой передаче Spark Structure

Question

У меня есть данные в переменной jsondata, как показано ниже [{'sno': 1, 'number': '000-00-00000'}]

Как использовать эти данные в JSON() во время потоковой передачи структуры в искре, которая фактически ожидает путь, которого у меня нет. Я пробовал приведенный ниже код, но выдал ошибку: TypeError: путь может быть только одной строкой

df=spark.readStream.json(jsondata)

Пожалуйста, помогите в этом.

Answer 1

Поскольку переменная имеет тип dict, вам придется вывести ее в строку JSON, а затем создать DataFrame следующим образом:

import json

json_dict = [{'sno': 1, 'number': '000-00-00000'}]

json_string = json.dumps(json_dict)

df = spark.read.json(sc.parallelize([json_string]))
df.show()

#+------------+---+
#|      number|sno|
#+------------+---+
#|000-00-00000|  1|
#+------------+---+