у меня есть nd json как показано ниже:
{'cp_id': 2, 'cw_id': 'd7d3e26f-d105-4816-825d-d5858b9cf0d1', 'i_client': 'temp1', 't_user_id': 3444934, 'user_id': None, 'sponsor_id': 6542, 'parent_id': 876, 'type': 'client', 'status': 'act', 'c_type': 'Customer', 'c_status': 'Inactive', 'l_rnk': '', 'p_rnk': '', 'c_lifetime_rank': 'Pending', 'c_p_rank': 'Pending', 'zip': '453033', 'modified': '2019-04-06 18:55:06', 'created': '2017-11-22 20:08:28', 'coded': None, 'l_id': 'test123', 'ingestion_timestamp': '2020-04-16 01:06:43.840614+00:00', 'l_rnk_level': None, 'p_rnk_level': None, 'c_lt_rnk_level': 0, 'c_p_rnk_level': 0}
чтение приведенного выше кода с использованием следующей команды
from pyspark.sql import SparkSession
from datetime import datetime
# Spark Session and Conf
spark = SparkSession.builder.appName('test123').getOrCreate()
spark.conf.set("fs.AbstractFileSystem.s3a.impl", "org.apache.hadoop.fs.s3a.S3A")
df = spark.read.json("users.ndjson", mode='failfast')
получение следующей ошибки
Вызвано : com.faster xml .jackson.core.JsonParseException: нераспознанный токен 'None': ожидал 'null', 'true', 'false' или NaN
Пожалуйста, помогите мне, если сможем справиться с этим и прочитать json правильно. заранее спасибо.