Как прочитать файл json.out из блоков данных

Question

Я работал с блоками данных для чтения вывода из Object2Vec в Sagemaker. Этот вывод сохраняется как jsonlines в формате .json.out.

df_emb = spark.read.option("multiLine", True).option("mode", "PERMISSIVE").json(bucket+key)

Когда я читаю этот файл как json, он читается как поврежденная запись. Ниже скриншот.

Я могу предоставить файл, если вы знаете решение.

Answer 1

Для разбора jsonlines вы должны использовать однострочный режим вместо многострочного.

df_emb = spark.read.option("mode", "PERMISSIVE").json(bucket+key)

См. https://docs.databricks.com/spark/latest/data-sources/read-json.html#single-line-mode