Как преобразовать однострочное JSON в многострочное с помощью команды sed - PullRequest
0 голосов
/ 18 сентября 2018

Рассмотрим следующий фрагмент JSON:

  [{
        "first": "rand_data",
        "second": "rand2_data"
    }, {
        "first  " : "for{change } in code",
        "second" : "change[it]"

    }]

У меня большой файл json размером около 20 ГБ на hdf, который представляет собой одну строку.На чтение через pyspark.не удалось выдать ошибку (SPARK read.json выбрасывает java.io.IOException: слишком много байтов до новой строки).Я хочу добавить новую строку в файл json, используя sed или любую команду, чтобы спарк мог ее загрузить.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...