Рассмотрим следующий фрагмент JSON:
[{
"first": "rand_data",
"second": "rand2_data"
}, {
"first " : "for{change } in code",
"second" : "change[it]"
}]
У меня большой файл json размером около 20 ГБ на hdf, который представляет собой одну строку.На чтение через pyspark.не удалось выдать ошибку (SPARK read.json выбрасывает java.io.IOException: слишком много байтов до новой строки).Я хочу добавить новую строку в файл json, используя sed или любую команду, чтобы спарк мог ее загрузить.