У меня есть огромный файл размером около 20 ГБ, который содержит объекты JSON, как показано ниже:
{"-LGsfNZANyy3sWBuNn5s":{"callsign":"6aay","deviceId":"97436FB5-B4DE-8D8E-0000-000000000000"}}
{"-LIIe7e7tz1BzSzhG1AK":{"callsign":"3fox","deviceId":"9A554634-2373-DFDF-0000-000000000000","dow":"Tuesday"}}
Мне нужно создать один объект JSON, который содержит все эти объекты внутри, следующим образом:
{"-LGsfNZANyy3sWBuNn5s":{"callsign":"6aay","deviceId":"97436FB5-B4DE-8D8E-0000-000000000000"},
"-LIIe7e7tz1BzSzhG1AK":{"callsign":"3fox","deviceId":"9A554634-2373-DFDF-0000-000000000000","dow":"Tuesday"}}
Можно ли это сделать с помощью Pyspark?Любая помощь / предложение с благодарностью.