Почему RDD to JSON удаляет фактическое упорядочение данных?

Question

Я пытаюсь создать JSON из моего фрейма данных pyspark.Я вижу в моем фрейме данных данные сортируются правильно, но при использовании toJSON сортировка не отражается в объекте JSON.Не могли бы вы помочь

Мой Dataframe выглядит следующим образом:

Вот что происходит, когда я использую toJSON

Answer 1

Поскольку spark работает в распределенном режиме, и записи в основном распределяются по рабочим узлам, когда мы выполняем сбор данных, эти записи передаются по сети на узел драйвера, который не обязательно должен быть в том же порядке.Упорядочение их по некоторому ключу потребует дополнительной обработки.