Я анализировал разработанный код. Я нашел что-то вроде этого.
val newDF = df.repartition(1).withColumn("name", lit("xyz")).orderBy(col("count").asc)
Позже в другом модуле этот newDF был повторно использован, как показано ниже
newDF.repartition(1).write.format("csv").save(path/of/file)
Теперь я сомневаюсь, поскольку один и тот же фрейм данных перераспределяется в 2 местах - то же самое с orderby на месте для первого фрейма данных. Не будут ли данные перетасовываться после второго перераспределения, что делает orderBy недействительным?