Преобразование кадра данных в JSON с помощью Spark - проблемы с производительностью

Question

Я использую следующий оператор для преобразования фрейма данных spark в формат json: val res = resultDF.toJSON.collect.mkString (",")

однако производительность кажется плохой даже для небольшого фрейма данных (~ 10 сек для кадра данных с одной ячейкой).Интересно, есть ли способ сделать это быстрее?Спасибо

Answer 1

Я не уверен, быстрее ли писать json и после загрузки:

df.write.json("/my_path")

, а затем вы читаете этот файл