Представление DataFrame в PyCharm при использовании pyspark

Question

Я создаю фрейм данных pyspark и хочу видеть его на вкладке SciView в PyCharm, когда отлаживаю свой код (как я делал это, когда работал с пандами).Там написано «Ничего не показывать» (датафрейм существует, я вижу его, когда использую команду show ()).

кто-то знает, как это сделать, или, возможно, нет интеграции между фреймом данных pycharm и pyspark вэтот случай?

Answer 1

Pycharm не поддерживает искровые фреймы данных, вам следует вызвать метод toPandas() на фрейме данных.Как упомянул @abhiieor в комментарии, помните, что вы можете собрать много данных, сначала вам нужно limit() количество возвращенных строк.