от спаркфрейма до панды

Question

У меня есть искровой фрейм данных, который я создал таким образом:

tx_df = (spark
         .read
         .parquet("/data/file"))



tx_ecommerce = tx_df.filter(tx_df["POS_Cardholder_Presence"]=="ECommerce").show()

Я пытаюсь преобразовать tx_commerce в фрейм данных pandas. Я попробовал так:

tx_ecommerce.toPandas()

Но я получил эту ошибку:

--------------------------------------------------------------------------- AttributeError Traceback (последний вызов был последним) в ----> 1 tx_ecommerce.toPandas ()

AttributeError: объект 'NoneType' не имеет атрибута 'toPandas'

Любая помощь, пожалуйста, чтобы решить эту проблему?

спасибо

Answer 1

когда вы ставите .show () в конце, он больше не является фреймом данных pyspark.

Удалите его, и оно должно работать.

tx_ecommerce =tx_df.filter(tx_df["POS_Cardholder_Presence"]=="ECommerce")

tx_ecommerce.toPandas()