Как конвертировать сводную таблицу в df с помощью PySpark - PullRequest
0 голосов
/ 05 марта 2019

У меня следующая проблема: я использую PySpark для чтения таблицы из Snowflake в качестве кадра данных.Затем я выполняю pivot в кадре данных.После этого я хочу преобразовать объект сводной таблицы обратно в фрейм данных, чтобы снова записать его в виде снежинки.

 df = spark.read.format(snowflakename) \
        .options(**snowflOpt) \
        .option("query",  "select DATE, PRODUCT, 
                           AMOUNT from DELIVERY_TBL") \
        .load()

df = df.withColumn("AMOUNT", df["AMOUNT"].cast(IntegerType()))

fs =df\
        .groupby(df.PRODUCT)\
        .pivot("DATE")\
        .sum("AMOUNT")\
        .show()
fs.show()

Это мой сценарий.При его выполнении (после печати сводной таблицы) я получаю следующую ошибку

AttributeError: 'NoneType' object has no attribute 'show'

Мой вопрос: как мне снова преобразовать его в df, чтобы я мог записать его в Snowflake?Спасибо.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...